Учитывая путь к новым и старым файлам словаря, возвращает тензор переназначения
длина `num_new_vocab`, где `remapping[i]` содержит номер строки в старом словаре, который соответствует строке `i` в новом словаре (начиная со строки `new_vocab_offset` и до объектов `num_new_vocab`), или `- 1`, если записи `i` в новом словаре нет в старом словаре. Старый словарь ограничивается первыми записями `old_vocab_size`, если `old_vocab_size` не имеет значения по умолчанию -1.
`num_vocab_offset` позволяет использовать его в случае секционированной переменной и обычно должен устанавливаться путем проверки информации о секционировании. Файлы должны иметь текстовый формат, каждая строка которого должна содержать один объект словаря.
Например, с `new_vocab_file` текстовый файл, содержащий каждый из следующих элементов в одной строке: `[f0, f1, f2, f3]`, old_vocab_file = [f1, f0, f3], `num_new_vocab = 3, new_vocab_offset = 1`, возвращаемое переназначение будет `[0, -1, 2]`.
Операция также возвращает количество записей из нового словаря, присутствующих в старом словаре, который используется для расчета количества значений для инициализации при переотображении весовой матрицы.
Эту функциональность можно использовать для переназначения как словарей строк (обычно функций), так и словарей столбцов (обычно классов) из контрольных точек TensorFlow. Обратите внимание, что логика секционирования опирается на смежные словари, соответствующие переменным, разделенным на разделители. Более того, базовое переназначение использует IndexTable (в отличие от неточной CuckooTable), поэтому клиентский код должен использовать соответствующий index_table_from_file(), как это делает платформа FeatureColumn (в отличие от tf.feature_to_id(), который использует CuckooTable).
Вложенные классы
| сорт | GenerateVocabRemapping.Options | Дополнительные атрибуты для GenerateVocabRemapping | |
Константы
| Нить | OP_NAME | Название этой операции, известное основному движку TensorFlow. |
Публичные методы
| статическое GenerateVocabRemapping | |
| Вывод < TInt32 > | numPresent () Количество новых словарных статей, найденных в старом словаре. |
| статический GenerateVocabRemapping.Options | oldVocabSize (длинный oldVocabSize) |
| Вывод < TInt64 > | переназначение () Тензор длины num_new_vocab, где элемент с индексом i равен старому идентификатору, который сопоставляется с новым идентификатором i. |
Унаследованные методы
Константы
общедоступная статическая финальная строка OP_NAME
Название этой операции, известное основному движку TensorFlow.
Публичные методы
public static GenerateVocabRemapping create ( Область действия, Operand < TString > newVocabFile, Operand < TString > oldVocabFile, Long newVocabOffset, Long numNewVocab, Options... options)
Фабричный метод для создания класса, обертывающего новую операцию GenerateVocabRemapping.
Параметры
| объем | текущий объем |
|---|---|
| новыйVocabFile | Путь к новому файлу словаря. |
| старыйVocabFile | Путь к старому файлу словаря. |
| новыйVocabOffset | Сколько записей в новом словарном файле, чтобы начать чтение. |
| numNewVocab | Количество записей в новом файле словаря для переназначения. |
| параметры | содержит значения необязательных атрибутов |
Возврат
- новый экземпляр GenerateVocabRemapping
публичный вывод <TInt32> numPresent ()
Количество новых словарных статей, найденных в старом словаре.
общедоступный статический GenerateVocabRemapping.Options oldVocabSize (Long oldVocabSize)
Параметры
| старыйVocabSize | Количество записей в старом словарном файле, которое следует учитывать. Если -1, используйте весь старый словарь. |
|---|