新しい語彙ファイルと古い語彙ファイルへのパスを指定すると、次の再マッピング テンソルを返します。
length `num_new_vocab`、ここで `remapping[i]` には新しい語彙の行 `i` に対応する古い語彙の行番号 (`new_vocab_offset` 行から始まり `num_new_vocab` エンティティまで)、または `-新しい語彙のエントリ「i」が古い語彙にない場合は 1`。 `old_vocab_size` がデフォルト値の -1 でない場合、古い語彙は最初の `old_vocab_size` エントリに制限されます。
`num_vocab_offset` は、パーティション化された変数の場合に使用できるようにし、通常はパーティション化情報を調べて設定する必要があります。ファイルの形式はテキスト ファイルである必要があり、各行には語彙内の 1 つのエンティティが含まれます。
たとえば、`new_vocab_file` の場合、次の各要素を 1 行に含むテキスト ファイル: `[f0, f1, f2, f3]`、old_vocab_file = [f1, f0, f3]、`num_new_vocab = 3, new_vocab_offset = 1` の場合、返される再マッピングは `[0, -1, 2]` になります。
この演算は、古い語彙に新しい語彙のエントリがいくつ存在したかのカウントも返します。これは、重み行列の再マッピングで初期化する値の数を計算するために使用されます。
この機能を使用すると、TensorFlow チェックポイントからの行語彙 (通常、機能) と列語彙 (通常、クラス) の両方を再マップできます。パーティション化ロジックは、div パーティション化された変数に対応する連続した語彙に依存していることに注意してください。さらに、基になる再マッピングでは (不正確な CuckooTable ではなく) IndexTable を使用するため、クライアント コードは、(CuckooTable を使用する tf.feature_to_id() ではなく) FeatureColumn フレームワークと同様に、対応する Index_table_from_file() を使用する必要があります。
ネストされたクラス
| クラス | GenerateVocabRemapping.Options | GenerateVocabRemappingのオプションの属性 | |
定数
| 弦 | OP_NAME | TensorFlow コア エンジンによって認識される、この演算の名前 |
パブリックメソッド
| 静的GenerateVocabRemapping | |
| 出力< TInt32 > | numPresent () 古い語彙で見つかった新しい語彙エントリの数。 |
| 静的GenerateVocabRemapping.Options | oldVocabSize (長い古いVocabSize) |
| 出力< TInt64 > | 再マッピング() 長さ num_new_vocab の Tensor。インデックス i の要素は、新しい ID i にマップされる古い ID と等しくなります。 |
継承されたメソッド
| ブール値 | 等しい(オブジェクト arg0) |
| 最終クラス<?> | getクラス() |
| 整数 | ハッシュコード（） |
| 最後の空白 | 通知する() |
| 最後の空白 | すべて通知() |
| 弦 | toString () |
| 最後の空白 | wait (long arg0, int arg1) |
| 最後の空白 | 待機(長い引数0) |
| 最後の空白 | 待って（） |
定数
パブリック静的最終文字列OP_NAME
TensorFlow コア エンジンによって認識される、この演算の名前
パブリックメソッド
public static GenerateVocabRemapping create (スコープスコープ、オペランド< TString > newVocabFile、オペランド< TString > oldVocabFile、Long newVocabOffset、Long numNewVocab、 Options...オプション)
新しい GenerateVocabRemapping オペレーションをラップするクラスを作成するファクトリ メソッド。
パラメーター
| 範囲 | 現在のスコープ |
|---|---|
| 新しい語彙ファイル | 新しい語彙ファイルへのパス。 |
| 古い語彙ファイル | 古い語彙ファイルへのパス。 |
| 新しい語彙オフセット | 読み取りを開始する新しい語彙ファイルのエントリ数。 |
| 新しい語彙数 | 再マップする新しい語彙ファイル内のエントリの数。 |
| オプション | オプションの属性値を持ちます |
戻り値
- GenerateVocabRemapping の新しいインスタンス
public static GenerateVocabRemapping.Options oldVocabSize (Long oldVocabSize)
パラメーター
| 古い語彙サイズ | 考慮する古い語彙ファイル内のエントリの数。 -1 の場合、古い語彙全体を使用します。 |
|---|