テンソルフロー::作戦::固定UnigramCandidateSampler::属性

#include <candidate_sampling_ops.h>

FixedUnigramCandidateSamplerのオプションの属性セッター。

まとめ

パブリック属性

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

公共機能

Distortion (float x)
TF_MUST_USE_RESULT Attrs
歪みはユニグラム確率分布を歪めるために使用されます。
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
オプションで、ユーザーはいくつかの予約済み ID を [0, ..., num_reserved_ids) の範囲で追加できます。
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
サンプラーを使用して、元の範囲のサブセットからサンプリングすることで、並列処理を通じて計算全体を高速化できます。
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
シードまたはシード 2 のいずれかが 0 以外に設定されている場合、乱数ジェネレータには指定されたシードがシードされます。
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
シードの衝突を避けるための 2 番目のシード。
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
サンプラーを使用して、元の範囲のサブセットからサンプリングすることで、並列処理を通じて計算全体を高速化できます。
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
ユニグラム数または確率のリスト。ID ごとに 1 つずつ、順番に並べられます。
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
このファイル (CSV のような形式である必要があります) 内の各有効な行は、有効な単語 ID に対応します。

パブリック属性

ねじれ_ 

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

シード2_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

シード_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

シャード_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

ユニグラム_ 

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

語彙ファイル_ 

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

公共機能

ねじれ

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

歪みはユニグラム確率分布を歪めるために使用されます。

各重みは、内部ユニグラム分布に追加される前に、まず歪みの乗に引き上げられます。結果として、distortion = 1.0 は通常のユニグラム サンプリング (語彙ファイルで定義されたとおり) を提供し、distortion = 0.0 は均一な分布を提供します。

デフォルトは 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

オプションで、ユーザーはいくつかの予約済み ID を [0, ..., num_reserved_ids) の範囲で追加できます。

1 つの使用例は、特別な未知の単語トークンが ID 0 として使用されることです。これらの ID のサンプリング確率は 0 になります。

デフォルトは 0

シャード数

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

サンプラーを使用して、元の範囲のサブセットからサンプリングすることで、並列処理を通じて計算全体を高速化できます。

このパラメーター (「shard」と合わせて) は、計算全体で使用されているパーティションの数を示します。

デフォルトは 1

シード

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

シードまたはシード 2 のいずれかが 0 以外に設定されている場合、乱数ジェネレータには指定されたシードがシードされます。

それ以外の場合は、ランダム シードによってシードされます。

デフォルトは 0

シード2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

シードの衝突を避けるための 2 番目のシード。

デフォルトは 0

シャード

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

サンプラーを使用して、元の範囲のサブセットからサンプリングすることで、並列処理を通じて計算全体を高速化できます。

このパラメータは (「num_shards」と合わせて) パーティショニングが使用されている場合に、サンプラー オペレーションの特定のパーティション番号を示します。

デフォルトは 0

ユニグラム

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

ユニグラム数または確率のリスト。ID ごとに 1 つずつ、順番に並べられます。

vocab_file と unigrams のうちの 1 つだけをこの操作に渡す必要があります。

デフォルトは []

語彙ファイル

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

このファイル (CSV のような形式である必要があります) 内の各有効な行は、有効な単語 ID に対応します。

ID は num_reserved_ids から始まる順番です。各行の最後のエントリは、カウントまたは相対確率に対応する値であることが期待されます。 vocab_file と unigrams の 1 つだけをこの操作に渡す必要があります。

デフォルトは「」です