fluxo tensor:: ops:: FixoUnigramCandidateSampler:: Atributos
#include <candidate_sampling_ops.h>
Configuradores de atributos opcionais para FixedUnigramCandidateSampler .
Resumo
Atributos públicos | |
---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
Funções públicas | |
---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs A distorção é usada para distorcer a distribuição de probabilidade do unigrama. |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs Opcionalmente, alguns IDs reservados podem ser adicionados no intervalo [0, ..., num_reserved_ids) pelos usuários. |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs Um amostrador pode ser usado para amostrar um subconjunto do intervalo original, a fim de acelerar todo o cálculo por meio do paralelismo. |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs Se seed ou seed2 forem definidos como diferentes de zero, o gerador de números aleatórios será propagado pela semente fornecida. |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs Uma segunda semente para evitar colisão de sementes. |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs Um amostrador pode ser usado para amostrar um subconjunto do intervalo original, a fim de acelerar todo o cálculo por meio do paralelismo. |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs Uma lista de contagens ou probabilidades de unigramas, uma por ID em ordem sequencial. |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs Cada linha válida neste arquivo (que deve ter um formato semelhante a CSV) corresponde a um ID de palavra válido. |
Atributos públicos
distorção_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
num_reserved_ids_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
num_shards_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
semente2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
semente_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
fragmento_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
unigramas_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}
arquivo_de_vocabulário_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
Funções públicas
Distorção
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
A distorção é usada para distorcer a distribuição de probabilidade do unigrama.
Cada peso é primeiro elevado à potência da distorção antes de ser adicionado à distribuição interna de unigramas. Como resultado, distorção = 1,0 fornece amostragem regular de unigramas (conforme definido pelo arquivo de vocabulário) e distorção = 0,0 fornece uma distribuição uniforme.
O padrão é 1
NumReservedIds
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
Opcionalmente, alguns IDs reservados podem ser adicionados no intervalo [0, ..., num_reserved_ids) pelos usuários.
Um caso de uso é que um token especial de palavra desconhecida seja usado como ID 0. Esses IDs terão uma probabilidade de amostragem de 0.
O padrão é 0
NumShards
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
Um amostrador pode ser usado para amostrar um subconjunto do intervalo original, a fim de acelerar todo o cálculo por meio do paralelismo.
Este parâmetro (juntamente com 'shard') indica o número de partições que estão sendo usadas no cálculo geral.
O padrão é 1
Semente
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
Se seed ou seed2 forem definidos como diferentes de zero, o gerador de números aleatórios será propagado pela semente fornecida.
Caso contrário, é semeado por uma semente aleatória.
O padrão é 0
Semente2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
Uma segunda semente para evitar colisão de sementes.
O padrão é 0
Fragmento
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
Um amostrador pode ser usado para amostrar um subconjunto do intervalo original, a fim de acelerar todo o cálculo por meio do paralelismo.
Este parâmetro (juntamente com 'num_shards') indica o número de partição específico de uma operação de amostragem, quando o particionamento está sendo usado.
O padrão é 0
Unigramas
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
Uma lista de contagens ou probabilidades de unigramas, uma por ID em ordem sequencial.
Exatamente um dos vocab_file e unigrams deve ser passado para esta operação.
O padrão é []
Arquivo de vocabulário
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
Cada linha válida neste arquivo (que deve ter um formato semelhante a CSV) corresponde a um ID de palavra válido.
Os IDs estão em ordem sequencial, começando em num_reserved_ids. Espera-se que a última entrada em cada linha seja um valor correspondente à contagem ou probabilidade relativa. Exatamente um dos vocab_file e unigrams precisa ser passado para esta operação.
O padrão é ""