Aprenda o que há de mais recente em aprendizado de máquina, IA generativa e muito mais no WiML Symposium 2023 Registre-se

Esta página foi traduzida pela API Cloud Translation.

tensorflow :: ops :: FixedUnigramCandidateSampler :: Attrs

#include <candidate_sampling_ops.h>

Configuradores de atributos opcionais para FixedUnigramCandidateSampler .

Resumo

Atributos públicos
`distortion_ = 1.0f`	`float`
`num_reserved_ids_ = 0`	`int64`
`num_shards_ = 1`	`int64`
`seed2_ = 0`	`int64`
`seed_ = 0`	`int64`
`shard_ = 0`	`int64`
`unigrams_ = {}`	`gtl::ArraySlice< float >`
`vocab_file_ = ""`	`StringPiece`

Funções públicas
`Distortion (float x)`	`TF_MUST_USE_RESULT Attrs` A distorção é usada para distorcer a distribuição de probabilidade unigrama.
`NumReservedIds (int64 x)`	`TF_MUST_USE_RESULT Attrs` Opcionalmente, alguns IDs reservados podem ser adicionados no intervalo [0, ..., num_reserved_ids) pelos usuários.
`NumShards (int64 x)`	`TF_MUST_USE_RESULT Attrs` Um amostrador pode ser usado para amostrar de um subconjunto do intervalo original para acelerar todo o cálculo por meio do paralelismo.
`Seed (int64 x)`	`TF_MUST_USE_RESULT Attrs` Se seed ou seed2 forem definidos como diferentes de zero, o gerador de número aleatório é propagado por um determinado seed.
`Seed2 (int64 x)`	`TF_MUST_USE_RESULT Attrs` Uma segunda semente para evitar a colisão de sementes.
`Shard (int64 x)`	`TF_MUST_USE_RESULT Attrs` Um amostrador pode ser usado para amostrar de um subconjunto do intervalo original para acelerar todo o cálculo por meio do paralelismo.
`Unigrams (const gtl::ArraySlice< float > & x)`	`TF_MUST_USE_RESULT Attrs` Uma lista de contagens de unigrama ou probabilidades, uma por ID em ordem sequencial.
`VocabFile (StringPiece x)`	`TF_MUST_USE_RESULT Attrs` Cada linha válida neste arquivo (que deve ter um formato semelhante a CSV) corresponde a um ID de palavra válido.

Atributos públicos

distorção_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

seed2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

semente_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

shard_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigramas_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

vocab_file_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funções públicas

Distorção

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

A distorção é usada para distorcer a distribuição de probabilidade unigrama.

Cada peso é primeiro elevado à potência da distorção antes de ser adicionado à distribuição unigrama interna. Como resultado, distorção = 1,0 fornece amostragem unigrama regular (conforme definido pelo arquivo de vocabulário) e distorção = 0,0 fornece uma distribuição uniforme.

Padrões para 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Opcionalmente, alguns IDs reservados podem ser adicionados no intervalo [0, ..., num_reserved_ids) pelos usuários.

Um caso de uso é que um token de palavra desconhecida especial é usado como ID 0. Esses IDs terão uma probabilidade de amostragem de 0.

Padrões para 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Um amostrador pode ser usado para amostrar de um subconjunto do intervalo original para acelerar todo o cálculo por meio do paralelismo.

Este parâmetro (junto com 'shard') indica o número de partições que estão sendo usadas na computação geral.

Padrões para 1

Semente

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Se seed ou seed2 forem definidos como diferentes de zero, o gerador de número aleatório é propagado por um determinado seed.

Caso contrário, é semeado por uma semente aleatória.

Padrões para 0

Seed2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Uma segunda semente para evitar a colisão de sementes.

Padrões para 0

Fragmento

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Um amostrador pode ser usado para amostrar de um subconjunto do intervalo original para acelerar todo o cálculo por meio do paralelismo.

Este parâmetro (junto com 'num_shards') indica o número de partição particular de uma operação de amostrador, quando o particionamento está sendo usado.

Padrões para 0

Unigramas

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Uma lista de contagens de unigrama ou probabilidades, uma por ID em ordem sequencial.

Exatamente um de vocab_file e unigramas deve ser passado para este op.

O padrão é []

VocabFile

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Cada linha válida neste arquivo (que deve ter um formato semelhante a CSV) corresponde a um ID de palavra válido.

Os IDs estão em ordem sequencial, começando em num_reserved_ids. Espera-se que a última entrada em cada linha seja um valor correspondente à contagem ou probabilidade relativa. Exatamente um de vocab_file e unigramas precisa ser passado para este op.

O padrão é ""