Conozca lo último en aprendizaje automático, IA generativa y más en el Simposio WiML 2023.

Se usó la API de Cloud Translation para traducir esta página.

tensorflow :: operaciones :: FixedUnigramCandidateSampler :: Atributos

#include <candidate_sampling_ops.h>

Establecedores de atributos opcionales para FixedUnigramCandidateSampler .

Resumen

Atributos públicos
`distortion_ = 1.0f`	`float`
`num_reserved_ids_ = 0`	`int64`
`num_shards_ = 1`	`int64`
`seed2_ = 0`	`int64`
`seed_ = 0`	`int64`
`shard_ = 0`	`int64`
`unigrams_ = {}`	`gtl::ArraySlice< float >`
`vocab_file_ = ""`	`StringPiece`

Funciones publicas
`Distortion (float x)`	`TF_MUST_USE_RESULT Attrs` La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.
`NumReservedIds (int64 x)`	`TF_MUST_USE_RESULT Attrs` Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids).
`NumShards (int64 x)`	`TF_MUST_USE_RESULT Attrs` Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.
`Seed (int64 x)`	`TF_MUST_USE_RESULT Attrs` Si la semilla o semilla2 se establecen en un valor distinto de cero, el generador de números aleatorios es sembrado por la semilla dada.
`Seed2 (int64 x)`	`TF_MUST_USE_RESULT Attrs` Una segunda semilla para evitar la colisión de semillas.
`Shard (int64 x)`	`TF_MUST_USE_RESULT Attrs` Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.
`Unigrams (const gtl::ArraySlice< float > & x)`	`TF_MUST_USE_RESULT Attrs` Una lista de recuentos o probabilidades de unigramo, uno por ID en orden secuencial.
`VocabFile (StringPiece x)`	`TF_MUST_USE_RESULT Attrs` Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una ID de palabra válida.

Atributos públicos

distorsión_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

seed2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

semilla_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

casco_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigrams_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

vocab_file_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funciones publicas

Distorsión

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.

Cada peso se eleva primero a la potencia de la distorsión antes de agregarlo a la distribución interna unigrama. Como resultado, la distorsión = 1.0 proporciona un muestreo de unigramo regular (según lo definido por el archivo de vocabulario) y la distorsión = 0.0 proporciona una distribución uniforme.

Predeterminado a 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids).

Un caso de uso es que se utiliza un token de palabra desconocida especial como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.

Predeterminado a 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Se puede utilizar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.

Este parámetro (junto con 'fragmento') indica el número de particiones que se utilizan en el cálculo general.

Predeterminado a 1

Semilla

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Si la semilla o semilla2 se establecen en un valor distinto de cero, el generador de números aleatorios es sembrado por la semilla dada.

De lo contrario, es sembrado por una semilla aleatoria.

Predeterminado a 0

Semilla2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Una segunda semilla para evitar la colisión de semillas.

Predeterminado a 0

Casco

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.

Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestreador, cuando se utiliza la partición.

Predeterminado a 0

Unigramos

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Una lista de recuentos o probabilidades de unigramo, uno por ID en orden secuencial.

Se debe pasar exactamente uno de vocab_file y unigrams a esta operación.

El valor predeterminado es []

VocabFile

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una ID de palabra válida.

Los ID están en orden secuencial, comenzando por num_reserved_ids. Se espera que la última entrada de cada línea sea un valor correspondiente al recuento o probabilidad relativa. Exactamente uno de vocab_file y unigrams debe pasarse a esta operación.

El valor predeterminado es ""