FixedUnigramCandidateSampler.Options estáticos de clase pública
Los atributos opcionales para FixedUnigramCandidateSampler
Métodos públicos
| FixedUnigramCandidateSampler.Options | distorsión (distorsión Float) |
| FixedUnigramCandidateSampler.Options | numReservedIds (numReservedIds de largo) |
| FixedUnigramCandidateSampler.Options | numShards (numShards de largo) |
| FixedUnigramCandidateSampler.Options | semilla (semilla de larga duración) |
| FixedUnigramCandidateSampler.Options | seed2 (Long seed2) |
| FixedUnigramCandidateSampler.Options | fragmento (fragmento largo) |
| FixedUnigramCandidateSampler.Options | unigrams (List <Float> unigrams) |
| FixedUnigramCandidateSampler.Options | vocabFile (String vocabFile) |
Métodos heredados
Métodos públicos
pública FixedUnigramCandidateSampler.Options distorsión (distorsión del flotador)
Parámetros
| distorsión | La distorsión se utiliza para sesgar la distribución de probabilidad unigrama. Cada peso se eleva primero a la potencia de la distorsión antes de agregarlo a la distribución interna de unigramo. Como resultado, la distorsión = 1.0 proporciona un muestreo de unigramo regular (según lo definido por el archivo de vocabulario) y la distorsión = 0.0 proporciona una distribución uniforme. |
|---|
públicas FixedUnigramCandidateSampler.Options numReservedIds (numReservedIds de largo)
Parámetros
| numReservedIds | Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids). Un caso de uso es que se utiliza un token de palabra desconocida especial como ID 0. Estos ID tendrán una probabilidad de muestreo de 0. |
|---|
públicas FixedUnigramCandidateSampler.Options numShards (numShards de largo)
Parámetros
| numShards | Se puede utilizar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo. Este parámetro (junto con 'fragmento') indica el número de particiones que se utilizan en el cálculo general. |
|---|
pública FixedUnigramCandidateSampler.Options semilla (semilla de larga duración)
Parámetros
| semilla | Si la semilla o semilla2 se establecen en un valor distinto de cero, el generador de números aleatorios es sembrado por la semilla dada. De lo contrario, es sembrado por una semilla aleatoria. |
|---|
públicas FixedUnigramCandidateSampler.Options seed2 (Long seed2)
Parámetros
| semilla2 | Una segunda semilla para evitar la colisión de semillas. |
|---|
pública FixedUnigramCandidateSampler.Options fragmento (fragmento largo)
Parámetros
| casco | Se puede utilizar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo. Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestreo, cuando se utiliza la partición. |
|---|
públicas FixedUnigramCandidateSampler.Options unigrams (List <Float> unigrams)
Parámetros
| unigramos | Una lista de recuentos o probabilidades de unigramo, uno por ID en orden secuencial. Se debe pasar exactamente uno de vocab_file y unigrams a esta operación. |
|---|
pública FixedUnigramCandidateSampler.Options vocabFile (String vocabFile)
Parámetros
| vocabFile | Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una ID de palabra válida. Los ID están en orden secuencial, comenzando por num_reserved_ids. Se espera que la última entrada en cada línea sea un valor correspondiente al recuento o probabilidad relativa. Exactamente uno de vocab_file y unigrams debe pasarse a esta operación. |
|---|