FixedUnigramCandidateSampler.Options

clase estática pública FixUnigramCandidateSampler.Options

Atributos opcionales para FixedUnigramCandidateSampler

Métodos públicos

Se corrigió UnigramCandidateSampler.Options	distorsión (distorsión flotante)
Se corrigió UnigramCandidateSampler.Options	numReservedIds (NúmReservedIds largos)
Se corrigió UnigramCandidateSampler.Options	numShards (numShards largos)
Se corrigió UnigramCandidateSampler.Options	semilla (semilla larga)
Se corrigió UnigramCandidateSampler.Options	semilla2 (semilla larga2)
Se corrigió UnigramCandidateSampler.Options	fragmento (fragmento largo)
Se corrigió UnigramCandidateSampler.Options	unigramas (List<Float> unigramas)
Se corrigió UnigramCandidateSampler.Options	vocabFile (cadena vocabFile)

Métodos heredados

De la clase java.lang.Object

booleano	es igual (Objeto arg0)
Clase final<?>	obtenerclase ()
En t	código hash ()
vacío final	notificar ()
vacío final	notificar a todos ()
Cadena	Encadenar ()
vacío final	esperar (arg0 largo, int arg1)
vacío final	espera (largo arg0)
vacío final	esperar ()

Métodos públicos

distorsión pública FixedUnigramCandidateSampler.Options (distorsión flotante)

Parámetros

distorsión	La distorsión se utiliza para sesgar la distribución de probabilidad unigrama. Cada peso se eleva primero a la potencia de distorsión antes de agregarlo a la distribución interna de unigramas. Como resultado, la distorsión = 1,0 proporciona un muestreo regular de unigramas (como se define en el archivo de vocabulario) y la distorsión = 0,0 proporciona una distribución uniforme.

público FixedUnigramCandidateSampler.Options numReservedIds (NúmReservedIds largos)

Parámetros

númReservedIds	Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids). Un caso de uso es que se utiliza un token especial de palabra desconocida como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.

público FixUnigramCandidateSampler.Options numShards (NumShards largos)

Parámetros

número de fragmentos	Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo. Este parámetro (junto con 'shard') indica el número de particiones que se utilizan en el cálculo general.

semilla pública FixedUnigramCandidateSampler.Options (semilla larga)

Parámetros

semilla	Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada. De lo contrario, se siembra con una semilla aleatoria.

público FixUnigramCandidateSampler.Options semilla2 (semilla larga2)

Parámetros

semilla2	Una segunda semilla para evitar la colisión de semillas.

fragmento público FixUnigramCandidateSampler.Options (fragmento largo)

Parámetros

casco	Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo. Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestra, cuando se utiliza la partición.

public FixedUnigramCandidateSampler.Options unigramas (List<Float> unigramas)

Parámetros

unigramas	Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial. Se debe pasar exactamente uno de vocab_file y unigramas a esta operación.

público FixedUnigramCandidateSampler.Options vocabFile (cadena vocabFile)

Parámetros

archivovocab	Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida. Los ID están en orden secuencial, comenzando desde num_reserved_ids. Se espera que la última entrada en cada línea sea un valor correspondiente al recuento o probabilidad relativa. Se debe pasar exactamente uno de vocab_file y unigramas a esta operación.