Conozca lo último en aprendizaje automático, IA generativa y más en el Simposio WiML 2023.

Se usó la API de Cloud Translation para traducir esta página.

tensorflow :: operaciones :: FixedUnigramCandidateSampler :: Atributos

#include <candidate_sampling_ops.h>

Establecedores de atributos opcionales para FixedUnigramCandidateSampler .

Resumen

Atributos públicos
`distortion_ = 1.0f`	`float`
`num_reserved_ids_ = 0`	`int64`
`num_shards_ = 1`	`int64`
`seed2_ = 0`	`int64`
`seed_ = 0`	`int64`
`shard_ = 0`	`int64`
`unigrams_ = {}`	`gtl::ArraySlice< float >`
`vocab_file_ = ""`	`StringPiece`

Funciones publicas
`Distortion (float x)`	`TF_MUST_USE_RESULT Attrs` La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.
`NumReservedIds (int64 x)`	`TF_MUST_USE_RESULT Attrs` Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids).
`NumShards (int64 x)`	`TF_MUST_USE_RESULT Attrs` Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.
`Seed (int64 x)`	`TF_MUST_USE_RESULT Attrs` Si la semilla o semilla2 se establecen en un valor distinto de cero, el generador de números aleatorios es sembrado por la semilla dada.
`Seed2 (int64 x)`	`TF_MUST_USE_RESULT Attrs` Una segunda semilla para evitar la colisión de semillas.
`Shard (int64 x)`	`TF_MUST_USE_RESULT Attrs` Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.
`Unigrams (const gtl::ArraySlice< float > & x)`	`TF_MUST_USE_RESULT Attrs` Una lista de recuentos o probabilidades de unigramo, uno por ID en orden secuencial.
`VocabFile (StringPiece x)`	`TF_MUST_USE_RESULT Attrs` Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una ID de palabra válida.

Atributos públicos

distorsión_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

seed2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

semilla_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

casco_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigrams_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

vocab_file_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funciones publicas

Distorsión

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.

Cada peso se eleva primero a la potencia de la distorsión antes de agregarlo a la distribución interna unigrama. Como resultado, la distorsión = 1.0 proporciona un muestreo de unigramo regular (según lo definido por el archivo de vocabulario) y la distorsión = 0.0 proporciona una distribución uniforme.

Predeterminado a 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids).

Un caso de uso es que se utiliza un token de palabra desconocida especial como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.

Predeterminado a 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.

Este parámetro (junto con 'fragmento') indica el número de particiones que se utilizan en el cálculo general.

Predeterminado a 1

Semilla

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Si la semilla o semilla2 se establecen en un valor distinto de cero, el generador de números aleatorios es sembrado por la semilla dada.

De lo contrario, es sembrado por una semilla aleatoria.

Predeterminado a 0

Semilla2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Una segunda semilla para evitar la colisión de semillas.

Predeterminado a 0

Casco

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.

Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestreador, cuando se utiliza la partición.

Predeterminado a 0

Unigramos

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Una lista de recuentos o probabilidades de unigramo, uno por ID en orden secuencial.

Se debe pasar exactamente uno de vocab_file y unigrams a esta operación.

El valor predeterminado es []

VocabFile

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una ID de palabra válida.

Los ID están en orden secuencial, comenzando por num_reserved_ids. Se espera que la última entrada en cada línea sea un valor correspondiente al recuento o probabilidad relativa. Exactamente uno de vocab_file y unigrams debe pasarse a esta operación.

El valor predeterminado es ""