flux tensoriel : : opérations : : FixeUnigramCandidateSampler :: Attributs

#include <candidate_sampling_ops.h>

Setters d'attributs facultatifs pour FixedUnigramCandidateSampler .

Résumé

Attributs publics

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

Fonctions publiques

Distortion (float x)
TF_MUST_USE_RESULT Attrs
La distorsion est utilisée pour fausser la distribution de probabilité de l'unigramme.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
En option, certains identifiants réservés peuvent être ajoutés dans la plage [0, ..., num_reserved_ids) par les utilisateurs.
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
Un échantillonneur peut être utilisé pour échantillonner un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Si seed ou seed2 sont définis comme étant différents de zéro, le générateur de nombres aléatoires est amorcé par la graine donnée.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Une deuxième graine pour éviter la collision des graines.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
Un échantillonneur peut être utilisé pour échantillonner un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Une liste de décomptes ou de probabilités d'unigrammes, un par ID dans un ordre séquentiel.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Chaque ligne valide de ce fichier (qui doit avoir un format de type CSV) correspond à un identifiant de mot valide.

Attributs publics

distorsion_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

graine2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

graine_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

tesson_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigrammes_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

fichier_vocab_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Fonctions publiques

Distorsion

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsion est utilisée pour fausser la distribution de probabilité de l'unigramme.

Chaque poids est d'abord augmenté à la puissance de la distorsion avant de s'ajouter à la distribution interne de l'unigramme. En conséquence, distorsion = 1,0 donne un échantillonnage d'unigramme régulier (tel que défini par le fichier de vocabulaire) et distorsion = 0,0 donne une distribution uniforme.

La valeur par défaut est 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

En option, certains identifiants réservés peuvent être ajoutés dans la plage [0, ..., num_reserved_ids) par les utilisateurs.

Un cas d'utilisation est qu'un jeton de mot inconnu spécial est utilisé comme ID 0. Ces ID auront une probabilité d'échantillonnage de 0.

La valeur par défaut est 0

Nombre de fragments

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Un échantillonneur peut être utilisé pour échantillonner un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.

Ce paramètre (avec 'shard') indique le nombre de partitions utilisées dans le calcul global.

La valeur par défaut est 1

Graine

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Si seed ou seed2 sont définis comme étant différents de zéro, le générateur de nombres aléatoires est amorcé par la graine donnée.

Sinon, il est ensemencé par une graine aléatoire.

La valeur par défaut est 0

Semence2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Une deuxième graine pour éviter la collision des graines.

La valeur par défaut est 0

Tesson

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Un échantillonneur peut être utilisé pour échantillonner un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.

Ce paramètre (avec 'num_shards') indique le numéro de partition particulier d'une opération d'échantillonnage, lorsque le partitionnement est utilisé.

La valeur par défaut est 0

Unigrammes

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Une liste de décomptes ou de probabilités d'unigrammes, un par ID dans un ordre séquentiel.

Exactement l'un des vocabulaire_file et unigrammes doit être transmis à cette opération.

La valeur par défaut est []

Fichier Vocabulaire

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Chaque ligne valide de ce fichier (qui doit avoir un format de type CSV) correspond à un identifiant de mot valide.

Les identifiants sont classés dans un ordre séquentiel, en commençant par num_reserved_ids. La dernière entrée de chaque ligne devrait être une valeur correspondant au nombre ou à la probabilité relative. Exactement l'un des vocabulaire_file et unigrammes doit être transmis à cette opération.

La valeur par défaut est ""