tensoreflusso:: ops:: Risolto il problema con UnigramCandidateSampler:: Attr

#include <candidate_sampling_ops.h>

Setter di attributi facoltativi per FixedUnigramCandidateSampler .

Riepilogo

Attributi pubblici

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

Funzioni pubbliche

Distortion (float x)
TF_MUST_USE_RESULT Attrs
La distorsione viene utilizzata per distorcere la distribuzione di probabilità dell'unigramma.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
Facoltativamente gli utenti possono aggiungere alcuni ID riservati nell'intervallo [0, ..., num_reserved_ids).
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
È possibile utilizzare un campionatore per campionare da un sottoinsieme dell'intervallo originale per accelerare l'intero calcolo attraverso il parallelismo.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Se seed o seed2 sono impostati su un valore diverso da zero, il generatore di numeri casuali viene seminato dal seed specificato.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Un secondo seme per evitare la collisione dei semi.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
È possibile utilizzare un campionatore per campionare da un sottoinsieme dell'intervallo originale per accelerare l'intero calcolo attraverso il parallelismo.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Un elenco di conteggi o probabilità di unigrammi, uno per ID in ordine sequenziale.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Ogni riga valida in questo file (che dovrebbe avere un formato simile a CSV) corrisponde a un ID di parola valido.

Attributi pubblici

distorsione_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_id_riservati_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

seme2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

seme_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

coccio_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigrammi_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

file_vocabolario_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funzioni pubbliche

Distorsione

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsione viene utilizzata per distorcere la distribuzione di probabilità dell'unigramma.

Ogni peso viene prima aumentato alla potenza della distorsione prima di aggiungerlo alla distribuzione unigramma interna. Di conseguenza, distorsione = 1.0 fornisce un campionamento unigramma regolare (come definito dal file vocab) e distorsione = 0.0 fornisce una distribuzione uniforme.

Il valore predefinito è 1

NumReservedId

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Facoltativamente gli utenti possono aggiungere alcuni ID riservati nell'intervallo [0, ..., num_reserved_ids).

Un caso d'uso è che uno speciale token di parola sconosciuta viene utilizzato come ID 0. Questi ID avranno una probabilità di campionamento pari a 0.

Il valore predefinito è 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

È possibile utilizzare un campionatore per campionare da un sottoinsieme dell'intervallo originale per accelerare l'intero calcolo attraverso il parallelismo.

Questo parametro (insieme a 'shard') indica il numero di partizioni utilizzate nel calcolo complessivo.

Il valore predefinito è 1

Seme

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Se seed o seed2 sono impostati su un valore diverso da zero, il generatore di numeri casuali viene seminato dal seed specificato.

Altrimenti, viene seminato da un seme casuale.

Il valore predefinito è 0

Seme2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Un secondo seme per evitare la collisione dei semi.

Il valore predefinito è 0

Coccio

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Un campionatore può essere utilizzato per campionare da un sottoinsieme dell'intervallo originale per accelerare l'intero calcolo attraverso il parallelismo.

Questo parametro (insieme a 'num_shards') indica il numero di partizione particolare di un'operazione di campionamento, quando viene utilizzato il partizionamento.

Il valore predefinito è 0

Unigrammi

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Un elenco di conteggi o probabilità di unigrammi, uno per ID in ordine sequenziale.

A questa operazione dovrebbe essere passato esattamente uno tra vocab_file e unigrams.

Il valore predefinito è []

VocabFile

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Ogni riga valida in questo file (che dovrebbe avere un formato simile a CSV) corrisponde a un ID di parola valido.

Gli ID sono in ordine sequenziale, a partire da num_reserved_ids. Si prevede che l'ultima voce in ciascuna riga sia un valore corrispondente al conteggio o alla probabilità relativa. A questa operazione deve essere passato esattamente uno tra vocab_file e unigrams.

Il valore predefinito è ""