tensoreflusso:: ops:: Risolto il problema con UnigramCandidateSampler:: Attr
#include <candidate_sampling_ops.h>
Setter di attributi facoltativi per FixedUnigramCandidateSampler .
Riepilogo
Attributi pubblici | |
---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
Funzioni pubbliche | |
---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs La distorsione viene utilizzata per distorcere la distribuzione di probabilità dell'unigramma. |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs Facoltativamente gli utenti possono aggiungere alcuni ID riservati nell'intervallo [0, ..., num_reserved_ids). |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs È possibile utilizzare un campionatore per campionare da un sottoinsieme dell'intervallo originale per accelerare l'intero calcolo attraverso il parallelismo. |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs Se seed o seed2 sono impostati su un valore diverso da zero, il generatore di numeri casuali viene seminato dal seed specificato. |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs Un secondo seme per evitare la collisione dei semi. |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs È possibile utilizzare un campionatore per campionare da un sottoinsieme dell'intervallo originale per accelerare l'intero calcolo attraverso il parallelismo. |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs Un elenco di conteggi o probabilità di unigrammi, uno per ID in ordine sequenziale. |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs Ogni riga valida in questo file (che dovrebbe avere un formato simile a CSV) corrisponde a un ID di parola valido. |
Attributi pubblici
distorsione_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
num_id_riservati_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
num_shards_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
seme2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
seme_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
coccio_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
unigrammi_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}
file_vocabolario_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
Funzioni pubbliche
Distorsione
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
La distorsione viene utilizzata per distorcere la distribuzione di probabilità dell'unigramma.
Ogni peso viene prima aumentato alla potenza della distorsione prima di aggiungerlo alla distribuzione unigramma interna. Di conseguenza, distorsione = 1.0 fornisce un campionamento unigramma regolare (come definito dal file vocab) e distorsione = 0.0 fornisce una distribuzione uniforme.
Il valore predefinito è 1
NumReservedId
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
Facoltativamente gli utenti possono aggiungere alcuni ID riservati nell'intervallo [0, ..., num_reserved_ids).
Un caso d'uso è che uno speciale token di parola sconosciuta viene utilizzato come ID 0. Questi ID avranno una probabilità di campionamento pari a 0.
Il valore predefinito è 0
NumShards
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
È possibile utilizzare un campionatore per campionare da un sottoinsieme dell'intervallo originale per accelerare l'intero calcolo attraverso il parallelismo.
Questo parametro (insieme a 'shard') indica il numero di partizioni utilizzate nel calcolo complessivo.
Il valore predefinito è 1
Seme
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
Se seed o seed2 sono impostati su un valore diverso da zero, il generatore di numeri casuali viene seminato dal seed specificato.
Altrimenti, viene seminato da un seme casuale.
Il valore predefinito è 0
Seme2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
Un secondo seme per evitare la collisione dei semi.
Il valore predefinito è 0
Coccio
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
Un campionatore può essere utilizzato per campionare da un sottoinsieme dell'intervallo originale per accelerare l'intero calcolo attraverso il parallelismo.
Questo parametro (insieme a 'num_shards') indica il numero di partizione particolare di un'operazione di campionamento, quando viene utilizzato il partizionamento.
Il valore predefinito è 0
Unigrammi
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
Un elenco di conteggi o probabilità di unigrammi, uno per ID in ordine sequenziale.
A questa operazione dovrebbe essere passato esattamente uno tra vocab_file e unigrams.
Il valore predefinito è []
VocabFile
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
Ogni riga valida in questo file (che dovrebbe avere un formato simile a CSV) corrisponde a un ID di parola valido.
Gli ID sono in ordine sequenziale, a partire da num_reserved_ids. Si prevede che l'ultima voce in ciascuna riga sia un valore corrispondente al conteggio o alla probabilità relativa. A questa operazione deve essere passato esattamente uno tra vocab_file e unigrams.
Il valore predefinito è ""