przepływ tensorowy:: ops:: Naprawiono próbnik UnigramCandidate:: Atrybuty
#include <candidate_sampling_ops.h>
Opcjonalne moduły ustawiające atrybuty dla FixUnigramCandidateSampler .
Streszczenie
Atrybuty publiczne | |
---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
Funkcje publiczne | |
---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs Zniekształcenie służy do zniekształcenia rozkładu prawdopodobieństwa unigramu. |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs Opcjonalnie użytkownicy mogą dodać zastrzeżone identyfikatory z zakresu [0, ..., num_reserved_ids). |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs Próbnik może służyć do próbkowania z podzbioru pierwotnego zakresu, aby przyspieszyć całe obliczenia poprzez równoległość. |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs Jeśli ziarno lub ziarno2 jest ustawione na wartość różną od zera, generator liczb losowych jest zaszczepiany przez dane ziarno. |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs Drugie ziarno, aby uniknąć kolizji nasion. |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs Próbnik może służyć do próbkowania z podzbioru pierwotnego zakresu, aby przyspieszyć całe obliczenia poprzez równoległość. |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs Lista zliczeń lub prawdopodobieństw unigramów, po jednym na każdy identyfikator w kolejności sekwencyjnej. |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs Każda prawidłowa linia w tym pliku (który powinien mieć format podobny do CSV) odpowiada prawidłowemu identyfikatorowi słowa. |
Atrybuty publiczne
zniekształcenie_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
num_reserved_ids_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
liczba_odłamków_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
ziarno2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
nasienie_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
czerep_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
unigramy_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}
plik_słownictwa_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
Funkcje publiczne
Zniekształcenie
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
Zniekształcenie służy do zniekształcenia rozkładu prawdopodobieństwa unigramu.
Każda waga jest najpierw podnoszona do mocy zniekształcenia przed dodaniem do wewnętrznego rozkładu unigramów. W rezultacie zniekształcenie = 1,0 daje regularne próbkowanie unigramów (zgodnie z definicją w pliku słownika), a zniekształcenie = 0,0 daje równomierny rozkład.
Domyślnie 1
Liczba zarezerwowanych identyfikatorów
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
Opcjonalnie użytkownicy mogą dodać zastrzeżone identyfikatory z zakresu [0, ..., num_reserved_ids).
Jednym z przypadków użycia jest użycie specjalnego tokenu nieznanego słowa jako identyfikatora 0. Prawdopodobieństwo próbkowania tych identyfikatorów będzie wynosić 0.
Wartość domyślna to 0
Liczba odłamków
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
Próbnik może służyć do próbkowania z podzbioru pierwotnego zakresu, aby przyspieszyć całe obliczenia poprzez równoległość.
Ten parametr (wraz z „shard”) wskazuje liczbę partycji używanych w ogólnych obliczeniach.
Domyślnie 1
Nasienie
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
Jeśli ziarno lub ziarno2 jest ustawione na wartość różną od zera, generator liczb losowych jest zaszczepiany przez dane ziarno.
W przeciwnym razie jest on zaszczepiany losowo.
Wartość domyślna to 0
Nasienie2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
Drugie ziarno, aby uniknąć kolizji nasion.
Wartość domyślna to 0
Czerep
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
Próbnik może służyć do próbkowania z podzbioru pierwotnego zakresu, aby przyspieszyć całe obliczenia poprzez równoległość.
Ten parametr (wraz z „num_shards”) wskazuje konkretny numer partycji operacji próbnika, gdy używane jest partycjonowanie.
Wartość domyślna to 0
Unigramy
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
Lista zliczeń lub prawdopodobieństw unigramów, po jednym na każdy identyfikator w kolejności sekwencyjnej.
Do tej operacji należy przekazać dokładnie jeden z plików vocab_file i unigramów.
Domyślnie []
Plik Vocab
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
Każda prawidłowa linia w tym pliku (który powinien mieć format podobny do CSV) odpowiada prawidłowemu identyfikatorowi słowa.
Identyfikatory są uporządkowane sekwencyjnie, zaczynając od num_reserved_ids. Oczekuje się, że ostatni wpis w każdym wierszu będzie wartością odpowiadającą liczbie lub prawdopodobieństwu względnemu. Do tej operacji należy przekazać dokładnie jeden z plików vocab_file i unigramów.
Domyślnie „”