przepływ tensorowy:: ops:: Naprawiono próbnik UnigramCandidate:: Atrybuty

#include <candidate_sampling_ops.h>

Opcjonalne moduły ustawiające atrybuty dla FixUnigramCandidateSampler .

Streszczenie

Atrybuty publiczne

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

Funkcje publiczne

Distortion (float x)
TF_MUST_USE_RESULT Attrs
Zniekształcenie służy do zniekształcenia rozkładu prawdopodobieństwa unigramu.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
Opcjonalnie użytkownicy mogą dodać zastrzeżone identyfikatory z zakresu [0, ..., num_reserved_ids).
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
Próbnik może służyć do próbkowania z podzbioru pierwotnego zakresu, aby przyspieszyć całe obliczenia poprzez równoległość.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Jeśli ziarno lub ziarno2 jest ustawione na wartość różną od zera, generator liczb losowych jest zaszczepiany przez dane ziarno.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Drugie ziarno, aby uniknąć kolizji nasion.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
Próbnik może służyć do próbkowania z podzbioru pierwotnego zakresu, aby przyspieszyć całe obliczenia poprzez równoległość.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Lista zliczeń lub prawdopodobieństw unigramów, po jednym na każdy identyfikator w kolejności sekwencyjnej.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Każda prawidłowa linia w tym pliku (który powinien mieć format podobny do CSV) odpowiada prawidłowemu identyfikatorowi słowa.

Atrybuty publiczne

zniekształcenie_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

liczba_odłamków_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

ziarno2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

nasienie_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

czerep_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigramy_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

plik_słownictwa_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funkcje publiczne

Zniekształcenie

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

Zniekształcenie służy do zniekształcenia rozkładu prawdopodobieństwa unigramu.

Każda waga jest najpierw podnoszona do mocy zniekształcenia przed dodaniem do wewnętrznego rozkładu unigramów. W rezultacie zniekształcenie = 1,0 daje regularne próbkowanie unigramów (zgodnie z definicją w pliku słownika), a zniekształcenie = 0,0 daje równomierny rozkład.

Domyślnie 1

Liczba zarezerwowanych identyfikatorów

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Opcjonalnie użytkownicy mogą dodać zastrzeżone identyfikatory z zakresu [0, ..., num_reserved_ids).

Jednym z przypadków użycia jest użycie specjalnego tokenu nieznanego słowa jako identyfikatora 0. Prawdopodobieństwo próbkowania tych identyfikatorów będzie wynosić 0.

Wartość domyślna to 0

Liczba odłamków

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Próbnik może służyć do próbkowania z podzbioru pierwotnego zakresu, aby przyspieszyć całe obliczenia poprzez równoległość.

Ten parametr (wraz z „shard”) wskazuje liczbę partycji używanych w ogólnych obliczeniach.

Domyślnie 1

Nasienie

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Jeśli ziarno lub ziarno2 jest ustawione na wartość różną od zera, generator liczb losowych jest zaszczepiany przez dane ziarno.

W przeciwnym razie jest on zaszczepiany losowo.

Wartość domyślna to 0

Nasienie2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Drugie ziarno, aby uniknąć kolizji nasion.

Wartość domyślna to 0

Czerep

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Próbnik może służyć do próbkowania z podzbioru pierwotnego zakresu, aby przyspieszyć całe obliczenia poprzez równoległość.

Ten parametr (wraz z „num_shards”) wskazuje konkretny numer partycji operacji próbnika, gdy używane jest partycjonowanie.

Wartość domyślna to 0

Unigramy

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Lista zliczeń lub prawdopodobieństw unigramów, po jednym na każdy identyfikator w kolejności sekwencyjnej.

Do tej operacji należy przekazać dokładnie jeden z plików vocab_file i unigramów.

Domyślnie []

Plik Vocab

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Każda prawidłowa linia w tym pliku (który powinien mieć format podobny do CSV) odpowiada prawidłowemu identyfikatorowi słowa.

Identyfikatory są uporządkowane sekwencyjnie, zaczynając od num_reserved_ids. Oczekuje się, że ostatni wpis w każdym wierszu będzie wartością odpowiadającą liczbie lub prawdopodobieństwu względnemu. Do tej operacji należy przekazać dokładnie jeden z plików vocab_file i unigramów.

Domyślnie „”