aliran tensor:: operasi:: StringNGram

#include <string_ops.h>

Membuat ngram dari data string yang tidak rata.

Ringkasan

Operasi ini menerima tensor kasar dengan 1 dimensi kasar yang hanya berisi string dan mengeluarkan tensor kasar dengan 1 dimensi kasar yang berisi ngram string tersebut, yang digabungkan di sepanjang sumbu terdalam.

Argumen:

  • ruang lingkup: Objek Lingkup
  • data: Nilai tensor dari tensor string kasar yang akan dijadikan ngram. Harus berupa tensor string 1D.
  • data_splits: Tensor pemisah dari tensor string yang tidak rata untuk menghasilkan ngram.
  • pemisah: String yang akan ditambahkan di antara elemen token. Gunakan "" tanpa pemisah.
  • ngram_widths: Ukuran ngram yang akan dibuat.
  • left_pad: String yang digunakan untuk mengisi sisi kiri urutan ngram. Hanya digunakan jika pad_width != 0.
  • right_pad: String yang digunakan untuk mengisi sisi kanan urutan ngram. Hanya digunakan jika pad_width != 0.
  • pad_width: Jumlah elemen padding yang akan ditambahkan ke setiap sisi setiap urutan. Perhatikan bahwa padding tidak akan pernah lebih besar dari 'ngram_widths'-1 berapa pun nilainya. Jika pad_width=-1 , tambahkan elemen max(ngram_widths)-1 .

Pengembalian:

  • Ngram Output : Nilai tensor dari ngram keluaran tensor acak-acakan.
  • Output ngrams_splits: Tensor split dari tensor compang-camping ngrams keluaran.

Konstruktor dan Destruktor

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Atribut publik

ngrams
ngrams_splits
operation

Atribut publik

ngram

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

operasi

Operation operation

Fungsi publik

StringNGram

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)