aliran tensor:: operasi:: Pemisahan String

#include <string_ops.h>

Pisahkan elemen input berdasarkan delimiter menjadi SparseTensor .

Ringkasan

Misalkan N adalah ukuran sumber (biasanya N adalah ukuran batch). Pisahkan setiap elemen input berdasarkan delimiter dan kembalikan SparseTensor yang berisi token yang dipisahkan. Token kosong diabaikan.

delimiter bisa kosong, atau serangkaian karakter terpisah. Jika delimiter adalah string kosong, setiap elemen input dipecah menjadi string karakter byte tunggal individual, termasuk pemisahan urutan multibyte UTF-8. Jika tidak, setiap karakter delimiter merupakan titik pisah potensial.

Misal: N = 2, input[0] adalah 'hello world' dan input[1] adalah 'ab c', maka outputnya adalah

indeks = [0, 0; 0, 1; 1, 0; 1, 1; 1, 2] bentuk = [2, 3] nilai = ['halo', 'dunia', 'a', 'b', 'c']

Argumen:

  • ruang lingkup: Objek Lingkup
  • masukan: 1-D. String untuk dipisahkan.
  • pembatas: 0-D. Karakter pembatas (byte), atau string kosong.

Atribut opsional (lihat Attrs ):

  • skip_empty: bool . Jika True , lewati string kosong dari hasil.

Pengembalian:

  • Indeks Output : Matriks padat int64 yang mewakili indeks tensor renggang.
  • Nilai Output : Vektor string yang sesuai dengan nilai yang dipisahkan.
  • Bentuk Output : vektor panjang-2 int64 yang mewakili bentuk tensor renggang, dengan nilai pertama adalah N dan nilai kedua adalah jumlah maksimum token dalam satu entri masukan.

Konstruktor dan Destruktor

StringSplit (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input delimiter)
StringSplit (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input delimiter, const StringSplit::Attrs & attrs)

Atribut publik

indices
operation
shape
values

Fungsi statis publik

SkipEmpty (bool x)

Struktur

tensorflow:: ops:: StringSplit:: Attrs

Penyetel atribut opsional untuk StringSplit .

Atribut publik

indeks 

::tensorflow::Output indices

operasi 

Operation operation

membentuk 

::tensorflow::Output shape

nilai-nilai 

::tensorflow::Output values

Fungsi publik

Pemisahan String 

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter
)

Pemisahan String 

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter,
  const StringSplit::Attrs & attrs
)

Fungsi statis publik

LewatiKosong 

Attrs SkipEmpty(
  bool x
)