Membuat ngram dari data string yang tidak rata.
Operasi ini menerima tensor kasar dengan 1 dimensi tidak rata yang hanya berisi string dan mengeluarkan tensor kasar dengan 1 dimensi tidak rata yang berisi ngram dari string tersebut, yang digabungkan di sepanjang sumbu terdalam.
Metode Publik
statis <T meluas Nomor> StringNGrams <T> | |
Output <String> | ngrams () Tensor nilai dari output ngrams ragged tensor. |
Output <T> | ngramsSplits () Tensor split dari output ngrams ragged tensor. |
Metode yang Diwarisi
Metode Publik
public static StringNGrams <T> membuat ( Lingkup lingkup, Operan <String> data, Operan <T> dataSplits, String pemisah, Daftar <Panjang> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)
Metode pabrik untuk membuat kelas yang membungkus operasi StringNGrams baru.
Parameter
cakupan | lingkup saat ini |
---|---|
data | Nilai tensor dari tensor string kasar untuk membuat ngram. Harus berupa tensor string 1D. |
pemisahan data | Tensor split dari tensor string kasar untuk membuat ngram. |
pemisah | String yang akan ditambahkan di antara elemen token. Gunakan "" tanpa pemisah. |
ngramWidths | Ukuran ngram yang akan dibuat. |
kiriPad | String yang digunakan untuk mengisi sisi kiri dari urutan ngram. Hanya digunakan jika pad_width != 0. |
pad kanan | String yang digunakan untuk mengisi sisi kanan urutan ngram. Hanya digunakan jika pad_width != 0. |
lebar pad | Jumlah elemen padding untuk ditambahkan ke setiap sisi setiap urutan. Perhatikan bahwa padding tidak akan pernah lebih besar dari 'ngram_widths'-1 terlepas dari nilai ini. Jika `pad_width=-1`, tambahkan elemen `max(ngram_widths)-1`. |
Kembali
- contoh baru dari StringNGrams