publiczna klasa końcowa StringNGrams
Tworzy ngramy z danych w postaci nierównych ciągów.
Ta operacja akceptuje nierówny tensor z 1 nierównym wymiarem zawierającym tylko ciągi znaków i generuje nierówny tensor z 1 nierównym wymiarem zawierającym ngramy tego ciągu, połączone wzdłuż najbardziej wewnętrznej osi.
Metody publiczne
| statyczny <T rozszerza numer> StringNGrams <T> | |
| Wyjście <Ciąg> | ngramy () Tensor wartości wyjściowych ngramów tensora poszarpanego. |
| Wyjście <T> | ngramsSplits () Tensor podziału wyjściowego ngramowego tensora poszarpanego. |
Metody dziedziczone
Metody publiczne
public static StringNGrams <T> create ( Zakres zakresu, Operand <String> dane, Operand <T> dataSplits, Separator ciągów, List<Long> ngramWidths, String leftPad, String RightPad, Long padWidth, Boolean keepShortSequences)
Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację StringNGrams.
Parametry
| zakres | aktualny zakres |
|---|---|
| dane | Tensor wartości tensora strun nierównych, z którego będą tworzone ngramy. Musi to być tensor struny 1D. |
| podział danych | Tensor podziału tensora strun nierównych, z którego można utworzyć ngramy. |
| separator | Ciąg do dołączenia między elementami tokenu. Użyj „” bez separatora. |
| ngramSzerokości | Rozmiary ngramów do utworzenia. |
| lewyPad | Ciąg używany do dopełnienia lewej strony sekwencji ngram. Używane tylko, jeśli pad_width != 0. |
| prawy pad | Ciąg znaków używany do dopełnienia prawej strony sekwencji ngram. Używane tylko, jeśli pad_width != 0. |
| Szerokość podkładki | Liczba elementów dopełniających, które należy dodać po każdej stronie każdej sekwencji. Należy pamiętać, że dopełnienie nigdy nie będzie większe niż „ngram_widths”-1 niezależnie od tej wartości. Jeśli `pad_width=-1`, dodaj elementy `max(ngram_widths)-1`. |
Zwroty
- nowa instancja StringNGrams