Tensorflow :: ops :: StringNGrams

#include <string_ops.h>

Erstellt Ngramme aus unregelmäßigen Zeichenfolgendaten.

Zusammenfassung

Diese Operation akzeptiert einen unregelmäßigen Tensor mit einer unregelmäßigen Dimension, die nur Zeichenfolgen enthält, und gibt einen unregelmäßigen Tensor mit einer unregelmäßigen Dimension aus, die n Gramm dieser Zeichenfolge enthält und entlang der innersten Achse verbunden ist.

Argumente:

  • scope: Ein Scope- Objekt
  • data: Der Wertetensor des zerlumpten String-Tensors, aus dem ngrams gemacht werden sollen. Muss ein 1D-Saitentensor sein.
  • data_splits: Der Split-Tensor des zerlumpten String-Tensors, aus dem ngrams gemacht werden sollen.
  • Trennzeichen: Die Zeichenfolge, die zwischen Elementen des Tokens angehängt werden soll. Verwenden Sie "" für kein Trennzeichen.
  • ngram_widths: Die Größe der zu erstellenden ngrams.
  • left_pad: Die Zeichenfolge, mit der die linke Seite der ngram-Sequenz aufgefüllt werden soll. Wird nur verwendet, wenn pad_width! = 0 ist.
  • right_pad: Die Zeichenfolge, mit der die rechte Seite der ngram-Sequenz aufgefüllt wird. Wird nur verwendet, wenn pad_width! = 0 ist.
  • pad_width: Die Anzahl der Füllelemente, die zu jeder Seite jeder Sequenz hinzugefügt werden sollen. Beachten Sie, dass die Auffüllung unabhängig von diesem Wert niemals größer als 'ngram_widths'-1 sein wird. Wenn pad_width=-1 , fügen Sie max(ngram_widths)-1 Elemente hinzu.

Kehrt zurück:

  • Output Ngramme: Der Wertetensor des Ausgangs-N-Gramms ist ein zerlumpter Tensor.
  • Output ngrams_splits: Der Split-Tensor des Output-Ngrams-Tensors.

Konstruktoren und Destruktoren

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Öffentliche Attribute

ngrams
ngrams_splits
operation

Öffentliche Attribute

ngrams

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

Operation

Operation operation

Öffentliche Funktionen

StringNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)