dòng chảy :: hoạt động :: StringNGrams

#include <string_ops.h>

Tạo ngram từ dữ liệu chuỗi bị rách nát.

Tóm lược

Op này chấp nhận một tensor rách rưới với 1 kích thước rách rưới chỉ chứa các chuỗi và xuất ra một tensor rách rưới với 1 kích thước rách rưới chứa hàng ngam của chuỗi đó, được nối dọc theo trục trong cùng.

Tranh luận:

  • phạm vi: Một đối tượng Phạm vi
  • data: Các giá trị tensor của tensor chuỗi rách nát để tạo ra ngrams. Phải là một tensor chuỗi 1D.
  • data_splits: Tách tensor của tensor chuỗi bị rách để làm cho ngram ra khỏi.
  • dấu phân cách: Chuỗi để nối giữa các phần tử của mã thông báo. Sử dụng "" để không có dấu phân tách.
  • ngram_widths: Kích thước của ngram để tạo.
  • left_pad: Chuỗi để sử dụng để đệm phía bên trái của chuỗi ngram. Chỉ được sử dụng nếu pad_width! = 0.
  • right_pad: Chuỗi để sử dụng để đệm phía bên phải của chuỗi ngram. Chỉ được sử dụng nếu pad_width! = 0.
  • pad_width: Số phần tử đệm cần thêm vào mỗi bên của mỗi chuỗi. Lưu ý rằng phần đệm sẽ không bao giờ lớn hơn 'ngram_widths'-1 bất kể giá trị này là bao nhiêu. Nếu pad_width=-1 , thì hãy thêm max(ngram_widths)-1 phần tử.

Lợi nhuận:

  • Ngram Output : Giá trị tensor của đầu ra ngram rapped tensor.
  • Ngram_splits Output : tensor phân chia của ngram đầu ra bị xé rách tensor.

Người xây dựng và Người phá hủy

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Thuộc tính công cộng

ngrams
ngrams_splits
operation

Thuộc tính công cộng

ngrams

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

hoạt động

Operation operation

Chức năng công cộng

StringNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)