テンソルフロー::作戦::文字列分割

#include <string_ops.h>

delimiterに基づいてinputの要素をSparseTensorに分割します。

まとめ

N をソースのサイズとします (通常、N はバッチ サイズになります)。 delimiterに基づいてinputの各要素を分割し、分割されたトークンを含むSparseTensorを返します。空のトークンは無視されます。

delimiter空にすることも、分割された文字列にすることもできます。 delimiterが空の文字列の場合、 inputの各要素は、UTF-8 マルチバイト シーケンスの分割を含め、個別のシングルバイト文字列に分割されます。それ以外の場合、 delimiterのすべての文字が分割点になる可能性があります。

例: N = 2、input[0] が 'hello world'、input[1] が 'ab c' の場合、出力は次のようになります。

インデックス = [0, 0; 0、1; 1、0; 1、1; 1, 2] 形状 = [2, 3] 値 = ['hello', 'world', 'a', 'b', 'c']

引数:

  • スコープ:スコープオブジェクト
  • 入力: 1-D。分割する文字列。
  • 区切り文字: 0-D。区切り文字（バイト）、または空の文字列。

オプションの属性 ( Attrsを参照):

  • Skip_empty: bool 。 Trueの場合、結果から空の文字列をスキップします。

戻り値:

  • Outputインデックス: スパース テンソルのインデックスを表す int64 の密行列。
  • Output値: 分割された値に対応する文字列のベクトル。
  • Output形状: スパース テンソルの形状を表す int64 の長さ 2 ベクトル。最初の値は N、2 番目の値は 1 つの入力エントリ内のトークンの最大数です。

コンストラクターとデストラクター

StringSplit (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input delimiter)
StringSplit (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input delimiter, const StringSplit::Attrs & attrs)

パブリック属性

indices
operation
shape
values

パブリック静的関数

SkipEmpty (bool x)

構造体

tensorflow:: ops:: StringSplit:: Attrs

StringSplitのオプションの属性セッター。

パブリック属性

インデックス

::tensorflow::Output indices

手術

Operation operation

形

::tensorflow::Output shape

価値観

::tensorflow::Output values

公共機能

文字列分割

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter
)

文字列分割

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter,
  const StringSplit::Attrs & attrs
)

パブリック静的関数

空をスキップ

Attrs SkipEmpty(
  bool x
)