AutoShardDataset

パブリック最終クラスAutoShardDataset

入力データセットをシャーディングするデータセットを作成します。

入力データセットを num_workers でシャードするデータセットを作成し、インデックス番目のワーカーのシャード データセットを返します。これは、データセット グラフを調べ、リーダー データセット (CSVDataset、TFRecordDataset など) への入力の前にシャード オペレーションを挿入することによって、データセットを自動的にシャード化しようとします。

データセットを自動的にシャーディングできない場合、このデータセットは NotFound エラーをスローします。

ネストされたクラス

クラスAutoShardDataset.Options AutoShardDatasetのオプションの属性

パブリックメソッド

出力<オブジェクト>
asOutput ()
テンソルのシンボリック ハンドルを返します。
静的AutoShardDataset.Options
autoShardPolicy (長い autoShardPolicy)
静的AutoShardDataset
create (スコープscope、オペランド<?>inputDataset、オペランド<Long>numWorkers、オペランド<Long>インデックス、List<Class<?>>outputTypes、List <Shape> outputShapes、 Options...オプション)
新しい AutoShardDataset オペレーションをラップするクラスを作成するためのファクトリ メソッド。
出力<?>
静的AutoShardDataset.Options
numReplicas (長い numReplicas)

継承されたメソッド

パブリックメソッド

public Output <オブジェクト> asOutput ()

テンソルのシンボリック ハンドルを返します。

TensorFlow オペレーションへの入力は、別の TensorFlow オペレーションの出力です。このメソッドは、入力の計算を表すシンボリック ハンドルを取得するために使用されます。

public static AutoShardDataset.Options autoShardPolicy (Long autoShardPolicy)

public static AutoShardDataset create (スコープscope、オペランド<?>inputDataset、オペランド<Long> numWorkers、オペランド<Long>インデックス、List<Class<?>>outputTypes、List <Shape> outputShapes、 Options...オプション)

新しい AutoShardDataset オペレーションをラップするクラスを作成するためのファクトリ メソッド。

パラメーター
範囲現在のスコープ
入力データセット入力データセットを表すバリアント テンソル。
労働者の数このデータセットを分散するワーカーの数を表すスカラー。
索引num_workers のうちの現在のワーカーのインデックスを表すスカラー。
オプションオプションの属性値を持ちます
戻り値
  • AutoShardDataset の新しいインスタンス

public出力<?>ハンドル()

public static AutoShardDataset.Options numReplicas (Long numReplicas)