Membuat kumpulan data yang memecah kumpulan data masukan.
Membuat kumpulan data yang memecah kumpulan data input oleh num_workers, mengembalikan kumpulan data pecahan untuk pekerja indeks. Ini mencoba untuk secara otomatis melakukan sharding sebuah dataset dengan memeriksa grafik Dataset dan memasukkan shard op sebelum input ke sebuah Dataset reader (misalnya CSVDataset, TFRecordDataset).
Dataset ini akan memunculkan kesalahan NotFound jika kita tidak dapat melakukan sharding dataset secara otomatis.
Kelas Bersarang
kelas | EksperimentalAutoShardDataset.Options | Atribut opsional untuk ExperimentalAutoShardDataset |
Metode Publik
Keluaran <Objek> | sebagai Keluaran () Mengembalikan pegangan simbolis dari sebuah tensor. |
EksperimentalAutoShardDataset.Options . statis | autoShardPolicy (autoShardPolicy panjang) |
EksperimentalAutoShardDataset statis | |
Keluaran <?> | menangani () |
Metode yang Diwarisi
Metode Publik
Output publik <Object> sebagai Output ()
Mengembalikan pegangan simbolis dari sebuah tensor.
Input ke operasi TensorFlow adalah output dari operasi TensorFlow lainnya. Metode ini digunakan untuk mendapatkan pegangan simbolis yang mewakili perhitungan input.
public static ExperimentalAutoShardDataset create ( Scope scope, Operand <?> inputDataset, Operand <Long> numWorkers, Operand <Long> index, List<Class<?>> outputTypes, List< Shape > outputShapes, Options... options)
Metode pabrik untuk membuat kelas yang membungkus operasi ExperimentalAutoShardDataset baru.
Parameter
cakupan | lingkup saat ini |
---|---|
masukan kumpulan data | Tensor varian yang mewakili set data input. |
jumlahPekerja | Skalar yang mewakili jumlah pekerja untuk mendistribusikan kumpulan data ini. |
indeks | Skalar yang mewakili indeks pekerja saat ini dari num_workers. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru dari ExperimentalAutoShardDataset