Membuat kumpulan data yang memecah kumpulan data masukan.
Membuat kumpulan data yang memecah kumpulan data input oleh num_workers, mengembalikan kumpulan data pecahan untuk pekerja ke-indeks. Ini mencoba untuk secara otomatis melakukan sharding dataset dengan memeriksa grafik Dataset dan memasukkan shard op sebelum input ke Dataset reader (misalnya CSVDataset, TFRecordDataset).
Dataset ini akan memunculkan kesalahan NotFound jika kita tidak dapat melakukan sharding dataset secara otomatis.
Kelas Bersarang
kelas | AutoShardDataset.Options | Atribut opsional untuk AutoShardDataset |
Metode Publik
Output <Object> | asOutput () Mengembalikan pegangan simbolis tensor. |
statis AutoShardDataset.Options | autoShardPolicy (Long autoShardPolicy) |
statis AutoShardDataset | |
Output <?> | handle () |
statis AutoShardDataset.Options | numReplicas (Long numReplicas) |
Metode yang Diwarisi
Metode Publik
publik Keluaran <Object> asOutput ()
Mengembalikan pegangan simbolis tensor.
Input ke operasi TensorFlow adalah output dari operasi TensorFlow lainnya. Metode ini digunakan untuk mendapatkan pegangan simbolis yang mewakili perhitungan input.
public static AutoShardDataset membuat ( Scope lingkup, Operan <?> inputDataset, Operan <Panjang> numWorkers, Operan <Panjang> index, Daftar <Kelas <? >> outputTypes, Daftar < Shape > outputShapes, Options ... pilihan)
Metode pabrik untuk membuat kelas yang membungkus operasi AutoShardDataset baru.
Parameter
cakupan | lingkup saat ini |
---|---|
masukanDataset | Tensor varian yang mewakili set data input. |
jumlahPekerja | Skalar yang mewakili jumlah pekerja untuk mendistribusikan kumpulan data ini. |
indeks | Skalar yang mewakili indeks pekerja saat ini dari num_workers. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru AutoShardDataset