Membuat himpunan data yang memecah himpunan data masukan.
Membuat himpunan data yang memecah himpunan data masukan sebanyak num_workers, mengembalikan himpunan data yang dipecah untuk pekerja ke-indeks. Ini mencoba untuk secara otomatis membagi kumpulan data dengan memeriksa grafik Kumpulan Data dan memasukkan operasi pecahan sebelum memasukkan ke Kumpulan Data pembaca (misalnya CSVDataset, TFRecordDataset).
Kumpulan data ini akan memunculkan kesalahan NotFound jika kami tidak dapat membagi kumpulan data secara otomatis.
Kelas Bersarang
kelas | AutoShardDataset.Opsi | Atribut opsional untuk AutoShardDataset |
Metode Publik
Keluaran <Objek> | sebagai Keluaran () Mengembalikan pegangan simbolik tensor. |
AutoShardDataset.Options statis | autoShardPolicy (Kebijakan autoShard panjang) |
AutoShardDataset statis | |
Keluaran <?> | menangani () |
AutoShardDataset.Options statis | numReplika (JumlahReplika panjang) |
Metode Warisan
Metode Publik
Output publik <Objek> asOutput ()
Mengembalikan pegangan simbolik tensor.
Masukan ke operasi TensorFlow adalah keluaran dari operasi TensorFlow lainnya. Metode ini digunakan untuk mendapatkan pegangan simbolis yang mewakili perhitungan input.
pembuatan AutoShardDataset statis publik ( Lingkup cakupan , Operan <?> inputDataset, Operan <Panjang> numWorkers, Indeks Operan <Panjang>, Daftar<Kelas<?>> Jenis keluaran, Daftar< Bentuk > bentuk keluaran, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi AutoShardDataset baru.
Parameter
cakupan | ruang lingkup saat ini |
---|---|
masukanDataset | Varian tensor yang mewakili kumpulan data masukan. |
jumlah Pekerja | Skalar yang mewakili jumlah pekerja yang mendistribusikan kumpulan data ini. |
indeks | Skalar yang mewakili indeks pekerja saat ini dari num_workers. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru AutoShardDataset