Set di dati AutoShard

classe finale pubblica AutoShardDataset

Crea un set di dati che suddivide in partizioni il set di dati di input.

Crea un set di dati che suddivide il set di dati di input in base a num_workers, restituendo un set di dati partizionato per il lavoratore indice-esimo. Questo tenta di partizionare automaticamente un set di dati esaminando il grafico del set di dati e inserendo un'operazione di shard prima degli input in un set di dati del lettore (ad esempio CSVDataset, TFRecordDataset).

Questo set di dati genererà un errore NotFound se non è possibile partizionare automaticamente il set di dati.

Classi nidificate

classe AutoShardDataset.Options Attributi facoltativi per AutoShardDataset

Metodi pubblici

Uscita <Oggetto>
comeuscita ()
Restituisce la maniglia simbolica di un tensore.
AutoShardDataset.Options statico
autoShardPolicy (autoShardPolicy lunga)
AutoShardDataset statico
create ( Scope scope, Operando <?> inputDataset, Operando <Long> numWorkers, Operando <Long> indice, List<Class<?>> outputTypes, List< Shape > outputShapes, Opzioni... opzioni)
Metodo factory per creare una classe che racchiude una nuova operazione AutoShardDataset.
Uscita <?>
AutoShardDataset.Options statico
numReplicas (numReplicas lunghi)

Metodi ereditati

Metodi pubblici

output pubblico <Oggetto> asOutput ()

Restituisce la maniglia simbolica di un tensore.

Gli input per le operazioni TensorFlow sono output di un'altra operazione TensorFlow. Questo metodo viene utilizzato per ottenere un handle simbolico che rappresenta il calcolo dell'input.

pubblico statico AutoShardDataset.Options autoShardPolicy (autoShardPolicy lungo)

creazione AutoShardDataset pubblica statica ( ambito ambito , Operando <?> inputDataset, Operando <Long> numWorkers, Operando <Long> indice, List<Class<?>> outputTypes, List< Shape > outputShapes, Opzioni... opzioni)

Metodo factory per creare una classe che racchiude una nuova operazione AutoShardDataset.

Parametri
scopo ambito attuale
inputDataset Un tensore variante che rappresenta il set di dati di input.
numLavoratori Uno scalare che rappresenta il numero di lavoratori su cui distribuire questo set di dati.
indice Uno scalare che rappresenta l'indice del lavoratore corrente su num_workers.
opzioni trasporta valori di attributi opzionali
ritorna
  • una nuova istanza di AutoShardDataset

Output pubblico <?> handle ()

pubblico statico AutoShardDataset.Options numReplicas (numReplicas lunghi)