AutoShardDataset

classe finale publique AutoShardDataset

Crée un ensemble de données qui fragmente l'ensemble de données d'entrée.

Crée un ensemble de données qui fragmente l'ensemble de données d'entrée par num_workers, renvoyant un ensemble de données fragmenté pour le travailleur d'index. Cela tente de partitionner automatiquement un ensemble de données en examinant le graphique de l'ensemble de données et en insérant une opération de partitionnement avant les entrées d'un ensemble de données de lecteur (par exemple CSVDataset, TFRecordDataset).

Cet ensemble de données générera une erreur NotFound si nous ne pouvons pas partitionner l'ensemble de données automatiquement.

Classes imbriquées

classe AutoShardDataset.Options Attributs facultatifs pour AutoShardDataset

Méthodes publiques

Sortie <Objet>
comme Sortie ()
Renvoie le handle symbolique d'un tenseur.
AutoShardDataset.Options statique
autoShardPolicy (Politique autoShard longue)
Ensemble de données AutoShard statique
créer ( Scope scope, Operand <?> inputDataset, Operand <Long> numWorkers, Operand <Long> index, List<Class<?>> outputTypes, List< Shape > outputShapes, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération AutoShardDataset.
Sortie <?>
AutoShardDataset.Options statique
numReplicas (numReplicas longs)

Méthodes héritées

Méthodes publiques

sortie publique <Objet> asOutput ()

Renvoie le handle symbolique d'un tenseur.

Les entrées des opérations TensorFlow sont les sorties d'une autre opération TensorFlow. Cette méthode est utilisée pour obtenir un handle symbolique qui représente le calcul de l’entrée.

public statique AutoShardDataset.Options autoShardPolicy (Long autoShardPolicy)

public static AutoShardDataset créer ( Scope scope, Operand <?> inputDataset, Operand <Long> numWorkers, Operand <Long> index, List<Class<?>> outputTypes, List< Shape > outputShapes, Options... options)

Méthode d'usine pour créer une classe encapsulant une nouvelle opération AutoShardDataset.

Paramètres
portée portée actuelle
jeu de données d'entrée Un tenseur variant représentant l'ensemble de données d'entrée.
nombre de travailleurs Un scalaire représentant le nombre de nœuds de calcul sur lesquels distribuer cet ensemble de données.
indice Un scalaire représentant l'index du travailleur actuel sur num_workers.
choix porte des valeurs d'attributs facultatifs
Retour
  • une nouvelle instance d'AutoShardDataset

sortie publique <?> handle ()

public statique AutoShardDataset.Options numReplicas (numReplicas longs)