AutoShardDataset

classe finale publique AutoShardDataset

Crée un ensemble de données qui fragmente l'ensemble de données d'entrée.

Crée un ensemble de données qui fragmente l'ensemble de données d'entrée par num_workers, renvoyant un ensemble de données fragmenté pour le travailleur d'index. Cela tente de partitionner automatiquement un ensemble de données en examinant le graphique de l'ensemble de données et en insérant une opération de partitionnement avant les entrées d'un ensemble de données de lecteur (par exemple CSVDataset, TFRecordDataset).

Cet ensemble de données générera une erreur NotFound si nous ne pouvons pas partitionner l'ensemble de données automatiquement.

Classes imbriquées

classe AutoShardDataset.Options Attributs facultatifs pour AutoShardDataset

Constantes

Chaîne OP_NAME Le nom de cette opération, tel que connu par le moteur principal TensorFlow

Méthodes publiques

Sortie < TType >
comme Sortie ()
Renvoie le handle symbolique du tenseur.
AutoShardDataset.Options statique
autoShardPolicy (Politique autoShard longue)
Ensemble de données AutoShard statique
créer ( Scope scope, Operand <?> inputDataset, Operand < TInt64 > numWorkers, Operand < TInt64 > index, List<Class<? extends TType >> outputTypes, List< Shape > outputShapes, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération AutoShardDataset.
Sortie <?>

Méthodes héritées

Constantes

chaîne finale statique publique OP_NAME

Le nom de cette opération, tel que connu par le moteur principal TensorFlow

Valeur constante : « ExperimentalAutoShardDataset »

Méthodes publiques

sortie publique < TType > asOutput ()

Renvoie le handle symbolique du tenseur.

Les entrées des opérations TensorFlow sont les sorties d'une autre opération TensorFlow. Cette méthode est utilisée pour obtenir un handle symbolique qui représente le calcul de l’entrée.

public statique AutoShardDataset.Options autoShardPolicy (Long autoShardPolicy)

public static AutoShardDataset créer ( Scope scope, Operand <?> inputDataset, Operand < TInt64 > numWorkers, Operand < TInt64 > index, List<Class<? extends TType >> outputTypes, List< Shape > outputShapes, Options... options)

Méthode d'usine pour créer une classe encapsulant une nouvelle opération AutoShardDataset.

Paramètres
portée portée actuelle
jeu de données d'entrée Un tenseur variant représentant l'ensemble de données d'entrée.
nombre de travailleurs Un scalaire représentant le nombre de nœuds de calcul sur lesquels distribuer cet ensemble de données.
indice Un scalaire représentant l'index du travailleur actuel sur num_workers.
choix porte des valeurs d'attributs facultatifs
Retour
  • une nouvelle instance d'AutoShardDataset

sortie publique <?> handle ()