Interpreter

Interprète de classe terminale publique

Classe de pilote pour piloter l'inférence de modèle avec TensorFlow Lite.

Remarque : Si vous n'avez pas besoin d'accéder à l'une des fonctionnalités de l'API "expérimentale" ci-dessous, préférez utiliser InterpreterApi et InterpreterFactory plutôt que d'utiliser directement Interpreter.

Un Interpreter encapsule un modèle TensorFlow Lite pré-entraîné, dans lequel des opérations sont exécutées pour l'inférence de modèle.

Par exemple, si un modèle ne prend qu'une seule entrée et ne renvoie qu'une seule sortie :

 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.run(input, output);
 }

Si un modèle prend plusieurs entrées ou sorties :

 Object[] inputs = {input0, input1, ...};
 Map<Integer, Object> map_of_indices_to_outputs = new HashMap<>();
 FloatBuffer ith_output = FloatBuffer.allocateDirect(3 * 2 * 4);  // Float tensor, shape 3x2x4.
 ith_output.order(ByteOrder.nativeOrder());
 map_of_indices_to_outputs.put(i, ith_output);
 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.runForMultipleInputsOutputs(inputs, map_of_indices_to_outputs);
 }

Si un modèle prend ou produit des tenseurs de corde :

 String[] input = {"foo", "bar"};  // Input tensor shape is [2].
 String[] output = new String[3][2];  // Output tensor shape is [3, 2].
 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.runForMultipleInputsOutputs(input, output);
 }

Les ordres d'entrées et de sorties sont déterminés lors de la conversion du modèle TensorFlow en modèle TensorFlowLite avec Toco, tout comme les formes par défaut des entrées.

Lorsque les entrées sont fournies sous forme de tableaux (multidimensionnels), le ou les tenseurs d'entrée correspondants seront implicitement redimensionnés en fonction de la forme de ce tableau. Lorsque les entrées sont fournies en tant que types de Buffer , aucun redimensionnement implicite n'est effectué ; l'appelant doit s'assurer que la taille en octets du Buffer correspond à celle du tenseur correspondant ou qu'il redimensionne d'abord le tenseur via resizeInput(int, int[]) . Les informations sur la forme et le type du tenseur peuvent être obtenues via la classe Tensor , disponible via getInputTensor(int) et getOutputTensor(int) .

AVERTISSEMENT : les instances d' Interpreter ne sont pas thread-safe. Un Interpreter possède des ressources qui doivent être explicitement libérées en appelant close()

La bibliothèque TFLite est construite avec l'API NDK 19. Elle peut fonctionner pour les niveaux d'API Android inférieurs à 19, mais n'est pas garantie.

Classes imbriquées

classer

Interprète.Options

Une classe d'options pour contrôler le comportement de l'interpréteur d'exécution.

Constructeurs publics

	Interprète ( modèle de fichierFile ) Initialise un Interpreter .
	Interprète ( fichier modèleFichier, options Interprète.Options ) Initialise un Interpreter et spécifie les options de personnalisation du comportement de l'interpréteur.
	Interprète ( ByteBuffer byteBuffer) Initialise un Interpreter avec un ByteBuffer d'un fichier de modèle.
	Interprète ( ByteBuffer byteBuffer, options Interpreter.Options ) Initialise un Interpreter avec un ByteBuffer d'un fichier de modèle et un ensemble d' Interpreter.Options personnalisés.

Méthodes publiques

annuler	allouerTensors () Met à jour explicitement les allocations pour tous les Tensors, si nécessaire.
annuler	fermer () Libérez les ressources associées à l'instance InterpreterApi .
entier	getInputIndex ( String opName) Obtient l'index d'une entrée en fonction du nom d'opération de l'entrée.
Tenseur	getInputTensor (int inputIndex) Obtient le Tensor associé à l'index d'entrée fourni.
entier	getInputTensorCount () Obtient le nombre de Tensors d'entrée.
Tenseur	getInputTensorFromSignature ( String inputName, String signatureKey) Obtient le Tensor associé au nom d'entrée fourni et au nom de la méthode de signature.
Long	getLastNativeInferenceDurationNanosecondes () Renvoie la synchronisation d'inférence native.
entier	getOutputIndex ( String opName) Obtient l'index d'une sortie en fonction du nom d'opération de la sortie.
Tenseur	getOutputTensor (int index de sortie) Obtient le Tensor associé à l'index de sortie fourni.
entier	getOutputTensorCount () Obtient le nombre de Tensors de sortie.
Tenseur	getOutputTensorFromSignature ( String outputName, String signatureKey) Obtient le Tensor associé au nom de sortie fourni dans une méthode de signature spécifique.
Chaîne de caractères[]	getSignatureInputs ( Chaîne signatureKey) Obtient la liste des entrées SignatureDefs pour la méthode signatureKey .
Chaîne de caractères[]	getSignatureKeys () Obtient la liste des noms de méthodes exportées SignatureDef disponibles dans le modèle.
Chaîne de caractères[]	getSignatureOutputs ( Chaîne signatureKey) Obtient la liste des sorties SignatureDefs pour la méthode signatureKey .
annuler	resetVariableTensors () Avancé : réinitialise tous les tenseurs variables à la valeur par défaut.
annuler	resizeInput (int idx, int[] dims, boolean strict) Redimensionne la idx-ième entrée du modèle natif aux dimensions données.
annuler	resizeInput (int idx, int[] dims) Redimensionne la idx-ième entrée du modèle natif aux dimensions données.
annuler	run (entrée d' objet , sortie d' objet ) Exécute l'inférence de modèle si le modèle ne prend qu'une seule entrée et ne fournit qu'une seule sortie.
annuler	runForMultipleInputsOutputs ( entrées Object[] , Map < Integer , Object > sorties) Exécute l'inférence de modèle si le modèle prend plusieurs entrées ou renvoie plusieurs sorties.
annuler	runSignature ( Map < String , Object > entrées, Map < String , Object > sorties) Identique à runSignature(Map, Map, String) mais ne nécessite pas de transmettre une signatureKey, en supposant que le modèle a une SignatureDef.
annuler	runSignature ( Map < String , Object > entrées, Map < String , Object > sorties, String signatureKey) Exécute l'inférence de modèle basée sur SignatureDef fournie via signatureKey .
annuler	setCancelled (booléen annulé) Avancé : interrompt l'inférence au milieu d'un appel à run(Object, Object) .

Méthodes héritées

De la classe java.lang.Object

booléen	est égal à ( Objet arg0)
Classe finale <?>	getClass ()
entier	hashCode ()
vide final	notifier ()
vide final	notifier tout ()
Chaîne de caractères	toString ()
vide final	attendre (long arg0, int arg1)
vide final	attendre (long arg0)
vide final	attends ()

Depuis l'interface org.tensorflow.lite.InterpreterApi

vide abstrait	allouerTensors () Met à jour explicitement les allocations pour tous les Tensors, si nécessaire.
vide abstrait	fermer () Libérez les ressources associées à l'instance InterpreterApi .
statique InterpreterApi	créer ( fichier modèleFichier, options InterpreterApi.Options ) Construit une instance InterpreterApi , en utilisant le modèle et les options spécifiés.
statique InterpreterApi	créer ( options ByteBuffer byteBuffer, InterpreterApi.Options ) Construit une instance InterpreterApi , en utilisant le modèle et les options spécifiés.
entier abstrait	getInputIndex ( String opName) Obtient l'index d'une entrée en fonction du nom d'opération de l'entrée.
Tenseur abstrait	getInputTensor (int inputIndex) Obtient le Tensor associé à l'index d'entrée fourni.
entier abstrait	getInputTensorCount () Obtient le nombre de Tensors d'entrée.
abstrait longue	getLastNativeInferenceDurationNanosecondes () Renvoie la synchronisation d'inférence native.
entier abstrait	getOutputIndex ( String opName) Obtient l'index d'une sortie en fonction du nom d'opération de la sortie.
Tenseur abstrait	getOutputTensor (int index de sortie) Obtient le Tensor associé à l'index de sortie fourni.
entier abstrait	getOutputTensorCount () Obtient le nombre de Tensors de sortie.
vide abstrait	resizeInput (int idx, int[] dims, boolean strict) Redimensionne la idx-ième entrée du modèle natif aux dimensions données.
vide abstrait	resizeInput (int idx, int[] dims) Redimensionne la idx-ième entrée du modèle natif aux dimensions données.
vide abstrait	run (entrée d' objet , sortie d' objet ) Exécute l'inférence de modèle si le modèle ne prend qu'une seule entrée et ne fournit qu'une seule sortie.
vide abstrait	runForMultipleInputsOutputs ( entrées Object[] , Map < Integer , Object > sorties) Exécute l'inférence de modèle si le modèle prend plusieurs entrées ou renvoie plusieurs sorties.

Depuis l'interface java.lang.AutoCloseable

vide abstrait

fermer ()

Constructeurs publics

Interprète public ( fichier modelFile)

Initialise un Interpreter .

Paramètres

modèleFichier	un fichier d'un modèle TF Lite pré-formé.

Lance

Exception d'argument illégal	si modelFile n'encode pas un modèle TensorFlow Lite valide.

public Interpreter ( fichier modèleFichier, options Interpreter.Options )

Initialise un Interpreter et spécifie les options de personnalisation du comportement de l'interpréteur.

Paramètres

modèleFichier	un fichier d'un modèle TF Lite pré-formé
options	un ensemble d'options pour personnaliser le comportement de l'interpréteur

Lance

Exception d'argument illégal	si modelFile n'encode pas un modèle TensorFlow Lite valide.

Interprète public ( ByteBuffer byteBuffer)

Initialise un Interpreter avec un ByteBuffer d'un fichier de modèle.

Le ByteBuffer ne doit pas être modifié après la construction d'un Interpreter . Le ByteBuffer peut être soit un MappedByteBuffer qui mappe en mémoire un fichier de modèle, soit un ByteBuffer direct de nativeOrder() qui contient le contenu en octets d'un modèle.

Paramètres

byteBuffer

Lance

Exception d'argument illégal	si byteBuffer n'est pas un MappedByteBuffer ni un ByteBuffer direct de nativeOrder.

Interprète public ( ByteBuffer byteBuffer, options Interpreter.Options )

Initialise un Interpreter avec un ByteBuffer d'un fichier de modèle et un ensemble d' Interpreter.Options personnalisés.

Le ByteBuffer ne doit pas être modifié après la construction d'un Interpreter . Le ByteBuffer peut être soit un MappedByteBuffer qui mappe en mémoire un fichier de modèle, soit un ByteBuffer direct de nativeOrder() qui contient le contenu en octets d'un modèle.

Paramètres

byteBuffer
choix

Lance

Exception d'argument illégal	si byteBuffer n'est pas un MappedByteBuffer ni un ByteBuffer direct de nativeOrder.

Méthodes publiques

public void allowTensors ()

Met à jour explicitement les allocations pour tous les Tensors, si nécessaire.

Cela propagera les formes et les allocations de mémoire pour les tenseurs dépendants en utilisant la ou les formes de tenseur d'entrée comme indiqué.

Remarque : Cet appel est *purement facultatif*. L'allocation de tenseurs se produira automatiquement pendant l'exécution si des tenseurs d'entrée ont été redimensionnés. Cet appel est très utile pour déterminer les formes de tous les tenseurs de sortie avant d'exécuter le graphique, par exemple,

 interpreter.resizeInput(0, new int[]{1, 4, 4, 3}));
 interpreter.allocateTensors();
 FloatBuffer input = FloatBuffer.allocate(interpreter.getInputTensor(0).numElements());
 // Populate inputs...
 FloatBuffer output = FloatBuffer.allocate(interpreter.getOutputTensor(0).numElements());
 interpreter.run(input, output)
 // Process outputs...

Remarque : Certains graphiques ont des sorties de forme dynamique, auquel cas la forme de sortie peut ne pas se propager complètement tant que l'inférence n'est pas exécutée.

vide public fermer ()

Libérez les ressources associées à l'instance InterpreterApi .

public int getInputIndex ( String opName)

Obtient l'index d'une entrée en fonction du nom d'opération de l'entrée.

Paramètres

opName

public Tensor getInputTensor (int inputIndex)

Obtient le Tensor associé à l'index d'entrée fourni.

Paramètres

index d'entrée

public int getInputTensorCount ()

Obtient le nombre de Tensors d'entrée.

public Tensor getInputTensorFromSignature ( String inputName, String signatureKey)

Obtient le Tensor associé au nom d'entrée fourni et au nom de la méthode de signature.

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

Paramètres

nom_entrée	Entrez le nom dans la signature.
clé de signature	Clé de signature identifiant SignatureDef, peut être nulle si le modèle a une signature.

Lance

Exception d'argument illégal	si inputName ou signatureKey est nul ou vide, ou si le nom fourni n'est pas valide.

public Long getLastNativeInferenceDurationNanoseconds ()

Renvoie la synchronisation d'inférence native.

public int getOutputIndex ( String opName)

Obtient l'index d'une sortie en fonction du nom d'opération de la sortie.

Paramètres

opName

public Tensor getOutputTensor (int outputIndex)

Obtient le Tensor associé à l'index de sortie fourni.

Remarque : Les détails du tenseur de sortie (par exemple, la forme) peuvent ne pas être entièrement renseignés avant l'exécution de l'inférence. Si vous avez besoin de détails mis à jour * avant * d'exécuter l'inférence (par exemple, après avoir redimensionné un tenseur d'entrée, ce qui peut invalider les formes de tenseur de sortie), utilisez allocateTensors() pour déclencher explicitement l'allocation et la propagation de la forme. Notez que, pour les graphiques dont les formes de sortie dépendent des *valeurs* d'entrée, la forme de sortie peut ne pas être entièrement déterminée avant l'exécution de l'inférence.

Paramètres

index de sortie

public int getOutputTensorCount ()

Obtient le nombre de Tensors de sortie.

public Tensor getOutputTensorFromSignature ( String outputName, String signatureKey)

Obtient le Tensor associé au nom de sortie fourni dans une méthode de signature spécifique.

Remarque : Les détails du tenseur de sortie (par exemple, la forme) peuvent ne pas être entièrement renseignés avant l'exécution de l'inférence. Si vous avez besoin de détails mis à jour * avant * d'exécuter l'inférence (par exemple, après avoir redimensionné un tenseur d'entrée, ce qui peut invalider les formes de tenseur de sortie), utilisez allocateTensors() pour déclencher explicitement l'allocation et la propagation de la forme. Notez que, pour les graphiques dont les formes de sortie dépendent des *valeurs* d'entrée, la forme de sortie peut ne pas être entièrement déterminée avant l'exécution de l'inférence.

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

Paramètres

nom_sortie	Nom de sortie dans la signature.
clé de signature	Clé de signature identifiant SignatureDef, peut être nulle si le modèle a une signature.

Lance

Exception d'argument illégal	si outputName ou signatureKey est nul ou vide, ou si le nom fourni n'est pas valide.

public String[] getSignatureInputs ( Chaîne signatureKey)

Obtient la liste des entrées SignatureDefs pour la méthode signatureKey .

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

Paramètres

clé de signature

chaîne publique [] getSignatureKeys ()

Obtient la liste des noms de méthodes exportées SignatureDef disponibles dans le modèle.

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

public String [] getSignatureOutputs ( Chaîne signatureKey)

Obtient la liste des sorties SignatureDefs pour la méthode signatureKey .

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

Paramètres

clé de signature

public void resetVariableTensors ()

Avancé : réinitialise tous les tenseurs variables à la valeur par défaut.

Si un tenseur variable n'a pas de tampon associé, il sera remis à zéro.

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

public void resizeInput (int idx, int[] dims, boolean strict)

Redimensionne la idx-ième entrée du modèle natif aux dimensions données.

Lorsque `strict` vaut True, seules les dimensions inconnues peuvent être redimensionnées. Les dimensions inconnues sont indiquées par `-1` dans le tableau renvoyé par `Tensor.shapeSignature()`.

Paramètres

idx
assombrit
stricte

public void resizeInput (int idx, int[] dims)

Redimensionne la idx-ième entrée du modèle natif aux dimensions données.

Paramètres

idx
assombrit

public void run (entrée d' objet , sortie d' objet )

Exécute l'inférence de modèle si le modèle ne prend qu'une seule entrée et ne fournit qu'une seule sortie.

Avertissement : L'API est plus efficace si un Buffer (de préférence direct, mais pas obligatoire) est utilisé comme type de données d'entrée/sortie. Veuillez envisager d'utiliser Buffer pour alimenter et récupérer des données primitives pour de meilleures performances. Les types de Buffer concrets suivants sont pris en charge :

• ByteBuffer - compatible avec tout type Tensor primitif sous-jacent.
• FloatBuffer - compatible avec les tenseurs flottants.
• IntBuffer - compatible avec les tenseurs int32.
• LongBuffer - compatible avec les tenseurs int64.

Notez que les types booléens ne sont pris en charge qu'en tant que tableaux, pas Buffer s, ou en tant qu'entrées scalaires.

Paramètres

saisir

un tableau ou un tableau multidimensionnel, ou un Buffer de types primitifs comprenant int, float, long et byte. Buffer est le moyen préféré pour transmettre des données d'entrée volumineuses pour les types primitifs, tandis que les types de chaîne nécessitent l'utilisation du chemin d'entrée du tableau (multidimensionnel). Lorsqu'un Buffer est utilisé, son contenu doit rester inchangé jusqu'à ce que l'inférence du modèle soit effectuée, et l'appelant doit s'assurer que le Buffer est à la position de lecture appropriée. Une valeur null n'est autorisée que si l'appelant utilise un Delegate qui autorise l'interopérabilité du handle de tampon, et qu'un tel tampon a été lié à l'entrée Tensor .

production

un tableau multidimensionnel de données de sortie ou un Buffer de types primitifs, notamment int, float, long et byte. Lorsqu'un Buffer est utilisé, l'appelant doit s'assurer qu'il est défini sur la position d'écriture appropriée. Une valeur nulle est autorisée et est utile dans certains cas, par exemple, si l'appelant utilise un Delegate qui permet l'interopérabilité du gestionnaire de tampon et qu'un tel tampon a été lié au tenseur de sortie (voir aussi Interpreter.Options#setAllowBufferHandleOutput(boolean Tensor ), ou si le graphique a des sorties de forme dynamique et que l'appelant doit interroger la forme du tenseur de sortie après l'appel de l'inférence, en récupérant les données directement à partir du tenseur de sortie (via Tensor Tensor.asReadOnlyBuffer() ).

public void runForMultipleInputsOutputs ( entrées Object[] , Map < Integer , Object > sorties)

Exécute l'inférence de modèle si le modèle prend plusieurs entrées ou renvoie plusieurs sorties.

Avertissement : L'API est plus efficace si les Buffer s (de préférence directs, mais pas obligatoires) sont utilisés comme types de données d'entrée/sortie. Veuillez envisager d'utiliser Buffer pour alimenter et récupérer des données primitives pour de meilleures performances. Les types de Buffer concrets suivants sont pris en charge :

• ByteBuffer - compatible avec tout type Tensor primitif sous-jacent.
• FloatBuffer - compatible avec les tenseurs flottants.
• IntBuffer - compatible avec les tenseurs int32.
• LongBuffer - compatible avec les tenseurs int64.

Notez que les types booléens ne sont pris en charge qu'en tant que tableaux, pas Buffer s, ou en tant qu'entrées scalaires.

Remarque : les valeurs null pour les éléments individuels des inputs et des outputs ne sont autorisées que si l'appelant utilise un Delegate qui autorise l'interopérabilité de la poignée de tampon, et qu'un tel tampon a été lié au(x) Tensor (s) d'entrée ou de sortie correspondant(s).

Paramètres

contributions

un tableau de données d'entrée. Les entrées doivent être dans le même ordre que les entrées du modèle. Chaque entrée peut être un tableau ou un tableau multidimensionnel, ou un Buffer de types primitifs, notamment int, float, long et byte. Buffer est le moyen préféré pour transmettre des données d'entrée volumineuses, tandis que les types de chaîne nécessitent l'utilisation du chemin d'entrée du tableau (multidimensionnel). Lorsque Buffer est utilisé, son contenu doit rester inchangé jusqu'à ce que l'inférence du modèle soit effectuée, et l'appelant doit s'assurer que le Buffer est à la position de lecture appropriée.

les sorties

une carte mappant les indices de sortie sur des tableaux multidimensionnels de données de sortie ou de Buffer de types primitifs, notamment int, float, long et byte. Il doit uniquement conserver les entrées des sorties à utiliser. Lorsqu'un Buffer est utilisé, l'appelant doit s'assurer qu'il est défini sur la position d'écriture appropriée. La carte peut être vide pour les cas où les poignées de tampon sont utilisées pour les données de tenseur de sortie, ou les cas où les sorties sont formées dynamiquement et l'appelant doit interroger la forme de Tensor de sortie après l'appel de l'inférence, en récupérant les données directement à partir du tenseur de sortie ( via Tensor.asReadOnlyBuffer() ).

public void runSignature ( Map < String , Object > entrées, Map < String , Object > sorties)

Identique à runSignature(Map, Map, String) mais ne nécessite pas de transmettre une signatureKey, en supposant que le modèle a une SignatureDef. Si le modèle a plus d'un SignatureDef, il lèvera une exception.

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

Paramètres

contributions
les sorties

public void runSignature ( Map < String , Object > entrées, Map < String , Object > sorties, String signatureKey)

Exécute l'inférence de modèle basée sur SignatureDef fournie via signatureKey .

Voir run(Object, Object) pour plus de détails sur les types de données d'entrée et de sortie autorisés.

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

Paramètres

contributions	Une carte du nom d'entrée dans le SignatureDef à un objet d'entrée.
les sorties	Une carte du nom de sortie dans SignatureDef aux données de sortie. Cela peut être vide si l'appelant souhaite interroger les données Tensor directement après l'inférence (par exemple, si la forme de sortie est dynamique ou si des poignées de tampon de sortie sont utilisées).
clé de signature	Clé de signature identifiant le SignatureDef.

Lance

Exception d'argument illégal	si inputs sont nulles ou vides, si outputs ou signatureKey sont nulles ou si une erreur se produit lors de l'exécution de l'inférence.

public void setCancelled (booléen annulé)

Avancé : interrompt l'inférence au milieu d'un appel à run(Object, Object) .

Un indicateur d'annulation sera défini sur true lorsque cette fonction sera appelée. L'interpréteur vérifiera le drapeau entre les invocations d'Op, et s'il est true , l'interpréteur arrêtera l'exécution. L'interpréteur restera dans un état annulé jusqu'à ce qu'il soit explicitement "uncancelled" par setCancelled(false) .

AVERTISSEMENT : Il s'agit d'une API expérimentale susceptible d'être modifiée.

Paramètres

annulé	true pour annuler l'inférence au mieux ; false pour reprendre.

Lance

IllegalStateException	si l'interpréteur n'est pas initialisé avec l'option annulable, qui est désactivée par défaut.

Voir également

• Interpreter.Options.setCancellable(boolean)