Ce document décrit les conventions d'URL utilisées pour l'hébergement de tous les types de modèles sur tfhub.dev : modèles TFJS, TF Lite et TensorFlow. Il décrit également le protocole HTTP(S) implémenté par la bibliothèque tensorflow_hub pour charger les modèles TensorFlow depuis tfhub.dev et les services compatibles dans les programmes TensorFlow.
Sa principale caractéristique est d'utiliser la même URL dans le code pour charger un modèle et dans un navigateur pour consulter la documentation du modèle.
Conventions générales relatives aux URL
tfhub.dev prend en charge les formats d'URL suivants :
- Les éditeurs de TF Hub suivent
https://tfhub.dev/<publisher> - Les collections TF Hub suivent
https://tfhub.dev/<publisher>/collection/<collection_name> - Les modèles TF Hub ont une URL versionnée
https://tfhub.dev/<publisher>/<model_name>/<version>et une URL non versionnéehttps://tfhub.dev/<publisher>/<model_name>qui renvoie à la dernière version du modèle.
Les modèles TF Hub peuvent être téléchargés sous forme de fichiers compressés en ajoutant des paramètres d'URL à l'URL du modèle tfhub.dev . Cependant, les paramètres d'URL requis dépendent du type de modèle :
- Modèles TensorFlow (formats SavedModel et TF1 Hub) : ajoutez
?tf-hub-format=compressedà l’URL du modèle TensorFlow. - Modèles TFJS : ajoutez
?tfjs-format=compressedà l’URL du modèle TFJS pour télécharger le fichier compressé ou/model.json?tfjs-format=filepour le lire depuis un stockage distant. - Modèles TF Lite : ajoutez
?lite-format=tfliteà l’URL du modèle TF Lite.
Par exemple:
| Taper | URL du modèle | Type de téléchargement | paramètre d'URL | URL de téléchargement |
| TensorFlow (Modèle enregistré, format TF1 Hub) | https://tfhub.dev/google/spice/2 | .tar.gz | ?tf-hub-format=compressé | https://tfhub.dev/google/spice/2?tf-hub-format=compressed |
| TF Lite | https://tfhub.dev/google/lite-model/spice/1 | .tflite | ?lite-format=tflite | https://tfhub.dev/google/lite-model/spice/1?lite-format=tflite |
| TF.js | https://tfhub.dev/google/tfjs-model/spice/2/default/1 | .tar.gz | ?tfjs-format=compressé | https://tfhub.dev/google/tfjs-model/spice/2/default/1?tfjs-format=compressed |
De plus, certains modèles sont hébergés dans un format permettant une lecture directe depuis un stockage distant, sans téléchargement. Ceci est particulièrement utile en l'absence de stockage local, par exemple lors de l'exécution d'un modèle TF.js dans un navigateur ou du chargement d'un SavedModel sur Colab . Notez que la lecture de modèles hébergés à distance, sans téléchargement local, peut augmenter la latence.
| Taper | URL du modèle | Type de réponse | paramètre d'URL | URL de la requête |
| TensorFlow (Modèle enregistré, format TF1 Hub) | https://tfhub.dev/google/spice/2 | Chaîne de caractères (Chemin d'accès au dossier GCS où est stocké le modèle non compressé) | ?tf-hub-format=non compressé | https://tfhub.dev/google/spice/2?tf-hub-format=uncompressed |
| TF.js | https://tfhub.dev/google/tfjs-model/spice/2/default/1 | .json | ?tfjs-format=fichier | https://tfhub.dev/google/tfjs-model/spice/2/default/1/model.json?tfjs-format=file |
protocole de la bibliothèque tensorflow_hub
Cette section explique comment nous hébergeons les modèles sur tfhub.dev pour une utilisation avec la bibliothèque tensorflow_hub. Si vous souhaitez héberger votre propre dépôt de modèles pour utiliser la bibliothèque tensorflow_hub, votre service de distribution HTTP(S) doit implémenter ce protocole.
Notez que cette section ne traite pas de l'hébergement des modèles TF Lite et TFJS, car ils ne sont pas téléchargés via la bibliothèque tensorflow_hub . Pour plus d'informations sur l'hébergement de ces types de modèles, veuillez consulter la section ci-dessus .
Hébergement compressé
Les modèles sont stockés sur tfhub.dev sous forme de fichiers tar.gz compressés. Par défaut, la bibliothèque tensorflow_hub télécharge automatiquement le modèle compressé. Il est également possible de les télécharger manuellement en ajoutant ` ?tf-hub-format=compressed à l'URL du modèle, par exemple :
wget https://tfhub.dev/tensorflow/albert_en_xxlarge/1?tf-hub-format=compressed
La racine de l'archive correspond à la racine du répertoire du modèle et doit contenir un fichier SavedModel, comme dans cet exemple :
# Create a compressed model from a SavedModel directory.
$ tar -cz -f model.tar.gz --owner=0 --group=0 -C /tmp/export-model/ .
# Inspect files inside a compressed model
$ tar -tf model.tar.gz
./
./variables/
./variables/variables.data-00000-of-00001
./variables/variables.index
./assets/
./saved_model.pb
Les archives Tarball destinées à être utilisées avec l'ancien format TF1 Hub contiendront également un fichier ./tfhub_module.pb .
Lorsqu'une des API de chargement de modèle de la bibliothèque tensorflow_hub est appelée ( hub.KerasLayer , hub.load , etc.), la bibliothèque télécharge le modèle, le décompresse et le met en cache localement. La bibliothèque tensorflow_hub exige que les URL des modèles soient versionnées et que le contenu d'une version donnée soit immuable, afin de permettre une mise en cache indéfinie. En savoir plus sur la mise en cache des modèles .

Hébergement non compressé
Lorsque la variable d'environnement TFHUB_MODEL_LOAD_FORMAT ou l'option de ligne de commande --tfhub_model_load_format est définie sur UNCOMPRESSED , le modèle est lu directement depuis le stockage distant (GCS) au lieu d'être téléchargé et décompressé localement. Lorsque ce comportement est activé, la bibliothèque ajoute ?tf-hub-format=uncompressed à l'URL du modèle. Cette requête renvoie le chemin d'accès au dossier sur GCS contenant les fichiers du modèle décompressés. Par exemple :
https://tfhub.dev/google/spice/2?tf-hub-format=uncompressed
retours
Le corps de la réponse 303 contient gs://kaggle-tfhub-models-uncompressed/tfhub-modules/google/spice/2/uncompressed . La bibliothèque lit ensuite le modèle depuis cette destination GCS.