מסמך זה מתאר את מוסכמות ה-URL המשמשות בעת אירוח כל סוגי המודלים ב- tfhub.dev - מודלים של TFJS, TF Lite ו-TensorFlow. הוא מתאר גם את הפרוטוקול מבוסס HTTP(S) המיושם על ידי ספריית tensorflow_hub על מנת לטעון מודלים של TensorFlow מ- tfhub.dev ושירותים תואמים לתוך תוכניות TensorFlow.
התכונה המרכזית שלו היא להשתמש באותה כתובת URL בקוד כדי לטעון מודל ובדפדפן כדי לצפות בתיעוד המודל.
מוסכמות כלליות של כתובות URL
tfhub.dev תומך בפורמטים הבאים של כתובות URL:
- מוציאים לאור של TF Hub עוקבים אחר
https://tfhub.dev/<publisher> - אוספי TF Hub עוקבים אחר
https://tfhub.dev/<publisher>/collection/<collection_name> - למודלי TF Hub יש כתובת URL עם גרסה
https://tfhub.dev/<publisher>/<model_name>/<version>וכתובת URL ללא גרסהhttps://tfhub.dev/<publisher>/<model_name>שמתאימה לגרסה העדכנית ביותר של המודל.
ניתן להוריד מודלים של TF Hub כנכסים דחוסים על ידי הוספת פרמטרי URL לכתובת URL של המודל tfhub.dev . עם זאת, פרמטרי ה-URL הנדרשים להשגת מטרה זו תלויים בסוג המודל:
- מודלי TensorFlow (בפורמט SavedModel ובפורמט TF1 Hub): הוסיפו את הפקודה
?tf-hub-format=compressedלכתובת ה-URL של מודל TensorFlow. - מודלי TFJS: הוסף
?tfjs-format=compressedה-URL של מודל TFJS כדי להוריד את הקובץ הדחוס או את/model.json?tfjs-format=fileלקריאה מאחסון מרוחק. - דגמי TF Lite: הוסיפו
?lite-format=tfliteלכתובת ה-URL של דגם TF Lite.
לְדוּגמָה:
| סוּג | כתובת URL של המודל | סוג הורדה | פרמטר כתובת URL | כתובת אתר להורדה |
| TensorFlow (SavedModel, פורמט TF1 Hub) | https://tfhub.dev/google/spice/2 | .tar.gz | פורמט tf-hub=דחוס | https://tfhub.dev/google/spice/2?tf-hub-format=compressed |
| TF לייט | https://tfhub.dev/google/lite-model/spice/1 | .tflite | פורמט לייט = tflite | https://tfhub.dev/google/lite-model/spice/1?lite-format=tflite |
| TF.js | https://tfhub.dev/google/tfjs-model/spice/2/default/1 | .tar.gz | פורמט tfjs = דחוס | https://tfhub.dev/google/tfjs-model/spice/2/default/1?tfjs-format=compressed |
בנוסף, חלק מהמודלים מתארחים גם בפורמט שניתן לקרוא אותו ישירות מאחסון מרוחק מבלי להוריד אותו. זה שימושי במיוחד אם אין אחסון מקומי זמין, כגון הרצת מודל TF.js בדפדפן או טעינת SavedModel ב- Colab . שימו לב שקריאת מודלים המתארחים מרחוק מבלי להוריד אותם באופן מקומי עלולה להגדיל את זמן ההשהיה.
| סוּג | כתובת URL של המודל | סוג תגובה | פרמטר כתובת URL | בקשת כתובת URL |
| TensorFlow (SavedModel, פורמט TF1 Hub) | https://tfhub.dev/google/spice/2 | מחרוזת (נתיב לתיקיית GCS שבה מאוחסן המודל הלא דחוס) | ?tf-hub-format=לא דחוס | https://tfhub.dev/google/spice/2?tf-hub-format=uncompressed |
| TF.js | https://tfhub.dev/google/tfjs-model/spice/2/default/1 | .json | קובץ ?tfjs-format= | https://tfhub.dev/google/tfjs-model/spice/2/default/1/model.json?tfjs-format=file |
פרוטוקול ספריית tensorflow_hub
סעיף זה מתאר כיצד אנו מארחים מודלים ב- tfhub.dev לשימוש עם ספריית tensorflow_hub. אם ברצונך לארח מאגר מודלים משלך שיעבוד עם ספריית tensorflow_hub, שירות ההפצה של HTTP(s) שלך אמור לספק יישום של פרוטוקול זה.
שימו לב שסעיף זה אינו עוסק באירוח מודלים של TF Lite ו-TFJS מכיוון שהם אינם מורדים דרך ספריית tensorflow_hub . למידע נוסף על אירוח סוגי מודלים אלה, אנא עיינו לעיל .
אירוח דחוס
מודלים מאוחסנים ב- tfhub.dev כקבצי tar.gz דחוסים. כברירת מחדל, ספריית tensorflow_hub מורידה אוטומטית את המודל הדחוס. ניתן גם להוריד אותם ידנית על ידי הוספת ה- ?tf-hub-format=compressed לכתובת האתר של המודל, לדוגמה:
wget https://tfhub.dev/tensorflow/albert_en_xxlarge/1?tf-hub-format=compressed
השורש של הארכיון הוא השורש של ספריית המודלים וצריך להכיל SavedModel, כמו בדוגמה זו:
# Create a compressed model from a SavedModel directory.
$ tar -cz -f model.tar.gz --owner=0 --group=0 -C /tmp/export-model/ .
# Inspect files inside a compressed model
$ tar -tf model.tar.gz
./
./variables/
./variables/variables.data-00000-of-00001
./variables/variables.index
./assets/
./saved_model.pb
קובצי Tarball לשימוש עם פורמט TF1 Hub הישן יכילו גם קובץ ./tfhub_module.pb .
כאשר אחד מממשקי ה-API של טעינת המודלים של ספריית tensorflow_hub מופעל ( hub.KerasLayer , hub.load , וכו'), הספרייה מורידה את המודל, מבטלת את הדחיסה שלו ומאחסנת אותו במטמון באופן מקומי. ספריית tensorflow_hub מצפה שכתובות URL של המודל יהיו גרסאות ושתוכן המודל של גרסה נתונה יהיה בלתי ניתן לשינוי, כך שניתן יהיה לאחסן אותו במטמון ללא הגבלת זמן. למידע נוסף על שמירת מודלים במטמון .

אירוח לא דחוס
כאשר משתנה הסביבה TFHUB_MODEL_LOAD_FORMAT או דגל שורת הפקודה --tfhub_model_load_format מוגדר ל- UNCOMPRESSED , המודל נקרא ישירות מאחסון מרוחק (GCS) במקום להוריד אותו ולבטל את הדחיסה שלו באופן מקומי. כאשר התנהגות זו מופעלת, הספרייה מוסיפה ?tf-hub-format=uncompressed לכתובת האתר של המודל. בקשה זו מחזירה את הנתיב לתיקייה ב-GCS המכילה את קבצי המודל הלא דחוסים. לדוגמה,
https://tfhub.dev/google/spice/2?tf-hub-format=uncompressed
החזרות
gs://kaggle-tfhub-models-uncompressed/tfhub-modules/google/spice/2/uncompressed בגוף התגובה 303. לאחר מכן הספרייה קוראת את המודל מאותו יעד GCS.