מפת הדרכים של TensorFlow Lite

עודכן: מאי, 2021

להלן מייצג סקירה ברמה גבוהה של מפת הדרכים שלנו. עליך להיות מודע לכך שמפת דרכים זו עשויה להשתנות בכל עת והסדר שלהלן אינו משקף כל סוג של עדיפות.

אנו מפרקים את מפת הדרכים שלנו לארבעה קטעי מפתח: שימושיות, ביצועים, אופטימיזציה וניידות. אנו ממליצים בחום להגיב על מפת הדרכים שלנו ולספק לנו משוב בקבוצת הדיון של TensorFlow Lite .

שְׁמִישׁוּת

  • כיסוי פעולות מורחב
    • הוסף פעולות ממוקדות על סמך משוב משתמשים.
    • הוסף ערכות הפעלה ממוקדות לדומיינים ואזורים ספציפיים, כולל פעולות אקראיות, פעולות בסיס של שכבות Keras, טבלאות גיבוב, אופציות הדרכה נבחרות.
  • כלי מסייע יותר
    • ספק הערות גרפי TensorFlow וכלי תאימות כדי לאמת תאימות של TFLite ומאיץ חומרה במהלך האימון ולאחר ההמרה.
    • אפשר מיקוד ואופטימיזציה עבור מאיצים ספציפיים במהלך ההמרה.
  • הדרכה במכשיר
    • תמיכה בהדרכה במכשיר להתאמה אישית ולמידת העברה, כולל קולאב המדגים שימוש מקצה לקצה.
    • תמיכה בסוגי משתנים/משאבים (הן להסקת הסקה והן להדרכה)
    • תמיכה בהמרה וביצוע של גרפים עם נקודות כניסה מרובות של פונקציות (או חתימה).
  • שילוב משופר של Android Studio
    • גרור ושחרר דגמי TFLite לתוך Android Studio כדי ליצור ממשקי מודל.
    • שפר את התמיכה בפרופילים של Android Studio, כולל פרופיל זיכרון.
  • יוצר דגמים
    • תמכו במשימות חדשות יותר, כולל זיהוי אובייקטים, המלצה וסיווג שמע, המכסים אוסף רחב של שימושים נפוצים.
    • תמכו בערכות נתונים נוספות כדי להקל על למידה בהעברה.
  • ספריית משימות
    • תמיכה בסוגי דגמים נוספים (כגון אודיו, NLP) עם יכולות עיבוד לפני ואחרי משויכות.
    • עדכן עוד דוגמאות עזר עם ממשקי API של משימות.
    • תמיכה בהאצה מחוץ לקופסה עבור כל המשימות.
  • עוד דגמים ודוגמאות של SOTA
    • הוסף דוגמאות נוספות (למשל אודיו, NLP, מבנה-נתונים הקשורים) כדי להדגים את השימוש במודל, כמו גם תכונות חדשות וממשקי API, המכסים פלטפורמות שונות.
    • צור מודלים של עמוד שדרה הניתנים לשיתוף עבור במכשיר כדי להפחית את עלויות ההדרכה והפריסה.
  • פריסה חלקה על פני מספר פלטפורמות
    • הפעל דגמי TensorFlow Lite באינטרנט.
  • תמיכה משופרת בין פלטפורמות
    • הרחב ושפר ממשקי API עבור Java ב-Android, Swift ב-iOS, Python ב-RPi.
    • שפר את תמיכת ה-CMake (למשל, תמיכה רחבה יותר במאיץ).
  • תמיכה חזיתית טובה יותר
    • שפר את התאימות עם חזיתות עריכה שונות, כולל Keras, tf.numpy.

ביצועים

  • כלי עבודה טוב יותר
    • לוח מחוונים ציבורי למעקב אחר רווחי ביצועים בכל מהדורה.
    • כלים להבנה טובה יותר של תאימות גרפים עם מאיצי יעד.
  • ביצועי CPU משופרים
    • XNNPack מופעל כברירת מחדל להסקת נקודה צפה מהירה יותר.
    • תמיכה מקצה לקצה בחצי דיוק (float16) עם גרעינים מותאמים.
  • תמיכת NN API מעודכנת
    • תמיכה מלאה בתכונות, פעולות וסוגים של NN API בגרסת אנדרואיד.
  • אופטימיזציות של GPU
    • זמן הפעלה משופר עם תמיכה בסידרה של נציגים.
    • שיתוף פעולה של מאגר חומרה להסקת אפס עותק.
    • זמינות רחבה יותר של האצה במכשיר.
    • כיסוי פעולה טוב יותר.

אופטימיזציה

  • כימות

    • קוונטיזציה סלקטיבית לאחר אימון כדי לא לכלול שכבות מסוימות מקוונטיזציה.
    • מאתר באגים של קוונטיזציה לבדיקת הפסדי שגיאות קוונטיזציה לכל שכבה.
    • יישום הכשרה מודעת לקוונטיזציה על כיסוי מודלים נוסף, למשל TensorFlow Model Garden.
    • שיפורי איכות וביצועים עבור קוונטיזציה של טווח דינמי לאחר אימון.
    • Tensor Compression API לאפשר אלגוריתמי דחיסה כגון SVD.
  • גיזום / דלילות

    • שלב ממשקי API הניתנים להגדרה בזמן הדרכה (גיזום + הכשרה מודעת לכימות).
    • הגדל את יישום sparity בדגמי TF Model Garden.
    • תמיכה בביצוע מודלים מועט ב-TensorFlow Lite.

הִטַלטְלוּת

  • תמיכה במיקרו-בקר
    • הוסף תמיכה במגוון מקרי שימוש בארכיטקטורת MCU של 32 סיביות לסיווג דיבור ותמונה.
    • חזית שמע: עיבוד מקדים של שמע בתרשים ותמיכת האצה
    • קוד ודגמים לדוגמה לנתוני ראייה ואודיו.