קצץ משקלים לא משמעותיים

מסמך זה מספק סקירה כללית על גיזום דגם כדי לעזור לך לקבוע כיצד הוא מתאים למקרה השימוש שלך.

סקירה כללית

גיזום משקל מבוסס גודל מאפס בהדרגה את משקלי הדגם במהלך תהליך האימון כדי להשיג דלילות הדגם. קל יותר לדחוס דגמים דלילים, ואנחנו יכולים לדלג על האפסים במהלך ההסקה לשיפורי זמן השהיה.

טכניקה זו מביאה שיפורים באמצעות דחיסת מודל. בעתיד, תמיכת מסגרת עבור טכניקה זו תספק שיפורים בהשהייה. ראינו שיפורים של עד פי 6 בדחיסת המודל עם אובדן דיוק מינימלי.

הטכניקה מוערכת ביישומי דיבור שונים, כגון זיהוי דיבור וטקסט לדיבור, ונוסתה על פני מודלים שונים של ראייה ותרגום.

מטריצת תאימות API

משתמשים יכולים ליישם גיזום עם ממשקי ה-API הבאים:

  • בניית מודל: keras עם מודלים רצפים ופונקציונליים בלבד
  • גרסאות TensorFlow: TF 1.x עבור גרסאות 1.14+ ו-2.x.
    • tf.compat.v1 עם חבילת TF 2.X ו- tf.compat.v2 עם חבילת TF 1.X אינם נתמכים.
  • מצב ביצוע TensorFlow: גם גרף וגם להוט
  • אימון מבוזר: tf.distribute עם ביצוע גרף בלבד

זה במפת הדרכים שלנו להוסיף תמיכה בתחומים הבאים:

תוצאות

סיווג תמונה

דֶגֶם דיוק Top-1 לא דליל דיוק דליל אקראי דלילות אקראית דיוק דליל מובנה דלילות מובנית
InceptionV3 78.1% 78.0% 50% 75.8% 2 על 4
76.1% 75%
74.6% 87.5%
MobilenetV1 224 71.04% 70.84% 50% 67.35% 2 על 4
MobilenetV2 224 71.77% 69.64% 50% 66.75% 2 על 4

הדגמים נבדקו ב-Imagenet.

תִרגוּם

דֶגֶם BLEU לא דליל BLEU דליל דְלִילוּת
GNMT EN-DE 26.77 26.86 80%
26.52 85%
26.19 90%
GNMT DE-EN 29.47 29.50 80%
29.24 85%
28.81 90%

המודלים משתמשים במערך נתונים של WMT16 גרמנית ואנגלית עם news-test2013 כסט ה-dev ו-news-test2015 כסט הבדיקה.

מודל איתור מילות מפתח

DS-CNN-L הוא מודל איתור מילות מפתח שנוצר עבור מכשירי קצה. ניתן למצוא אותו במאגר הדוגמאות של תוכנת ARM.

דֶגֶם דיוק לא דל דיוק דליל מובנה (תבנית 2 על 4) דיוק אקראי דל (דלילות יעד 50%)
DS-CNN-L 95.23 94.33 94.84

דוגמאות

בנוסף להדרכה של Prune with Keras , ראה את הדוגמאות הבאות:

  • אמן מודל של CNN במשימת סיווג הספרות בכתב יד של MNIST עם גיזום: קוד
  • אימון LSTM במשימת סיווג רגשות IMDB עם גיזום: קוד

לרקע, ראה לגזום, או לא לגזום: בחינת היעילות של גיזום לדחיסת מודל [ נייר ].