महत्वहीन वजन कम करें

यह दस्तावेज़ आपको यह निर्धारित करने में मदद करने के लिए मॉडल प्रूनिंग पर एक सिंहावलोकन प्रदान करता है कि यह आपके उपयोग के मामले में कैसे फिट बैठता है।

अवलोकन

मॉडल विरलता प्राप्त करने के लिए प्रशिक्षण प्रक्रिया के दौरान परिमाण-आधारित वजन छंटाई धीरे-धीरे मॉडल वजन को शून्य कर देती है। विरल मॉडल को संपीड़ित करना आसान होता है, और हम विलंबता सुधार के अनुमान के दौरान शून्य को छोड़ सकते हैं।

यह तकनीक मॉडल संपीड़न के माध्यम से सुधार लाती है। भविष्य में, इस तकनीक के लिए रूपरेखा समर्थन विलंबता में सुधार प्रदान करेगा। हमने सटीकता के न्यूनतम नुकसान के साथ मॉडल संपीड़न में 6 गुना तक सुधार देखा है।

तकनीक का मूल्यांकन विभिन्न भाषण अनुप्रयोगों में किया जा रहा है, जैसे कि भाषण पहचान और टेक्स्ट-टू-स्पीच, और विभिन्न दृष्टि और अनुवाद मॉडल में इसका प्रयोग किया गया है।

एपीआई संगतता मैट्रिक्स

उपयोगकर्ता निम्नलिखित एपीआई के साथ प्रूनिंग लागू कर सकते हैं:

  • मॉडल बिल्डिंग: keras केवल अनुक्रमिक और कार्यात्मक मॉडल के साथ
  • TensorFlow संस्करण: संस्करण 1.14+ और 2.x के लिए TF 1.x।
    • TF 2.X पैकेज के साथ tf.compat.v1 और TF 1.X पैकेज के साथ tf.compat.v2 समर्थित नहीं हैं।
  • TensorFlow निष्पादन मोड: ग्राफ़ और उत्सुक दोनों
  • वितरित प्रशिक्षण: tf.distribute केवल ग्राफ़ निष्पादन के साथ

निम्नलिखित क्षेत्रों में समर्थन जोड़ना हमारे रोडमैप पर है:

परिणाम

छवि वर्गीकरण

नमूना गैर-विरल टॉप-1 सटीकता यादृच्छिक विरल सटीकता यादृच्छिक विरलता संरचित विरल सटीकता संरचित विरलता
आरंभV3 78.1% 78.0% 50% 75.8% 2 बटा 4
76.1% 75%
74.6% 87.5%
मोबाइलनेटV1 224 71.04% 70.84% 50% 67.35% 2 बटा 4
मोबाइलनेटV2 224 71.77% 69.64% 50% 66.75% 2 बटा 4

मॉडलों का परीक्षण इमेजनेट पर किया गया।

अनुवाद

नमूना गैर विरल BLEU विरल BLEU विरलता
जीएनएमटी एन-डे 26.77 26.86 80%
26.52 85%
26.19 90%
जीएनएमटी डी-एन 29.47 29.50 80%
29.24 85%
28.81 90%

मॉडल WMT16 जर्मन और अंग्रेजी डेटासेट का उपयोग news-test2013 के साथ डेव सेट और news-test2015 को परीक्षण सेट के रूप में करते हैं।

कीवर्ड स्पॉटिंग मॉडल

डीएस-सीएनएन-एल एज डिवाइसों के लिए बनाया गया एक कीवर्ड स्पॉटिंग मॉडल है। इसे एआरएम सॉफ्टवेयर के उदाहरण भंडार में पाया जा सकता है।

नमूना गैर विरल सटीकता संरचित विरल सटीकता (2 बाय 4 पैटर्न) यादृच्छिक विरल सटीकता (लक्ष्य विरलता 50%)
डीएस-सीएनएन-एल 95.23 94.33 94.84

उदाहरण

प्रून विद केरस ट्यूटोरियल के अलावा, निम्नलिखित उदाहरण देखें:

  • प्रूनिंग: कोड के साथ एमएनआईएसटी हस्तलिखित अंक वर्गीकरण कार्य पर सीएनएन मॉडल को प्रशिक्षित करें
  • प्रूनिंग: कोड के साथ IMDB भावना वर्गीकरण कार्य पर एक LSTM को प्रशिक्षित करें

पृष्ठभूमि के लिए, छँटाई करना या न करना देखें: मॉडल संपीड़न के लिए छँटाई की प्रभावकारिता की खोज [ पेपर ]।