अद्यतन: जून, 2021
TensorFlow के मॉडल ऑप्टिमाइज़ेशन टूलकिट (MOT) का उपयोग TensorFlow मॉडल को छोटे आकार, बेहतर प्रदर्शन और मोबाइल और IoT उपकरणों पर चलाने के लिए स्वीकार्य सटीकता के साथ TensorFlow Lite मॉडल में परिवर्तित/अनुकूलित करने के लिए व्यापक रूप से किया गया है। अब हम TensorFlow SavedModel को भी समर्थन देने के लिए TensorFlow Lite से आगे MOT तकनीकों और टूलींग का विस्तार करने के लिए काम कर रहे हैं।
निम्नलिखित हमारे रोडमैप का एक उच्च स्तरीय अवलोकन दर्शाता है। आपको अवगत होना चाहिए कि यह रोडमैप किसी भी समय बदल सकता है और नीचे दिया गया क्रम किसी भी प्रकार की प्राथमिकता को प्रतिबिंबित नहीं करता है। हम आपको हमारे रोडमैप पर टिप्पणी करने और चर्चा समूह में हमें प्रतिक्रिया प्रदान करने के लिए दृढ़ता से प्रोत्साहित करते हैं।
परिमाणीकरण
टेन्सरफ्लो लाइट
- कुछ परतों को परिमाणीकरण से बाहर करने के लिए प्रशिक्षण के बाद का चयनात्मक परिमाणीकरण।
- प्रति परत परिमाणीकरण त्रुटि हानियों का निरीक्षण करने के लिए परिमाणीकरण डिबगर।
- अधिक मॉडल कवरेज जैसे कि टेन्सरफ्लो मॉडल गार्डन पर परिमाणीकरण-जागरूक प्रशिक्षण लागू करना।
- प्रशिक्षण के बाद डायनामिक-रेंज के लिए गुणवत्ता और प्रदर्शन में सुधार। परिमाणीकरण.
टेंसरफ़्लो
- प्रशिक्षण के बाद परिमाणीकरण (bf16 * int8 डायनेमिक रेंज)।
- क्वांटाइजेशन अवेयर ट्रेनिंग ((bf16 * int8 वजन-केवल नकली क्वांट के साथ)।
- कुछ परतों को परिमाणीकरण से बाहर करने के लिए प्रशिक्षण के बाद का चयनात्मक परिमाणीकरण।
- प्रति परत परिमाणीकरण त्रुटि हानियों का निरीक्षण करने के लिए परिमाणीकरण डिबगर।
विरलता
टेन्सरफ्लो लाइट
- अधिक मॉडलों के लिए विरल मॉडल निष्पादन समर्थन।
- स्पार्सिटी के लिए लक्षित जागरूक लेखन।
- निष्पादक x86 कर्नेल के साथ विरल ऑप सेट का विस्तार करें।
टेंसरफ़्लो
- TensorFlow में स्पारिटी समर्थन।
कैस्केडिंग संपीड़न तकनीक
- परिमाणीकरण + टेन्सर संपीड़न + स्पार्सिटी: सभी 3 तकनीकों को एक साथ काम करते हुए प्रदर्शित करें।
दबाव
- टेन्सर कंप्रेशन एपीआई कंप्रेशन एल्गोरिदम डेवलपर्स को परीक्षण/बेंचमार्क के लिए एक मानक तरीका प्रदान करने सहित अपने स्वयं के मॉडल कंप्रेशन एल्गोरिदम (जैसे वेट क्लस्टरिंग) को लागू करने में मदद करता है।