MinDiff एक मॉडल उपचारात्मक तकनीक है जो दो वितरणों को बराबर करने का प्रयास करती है। व्यवहार में, इसका उपयोग वितरण संबंधी अंतरों को दंडित करके आपके डेटा के विभिन्न हिस्सों में त्रुटि दर को संतुलित करने के लिए किया जा सकता है।
आम तौर पर, आप समूह निष्पक्षता सुनिश्चित करने का प्रयास करते समय MinDiff लागू करते हैं, जैसे किसी संवेदनशील वर्ग से संबंधित डेटा के एक स्लाइस और बेहतर प्रदर्शन करने वाले स्लाइस के बीच या तो झूठी सकारात्मक दर (FPR) या झूठी नकारात्मक दर (FNR) में अंतर को कम करना। निष्पक्षता मेट्रिक्स की गहन चर्चा के लिए, इस विषय पर साहित्य की समीक्षा करें। 1 2 3
मिनडिफ कैसे काम करता है?
हमारे डेटासेट से उदाहरणों के दो सेटों को देखते हुए, MinDiff दो सेटों के बीच स्कोर के वितरण में अंतर के लिए प्रशिक्षण के दौरान मॉडल को दंडित करता है। भविष्यवाणी स्कोर के आधार पर दो सेटों में जितना कम अंतर होगा, उतना ही छोटा जुर्माना लगाया जाएगा।
प्रशिक्षण के लिए मॉडल द्वारा उपयोग किए जा रहे नुकसान में एक घटक जोड़कर जुर्माना लगाया जाता है। इसे मॉडल भविष्यवाणियों के वितरण में अंतर के माप के रूप में माना जा सकता है। जैसा कि मॉडल ट्रेन करता है, यह वितरण को एक साथ लाकर दंड को कम करने की कोशिश करता है, जैसा कि नीचे दिए गए ग्राफ़ में दिखाया गया है।
मूल कार्य पर प्रदर्शन के संबंध में मिनडिफ को लागू करना ट्रेडऑफ के साथ आ सकता है। उत्पाद की जरूरतों से परे प्रदर्शन को खराब न करते हुए मिनडिफ प्रभावी हो सकता है, लेकिन मिनडिफ के प्रदर्शन और प्रभावशीलता के बीच संतुलन का निर्णय उत्पाद के मालिक द्वारा जानबूझकर किया जाना चाहिए। MinDiff को कार्यान्वित करने का तरीका दिखाने वाले उदाहरणों के लिए, मॉडल उपचारात्मक केस स्टडी नोटबुक देखें।
साधन
टेक्स्ट वर्गीकरण मॉडल पर MinDiff लागू करने के ट्यूटोरियल के लिए, MinDiff Keras नोटबुक देखें।
TensorFlow ब्लॉग पर MinDiff पर ब्लॉग पोस्ट के लिए, मॉडल ब्लॉग पोस्ट को बेहतर बनाने के लिए MinDiff लागू करना देखें।
पूर्ण मॉडल रेमेडिएशन लाइब्रेरी के लिए, मॉडल-रेमेडिएशन जीथब रेपो देखें।
डवर्क, सी।, हार्ड्ट, एम।, पिटासी, टी।, रींगोल्ड, ओ।, ज़ेमेल, आर। (2011)। जागरूकता के माध्यम से निष्पक्षता। मैं
हार्ड्ट, एम।, प्राइस, ई।, सेरेब्रो, एन। (2016)। पर्यवेक्षित शिक्षण में अवसर की समानता। मैं
चाउल्डेचोवा, ए। (2016)। असमान प्रभाव के साथ निष्पक्ष भविष्यवाणी: पुनरावर्तन भविष्यवाणी उपकरणों में पूर्वाग्रह का एक अध्ययन। मैं