MinDiff adalah teknik remediasi model yang berupaya menyamakan dua distribusi. Dalam praktiknya, ini dapat digunakan untuk menyeimbangkan tingkat kesalahan di berbagai bagian data Anda dengan memberikan penalti terhadap perbedaan distribusi.
Biasanya, Anda menerapkan MinDiff ketika mencoba memastikan keadilan grup, seperti meminimalkan perbedaan dalam tingkat positif palsu (FPR) atau tingkat negatif palsu (FNR) antara bagian data yang termasuk dalam kelas sensitif dan bagian yang berperforma lebih baik. Untuk diskusi mendalam tentang metrik keadilan, tinjau literatur mengenai subjek ini. 1 2 3
Bagaimana cara kerja MinDiff?
Mengingat dua kumpulan contoh dari kumpulan data kami, MinDiff memberikan penalti pada model selama pelatihan karena perbedaan dalam distribusi skor antara kedua kumpulan tersebut. Semakin sulit membedakan kedua set berdasarkan skor prediksi, semakin kecil penalti yang akan diterapkan.
Penalti diterapkan dengan menambahkan komponen kerugian yang digunakan model untuk pelatihan. Hal ini dapat dianggap sebagai pengukuran perbedaan distribusi prediksi model. Saat model dilatih, model tersebut mencoba meminimalkan penalti dengan mendekatkan distribusi, seperti yang ditunjukkan pada grafik di bawah.
Penerapan MinDiff mungkin memerlukan pengorbanan sehubungan dengan kinerja pada tugas awal. MinDiff bisa efektif meski tidak menurunkan kinerja melebihi kebutuhan produk, namun keputusan untuk menyeimbangkan antara kinerja dan efektivitas MinDiff harus dibuat dengan sengaja oleh pemilik produk. Untuk contoh yang menunjukkan cara mengimplementasikan MinDiff, lihat buku catatan studi kasus remediasi model .
Sumber daya
Untuk tutorial penerapan MinDiff pada model klasifikasi teks, lihat Notebook MinDiff Keras .
Untuk postingan blog tentang MinDiff di blog TensorFlow, lihat Menerapkan MinDiff untuk meningkatkan model postingan blog .
Untuk pustaka Remediasi Model selengkapnya, lihat repo Github remediasi model .
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Keadilan Melalui Kesadaran. ↩
Hardt, M., Harga, E., Srebro, N. (2016). Kesetaraan Peluang dalam Pembelajaran yang Diawasi. ↩
Chouldechova, A. (2016). Prediksi yang adil dengan dampak yang berbeda: Sebuah studi tentang bias dalam instrumen prediksi residivisme. ↩