Genel bakış

MinDiff, iki dağılımı eşitlemeyi amaçlayan bir model iyileştirme tekniğidir. Uygulamada, dağıtım farklılıklarını cezalandırarak verilerinizin farklı dilimlerindeki hata oranlarını dengelemek için kullanılabilir.

Tipik olarak MinDiff'i, hassas bir sınıfa ait bir veri dilimi ile daha iyi performans gösteren bir dilim arasındaki yanlış pozitif oranı (FPR) veya yanlış negatif oranı (FNR) arasındaki farkı en aza indirmek gibi grup adaletini sağlamaya çalışırken uygularsınız. Adillik ölçütlerinin derinlemesine tartışılması için bu konudaki literatürü inceleyin. 1 2 3

MinDiff nasıl çalışır?

Veri setimizden iki örnek seti verildiğinde MinDiff, iki set arasındaki puan dağılımındaki farklılıklar nedeniyle eğitim sırasında modeli cezalandırır. Tahmin puanlarına dayalı iki set ne kadar az ayırt edilebilirse, uygulanacak ceza da o kadar küçük olur.

Ceza, modelin eğitim için kullandığı kayba bir bileşen eklenerek uygulanır. Model tahminlerinin dağılımındaki farklılığın bir ölçümü olarak düşünülebilir. Model eğitilirken aşağıdaki grafiklerde gösterildiği gibi dağılımları birbirine yaklaştırarak cezayı en aza indirmeye çalışır.

MinDiff karşılaştırma grafiği

MinDiff'in uygulanması, orijinal görevdeki performansa ilişkin ödünleşimleri beraberinde getirebilir. MinDiff, performansı ürün ihtiyaçlarının ötesinde kötüleştirmeden etkili olabilir, ancak MinDiff'in performansı ile etkinliği arasındaki dengeyi kurma kararı, ürün sahibi tarafından bilinçli olarak verilmelidir. MinDiff'in nasıl uygulanacağını gösteren örnekler için model iyileştirme vaka çalışması not defterine bakın.

Kaynaklar

  1. Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Farkındalık Yoluyla Adalet. ↩

  2. Hardt, M., Price, E., Srebro, N. (2016). Denetimli Öğrenmede Fırsat Eşitliği. ↩

  3. Chouldechova, A. (2016). Farklı etkiye sahip adil tahmin: Tekrar suç tahmin araçlarında önyargı üzerine bir çalışma. ↩