MinDiff es una técnica de remediación modelo que busca igualar dos distribuciones. En la práctica, se puede usar para equilibrar las tasas de error en diferentes segmentos de sus datos al penalizar las diferencias distributivas.
Por lo general, aplica MinDiff cuando intenta garantizar la equidad del grupo, como minimizar la diferencia en la tasa de falsos positivos (FPR) o la tasa de falsos negativos (FNR) entre un segmento de datos que pertenece a una clase confidencial y un segmento de mejor rendimiento. Para una discusión en profundidad de las métricas de equidad, revise la literatura sobre este tema. 1 2 3
¿Cómo funciona MinDiff?
Dados dos conjuntos de ejemplos de nuestro conjunto de datos, MinDiff penaliza el modelo durante el entrenamiento por diferencias en la distribución de puntajes entre los dos conjuntos. Cuanto menos distinguibles sean los dos conjuntos en función de las puntuaciones de predicción, menor será la penalización que se aplicará.
La penalización se aplica añadiendo un componente a la pérdida que el modelo está utilizando para el entrenamiento. Se puede considerar como una medida de la diferencia en la distribución de las predicciones del modelo. A medida que el modelo se entrena, intenta minimizar la penalización acercando las distribuciones, como se muestra en los gráficos a continuación.
La aplicación de MinDiff puede conllevar compensaciones con respecto al rendimiento en la tarea original. MinDiff puede ser eficaz sin deteriorar el rendimiento más allá de las necesidades del producto, pero la decisión de equilibrar el rendimiento y la eficacia de MinDiff debe tomarla deliberadamente el propietario del producto. Para obtener ejemplos que muestren cómo implementar MinDiff, consulte el cuaderno de estudio de caso de remediación modelo .
Recursos
Para obtener un tutorial sobre cómo aplicar MinDiff en un modelo de clasificación de texto, consulte el cuaderno MinDiff Keras .
Para ver una publicación de blog sobre MinDiff en el blog de TensorFlow, consulte Aplicación de MinDiff para mejorar la publicación de blog modelo .
Para obtener la biblioteca completa de corrección de modelos, consulte el repositorio de Github de corrección de modelos .
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Equidad a través de la conciencia. ↩
Hardt, M., Price, E., Srebro, N. (2016). Igualdad de Oportunidades en el Aprendizaje Supervisado. ↩
Chouldechova, A. (2016). Predicción justa con impacto desigual: un estudio del sesgo en los instrumentos de predicción de reincidencia. ↩