Посмотреть на TensorFlow.org | Запустить в Google Colab | Посмотреть на GitHub | Скачать блокнот |
Обзор тематического исследования
В этом случае исследовании мы будем применять TensorFlow модель анализ и справедливость показатели для оценки данных , хранящихся в виде панды DataFrame, где каждая строка содержит метки истинностные земли, различные функции и предсказание модели. Мы покажем, как этот рабочий процесс можно использовать для выявления потенциальных проблем справедливости, независимо от структуры, используемой для построения и обучения модели. Как и в этом тематическом исследовании, мы можем анализировать результаты любой инфраструктуры машинного обучения (например, TensorFlow, JAX и т. Д.) После их преобразования в Pandas DataFrame.
Для этого упражнения, мы будем использовать модель Deep Neural Network (DNN) , который был разработан в фигурных Ограничений по этике с Tensorflow Lattice тематическое исследование с использованием Приемной Law School набора данных из юридической школы Приемной Совета (LSAC). Этот классификатор пытается предсказать, пройдет ли студент планку, на основе результатов вступительного теста юридической школы (LSAT) и среднего академического балла. Этот классификатор пытается предсказать, преодолеет ли студент планку, на основе его результатов LSAT и среднего академического балла.
Набор данных LSAC
Набор данных используется в этом примере была первоначально собраны для исследования под названием « LSAC Национальный Продольная Бар Пассаж Исследование. LSAC Research Report Series "Линда Уайтманом в 1998 году набор данных в настоящее время размещается здесь .
- dnn_bar_pass_prediction: Предсказание ПОСЛЕДНИЙ из модели DNN.
- пол: Пол студента.
- ПОСЛЕДНИЙ: LSAT оценка , полученная студентом.
- pass_bar: Первый ярлык , указывающий истина в конце концов , является ли студент прошел бар.
- Гонка: Гонка студента.
- ugpa: студент бакалавриат ГПД.
!pip install -q -U pip==20.2
!pip install -q -U \
tensorflow-model-analysis==0.30.0 \
tensorflow-data-validation==0.30.0 \
tfx-bsl==0.30.0
Импорт необходимых пакетов:
import os
import tempfile
import pandas as pd
import six.moves.urllib as urllib
import pprint
import tensorflow_model_analysis as tfma
from google.protobuf import text_format
import tensorflow as tf
tf.compat.v1.enable_v2_behavior()
Загрузите данные и изучите исходный набор данных.
# Download the LSAT dataset and setup the required filepaths.
_DATA_ROOT = tempfile.mkdtemp(prefix='lsat-data')
_DATA_PATH = 'https://storage.googleapis.com/lawschool_dataset/bar_pass_prediction.csv'
_DATA_FILEPATH = os.path.join(_DATA_ROOT, 'bar_pass_prediction.csv')
data = urllib.request.urlopen(_DATA_PATH)
_LSAT_DF = pd.read_csv(data)
# To simpliy the case study, we will only use the columns that will be used for
# our model.
_COLUMN_NAMES = [
'dnn_bar_pass_prediction',
'gender',
'lsat',
'pass_bar',
'race1',
'ugpa',
]
_LSAT_DF.dropna()
_LSAT_DF['gender'] = _LSAT_DF['gender'].astype(str)
_LSAT_DF['race1'] = _LSAT_DF['race1'].astype(str)
_LSAT_DF = _LSAT_DF[_COLUMN_NAMES]
_LSAT_DF.head()
Настройте индикаторы справедливости.
Есть несколько параметров, которые вам необходимо принять во внимание при использовании индикаторов справедливости с DataFrame.
Ваш входной DataFrame должен содержать столбец прогноза и столбец метки из вашей модели. По умолчанию индикаторы Справедливость будет искать колонку прогнозирования называется
prediction
и колонки ярлык под названиемlabel
в вашем DataFrame.- Если ни одно из этих значений не найдено, возникает ошибка KeyError.
В дополнении к DataFrame, вам также необходимо включить
eval_config
, который должен включать метрики для вычисления, ломтики для вычисления метрики на и имена столбцов для примера этикеток и предсказания.metrics_specs
установит метрики для вычислений. ВFairnessIndicators
метрический потребуются для визуализации показателей честности , и вы можете увидеть список дополнительных необязательных метрик здесь .slicing_specs
является необязательным параметром нарезки , чтобы указать , какие функции вы будете заинтересованы в расследовании. В этом тематическом исследовании используется race1, однако вы также можете установить это значение для другой функции (например, пола в контексте этого DataFrame). Еслиslicing_specs
не предусмотрено будут включены все функции.Если DataFrame включает столбец метки или предсказания , который отличается от значения по умолчанию
prediction
илиlabel
, вы можете настроитьlabel_key
иprediction_key
в новое значение.
Если
output_path
не указан временный каталог будет создан.
# Specify Fairness Indicators in eval_config.
eval_config = text_format.Parse("""
model_specs {
prediction_key: 'dnn_bar_pass_prediction',
label_key: 'pass_bar'
}
metrics_specs {
metrics {class_name: "AUC"}
metrics {
class_name: "FairnessIndicators"
config: '{"thresholds": [0.50, 0.90]}'
}
}
slicing_specs {
feature_keys: 'race1'
}
slicing_specs {}
""", tfma.EvalConfig())
# Run TensorFlow Model Analysis.
eval_result = tfma.analyze_raw_data(
data=_LSAT_DF,
eval_config=eval_config,
output_path=_DATA_ROOT)
WARNING:apache_beam.runners.interactive.interactive_environment:Dependencies required for Interactive Beam PCollection visualization are not available, please use: `pip install apache-beam[interactive]` to install necessary dependencies to enable all data visualization features. WARNING:apache_beam.io.tfrecordio:Couldn't find python-snappy so the implementation of _TFRecordUtil._masked_crc32c is not as fast as it could be. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/writers/metrics_plots_and_validations_writer.py:113: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version. Instructions for updating: Use eager execution and: `tf.data.TFRecordDataset(path)` WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/writers/metrics_plots_and_validations_writer.py:113: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version. Instructions for updating: Use eager execution and: `tf.data.TFRecordDataset(path)`
Изучите производительность модели с помощью индикаторов справедливости.
После запуска индикаторов справедливости мы можем визуализировать различные метрики, которые мы выбрали для анализа производительности наших моделей. В это тематическое исследование мы включили индикаторы справедливости и произвольно выбранную AUC.
Когда мы впервые смотрим на общий AUC для каждого сегмента гонки, мы видим небольшое расхождение в характеристиках модели, но ничего, что могло бы вызвать тревогу.
- Азиатский: 0,58
- Черный: 0,58
- Испанец: 0,58
- Другое: 0,64
- Белый: 0,6
Однако, когда мы смотрим на ложноотрицательные показатели, разбитые по расам, наша модель снова неверно предсказывает вероятность того, что пользователь перейдет границу с разной скоростью, и на этот раз делает это значительно.
- Азиат: 0,01
- Черный: 0,05
- Испанец: 0,02
- Другое: 0,01
- Белый: 0,01
В частности, разница между чернокожими и белыми студентами составляет около 380%, а это означает, что наша модель почти в 4 раза чаще ошибочно предсказывает, что темнокожий студент не пройдет планку, чем студент, работающий в то время. Если бы мы продолжили эти усилия, практикующий мог бы использовать эти результаты как сигнал о том, что им следует уделять больше времени тому, чтобы их модель хорошо работала для людей любого происхождения.
# Render Fairness Indicators.
tfma.addons.fairness.view.widget_view.render_fairness_indicator(eval_result)
FairnessIndicatorViewer(slicingMetrics=[{'sliceValue': 'Overall', 'slice': 'Overall', 'metrics': {'auc': {'dou…
tfma.EvalResult
eval_result
объект, оказывается выше в render_fairness_indicator()
, имеет свой собственный API , который может быть использован для чтения результатов TFMA в свои программы.
get_slice_names()
и get_metric_names()
Чтобы получить оцененные срезы и метрики, вы можете использовать соответствующие функции.
pp = pprint.PrettyPrinter()
print("Slices:")
pp.pprint(eval_result.get_slice_names())
print("\nMetrics:")
pp.pprint(eval_result.get_metric_names())
Slices: [(), (('race1', 'white'),), (('race1', 'hisp'),), (('race1', 'asian'),), (('race1', 'black'),), (('race1', 'nan'),), (('race1', 'other'),)] Metrics: ['fairness_indicators_metrics/negative_rate@0.9', 'fairness_indicators_metrics/true_negative_rate@0.5', 'fairness_indicators_metrics/false_positive_rate@0.9', 'fairness_indicators_metrics/false_discovery_rate@0.9', 'fairness_indicators_metrics/false_positive_rate@0.5', 'auc', 'fairness_indicators_metrics/false_discovery_rate@0.5', 'fairness_indicators_metrics/false_omission_rate@0.9', 'fairness_indicators_metrics/false_omission_rate@0.5', 'fairness_indicators_metrics/true_positive_rate@0.5', 'fairness_indicators_metrics/positive_rate@0.9', 'fairness_indicators_metrics/false_negative_rate@0.9', 'fairness_indicators_metrics/negative_rate@0.5', 'fairness_indicators_metrics/true_positive_rate@0.9', 'fairness_indicators_metrics/true_negative_rate@0.9', 'fairness_indicators_metrics/false_negative_rate@0.5', 'fairness_indicators_metrics/positive_rate@0.5']
get_metrics_for_slice()
и get_metrics_for_all_slices()
Если вы хотите , чтобы получить точные данные для определенного среза, то вы можете использовать get_metrics_for_slice()
. Она возвращает словарь отображения метрических имена метрических значений .
baseline_slice = ()
black_slice = (('race1', 'black'),)
print("Baseline metric values:")
pp.pprint(eval_result.get_metrics_for_slice(baseline_slice))
print("Black metric values:")
pp.pprint(eval_result.get_metrics_for_slice(black_slice))
Baseline metric values: {'auc': {'doubleValue': 0.6286112666130066}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.052173524948674464}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.0502241746297722}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 4.7085412939071474e-05}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.012524719841793012}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.8159509202453987}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9486740804106074}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 4.462891060829205e-05}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.014549024858303209}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.9999553710893917}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9854509751416968}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.05132591958939264}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.9999529145870609}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.987475280158207} } Black metric values: {'auc': {'doubleValue': 0.5779293775558472}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.22189128816083395}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.21048451151707703}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.04880382775119617}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.6071428571428571}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.889261744966443}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.06254653760238273}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9374534623976173}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.11073825503355705}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9511961722488038} }
Если вы хотите , чтобы получить показатели для всех срезов, get_metrics_for_all_slices()
возвращает словарь отображения каждого срез в соответствующих get_metrics_for_slices(slice)
.
pp.pprint(eval_result.get_metrics_for_all_slices())
{(): {'auc': {'doubleValue': 0.6286112666130066}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.052173524948674464}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.0502241746297722}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 4.7085412939071474e-05}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.012524719841793012}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.8159509202453987}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9486740804106074}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 4.462891060829205e-05}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.014549024858303209}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.9999553710893917}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9854509751416968}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.05132591958939264}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.9999529145870609}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.987475280158207} }, (('race1', 'asian'),): {'auc': {'doubleValue': 0.5817844271659851}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.07803790412486064}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.07674943566591422}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.010882708585247884}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.8181818181818182}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9714285714285714}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.012263099219620958}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.987736900780379}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.02857142857142857}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9891172914147521} }, (('race1', 'black'),): {'auc': {'doubleValue': 0.5779293775558472}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.22189128816083395}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.21048451151707703}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.04880382775119617}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.6071428571428571}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.889261744966443}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.06254653760238273}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9374534623976173}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.11073825503355705}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9511961722488038} }, (('race1', 'hisp'),): {'auc': {'doubleValue': 0.5754180550575256}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.124634858812074}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.12139303482587065}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.017797552836484983}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.7272727272727273}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.953125}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.021421616358325218}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9785783836416748}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.046875}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.982202447163515} }, (('race1', 'nan'),): {'auc': {'doubleValue': 0.7142857313156128}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.125}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.125}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.0}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 'NaN'}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 1.0}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.0}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 1.0}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 1.0} }, (('race1', 'other'),): {'auc': {'doubleValue': 0.6389539241790771}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.10294117647058823}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.09523809523809523}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.01366120218579235}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.5555555555555556}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9047619047619048}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.022058823529411766}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9779411764705882}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.09523809523809523}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9863387978142076} }, (('race1', 'white'),): {'auc': {'doubleValue': 0.5987964272499084}, 'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.03360940422121293}, 'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.03316050982933679}, 'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 5.52883286338254e-05}, 'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.010228340797257698}, 'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.925}, 'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0}, 'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9761526232114467}, 'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 5.3430220132506944e-05}, 'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.010686044026501388}, 'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.9999465697798675}, 'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9893139559734986}, 'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0}, 'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.02384737678855326}, 'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.9999447116713662}, 'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9897716592027423} } }
Вывод
В рамках этого тематического исследования мы импортировали набор данных в фрейм данных Pandas, который затем проанализировали с помощью индикаторов справедливости. Понимание результатов вашей модели и лежащих в основе данных является важным шагом в обеспечении того, чтобы ваша модель не отражала вредную предвзятость. В контексте этого тематического исследования мы изучили набор данных LSAC и то, как гонка студентов может повлиять на прогнозы из этих данных. Концепция «что несправедливо и что справедливо» внедрялась во многих дисциплинах уже более 50 лет, в том числе в образовании, найме и машинном обучении ». 1 Корректность индикатор является инструментом для снижения риска проблем справедливости в вашей машине модели обучения.
Для получения дополнительной информации об использовании справедливости показателей и ресурсов , чтобы узнать больше о справедливости относится видеть здесь .
- Хатчинсон, Б., Митчелл, М. (2018). 50 лет испытаний (не) справедливости: уроки машинного обучения. https://arxiv.org/abs/1811.10104
Приложение
Ниже приведены несколько функций, которые помогут преобразовать модели машинного обучения в Pandas DataFrame.
# TensorFlow Estimator to Pandas DataFrame:
# _X_VALUE = # X value of binary estimator.
# _Y_VALUE = # Y value of binary estimator.
# _GROUND_TRUTH_LABEL = # Ground truth value of binary estimator.
def _get_predicted_probabilities(estimator, input_df, get_input_fn):
predictions = estimator.predict(
input_fn=get_input_fn(input_df=input_df, num_epochs=1))
return [prediction['probabilities'][1] for prediction in predictions]
def _get_input_fn_law(input_df, num_epochs, batch_size=None):
return tf.compat.v1.estimator.inputs.pandas_input_fn(
x=input_df[[_X_VALUE, _Y_VALUE]],
y=input_df[_GROUND_TRUTH_LABEL],
num_epochs=num_epochs,
batch_size=batch_size or len(input_df),
shuffle=False)
def estimator_to_dataframe(estimator, input_df, num_keypoints=20):
x = np.linspace(min(input_df[_X_VALUE]), max(input_df[_X_VALUE]), num_keypoints)
y = np.linspace(min(input_df[_Y_VALUE]), max(input_df[_Y_VALUE]), num_keypoints)
x_grid, y_grid = np.meshgrid(x, y)
positions = np.vstack([x_grid.ravel(), y_grid.ravel()])
plot_df = pd.DataFrame(positions.T, columns=[_X_VALUE, _Y_VALUE])
plot_df[_GROUND_TRUTH_LABEL] = np.ones(len(plot_df))
predictions = _get_predicted_probabilities(
estimator=estimator, input_df=plot_df, get_input_fn=_get_input_fn_law)
return pd.DataFrame(
data=np.array(np.reshape(predictions, x_grid.shape)).flatten())