Fairness Indicators
Fairness Indicators 是一个库，可以帮助您轻松计算二元分类器和多元分类器的常见公平性指标。借助 Fairness Indicators 工具套件，您可以：
- 计算分类模型的常见公平性指标
- 将各个子群组的模型性能与基准或其他模型进行比较
- 使用置信区间显示统计显著性差异
- 根据多个阈值进行评估
您可以通过以下方式使用 Fairness Indicators：
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.25, 0.5, 0.75] }'
}
metrics {
class_name: "ExampleCount"
}
}
slicing_specs {}
slicing_specs {
feature_keys: "%s"
}
options {
compute_confidence_intervals { value: False }
disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)
