Fairness Indicators

Fairness Indicators 是一个库,可以帮助您轻松计算二元分类器和多元分类器的常见公平性指标。借助 Fairness Indicators 工具套件,您可以:

  • 计算分类模型的常见公平性指标
  • 将各个子群组的模型性能与基准或其他模型进行比较
  • 使用置信区间显示统计显著性差异
  • 根据多个阈值进行评估

您可以通过以下方式使用 Fairness Indicators:

eval_config_pbtxt = """

model_specs {
    label_key: "%s"
}

metrics_specs {
    metrics {
        class_name: "FairnessIndicators"
        config: '{ "thresholds": [0.25, 0.5, 0.75] }'
    }
    metrics {
        class_name: "ExampleCount"
    }
}

slicing_specs {}
slicing_specs {
    feature_keys: "%s"
}

options {
    compute_confidence_intervals { value: False }
    disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)

资源