ตัวชี้วัดความเป็นธรรม
ตัวบ่งชี้ความเป็นธรรมคือไลบรารีที่ช่วยให้คำนวณเมตริกความเป็นธรรมที่ระบุโดยทั่วไปได้ง่ายสำหรับตัวแยกประเภทไบนารีและหลายคลาส ด้วยชุดเครื่องมือตัวบ่งชี้ความเป็นธรรม คุณสามารถ:
- คำนวณตัววัดความเป็นธรรมที่ระบุโดยทั่วไปสำหรับแบบจำลองการจัดประเภท
- เปรียบเทียบประสิทธิภาพของโมเดลระหว่างกลุ่มย่อยกับข้อมูลพื้นฐาน หรือกับรุ่นอื่นๆ
- ใช้ช่วงความเชื่อมั่นเพื่อแสดงความแตกต่างที่มีนัยสำคัญทางสถิติ
- ดำเนินการประเมินผ่านเกณฑ์หลายเกณฑ์
ใช้ตัวบ่งชี้ความเป็นธรรมผ่าน:
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.25, 0.5, 0.75] }'
}
metrics {
class_name: "ExampleCount"
}
}
slicing_specs {}
slicing_specs {
feature_keys: "%s"
}
options {
compute_confidence_intervals { value: False }
disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)
