 مشاهده در TensorFlow.org |  در Google Colab اجرا شود |  در GitHub مشاهده کنید |  دانلود دفترچه یادداشت |  مدل TF Hub را ببینید |
بررسی اجمالی
انصاف شاخص مجموعه ای از ابزارهای ساخته شده در بالای است TensorFlow تجزیه و تحلیل مدل (TFMA) است که قادر به ارزیابی منظم از معیارهای عدالت در خطوط لوله. TFMA کتابخانه ای برای ارزیابی هر دو مدل یادگیری ماشینی TensorFlow و غیر TensorFlow است. این به شما امکان می دهد مدل های خود را بر روی مقادیر زیادی داده به صورت توزیع شده ارزیابی کنید، در نمودار و سایر معیارها را بر روی برش های مختلف داده محاسبه کنید و آنها را در نوت بوک تجسم کنید.
شاخص انصاف با بسته بندی TensorFlow داده اعتبار سنجی (TFDV) و ابزار چه اگر . استفاده از شاخص های انصاف به شما امکان می دهد:
- ارزیابی عملکرد مدل، برش در گروه های تعریف شده از کاربران
- با فواصل اطمینان و ارزیابی در آستانه های متعدد، در مورد نتایج اطمینان کسب کنید
- توزیع مجموعه داده ها را ارزیابی کنید
- برای کشف علل ریشه‌ای و فرصت‌های بهبود، در بخش‌های جداگانه فرو بروید
در این نوت بوک، شما شاخص انصاف استفاده شده برای حل مسائل عدالت در یک مدل به شما آموزش استفاده از عمران نظرات مجموعه داده . سازمان دیده بان این ویدیو برای اطلاعات بیشتر و زمینه را در سناریو های دنیای واقعی این است که بر اساس نیز یکی از انگیزه های اصلی برای ایجاد شاخص عدالت است.
مجموعه داده
در این نوت بوک، شما کار خواهد کرد با عمران نظرات مجموعه داده ، حدود 2 میلیون نظر عمومی توسط مردم ساخته شده داخلی نظرات پلت فرم در سال 2017 برای تحقیقات در حال انجام. این کار توسط برگزار شده بود منبت کاری اره مویی ، که مسابقات در Kaggle به کمک طبقه بندی نظر سمی میزبانی کرده اند و همچنین کاهش جهت مدل ناخواسته.
هر نظر متنی جداگانه در مجموعه داده دارای یک برچسب سمیت است که اگر نظر سمی باشد، برچسب 1 و اگر نظر غیرسمی باشد 0 است. در داده‌ها، زیرمجموعه‌ای از نظرات با انواع ویژگی‌های هویتی، از جمله دسته‌هایی برای جنسیت، گرایش جنسی، مذهب، و نژاد یا قومیت برچسب‌گذاری می‌شوند.
برپایی
نصب fairness-indicators و witwidget .
pip install -q -U pip==20.2pip install -q fairness-indicatorspip install -q witwidget
پس از نصب باید زمان اجرا Colab را مجددا راه اندازی کنید. انتخاب زمان اجرا> زمان اجرا راه اندازی مجدد از منوی COLAB.
بدون شروع مجدد زمان اجرا، بقیه این آموزش را ادامه ندهید.
تمام کتابخانه های مورد نیاز دیگر را وارد کنید.
import os
import tempfile
import apache_beam as beam
import numpy as np
import pandas as pd
from datetime import datetime
import pprint
from google.protobuf import text_format
import tensorflow_hub as hub
import tensorflow as tf
import tensorflow_model_analysis as tfma
import tensorflow_data_validation as tfdv
from tfx_bsl.tfxio import tensor_adapter
from tfx_bsl.tfxio import tf_example_record
from tensorflow_model_analysis.addons.fairness.post_export_metrics import fairness_indicators
from tensorflow_model_analysis.addons.fairness.view import widget_view
from fairness_indicators.tutorial_utils import util
from witwidget.notebook.visualization import WitConfigBuilder
from witwidget.notebook.visualization import WitWidget
from tensorflow_metadata.proto.v0 import schema_pb2
داده ها را دانلود و تجزیه و تحلیل کنید
به طور پیش فرض، این نوت بوک یک نسخه از پیش پردازش شده این مجموعه داده را دانلود می کند، اما می توانید از مجموعه داده اصلی استفاده کنید و در صورت تمایل مراحل پردازش را دوباره اجرا کنید. در مجموعه داده اصلی، هر نظر با درصد ارزیابی‌کنندگانی که معتقد بودند یک نظر با یک هویت خاص مطابقت دارد، برچسب‌گذاری می‌شود. برای مثال، یک نظر ممکن است با این برچسب برچسب‌گذاری شود: { مرد: 0.3، زن: 1.0، تراجنسیتی: 0.0، دگرجنس‌گرا: 0.8، همجنس‌گرا_همجنس‌گرا_یا_لزبین: 1.0 } مرحله پردازش هویت را بر اساس دسته‌بندی (جنسیت، گرایش_جنسی و غیره) گروه‌بندی می‌کند و حذف می‌کند. هویت هایی با امتیاز کمتر از 0.5. بنابراین مثال بالا به صورت زیر تبدیل می‌شود: ارزیابی‌کنندگانی که معتقد بودند یک نظر با یک هویت خاص مطابقت دارد. به عنوان مثال، نظر با این برچسب برچسب‌گذاری می‌شود: { جنسیت: [زن]، گرایش_جنسی: [دگرجنس‌گرا، همجنس‌گرا_همجنس‌گرا_یا_لزبین] }
download_original_data = False
if download_original_data:
train_tf_file = tf.keras.utils.get_file('train_tf.tfrecord',
'https://storage.googleapis.com/civil_comments_dataset/train_tf.tfrecord')
validate_tf_file = tf.keras.utils.get_file('validate_tf.tfrecord',
'https://storage.googleapis.com/civil_comments_dataset/validate_tf.tfrecord')
# The identity terms list will be grouped together by their categories
# (see 'IDENTITY_COLUMNS') on threshould 0.5. Only the identity term column,
# text column and label column will be kept after processing.
train_tf_file = util.convert_comments_data(train_tf_file)
validate_tf_file = util.convert_comments_data(validate_tf_file)
else:
train_tf_file = tf.keras.utils.get_file('train_tf_processed.tfrecord',
'https://storage.googleapis.com/civil_comments_dataset/train_tf_processed.tfrecord')
validate_tf_file = tf.keras.utils.get_file('validate_tf_processed.tfrecord',
'https://storage.googleapis.com/civil_comments_dataset/validate_tf_processed.tfrecord')
از TFDV برای تجزیه و تحلیل داده ها و یافتن مشکلات بالقوه در آن استفاده کنید، مانند مقادیر از دست رفته و عدم تعادل داده ها، که می تواند منجر به نابرابری عادلانه شود.
stats = tfdv.generate_statistics_from_tfrecord(data_location=train_tf_file)
tfdv.visualize_statistics(stats)
WARNING:apache_beam.runners.interactive.interactive_environment:Dependencies required for Interactive Beam PCollection visualization are not available, please use: `pip install apache-beam[interactive]` to install necessary dependencies to enable all data visualization features. WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter. WARNING:apache_beam.io.tfrecordio:Couldn't find python-snappy so the implementation of _TFRecordUtil._masked_crc32c is not as fast as it could be. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_data_validation/utils/stats_util.py:247: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version. Instructions for updating: Use eager execution and: `tf.data.TFRecordDataset(path)` WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_data_validation/utils/stats_util.py:247: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version. Instructions for updating: Use eager execution and: `tf.data.TFRecordDataset(path)`
TFDV نشان می دهد که برخی عدم تعادل های قابل توجهی در داده ها وجود دارد که می تواند منجر به نتایج مدل مغرضانه شود.
برچسب سمیت (مقدار پیش بینی شده توسط مدل) نامتعادل است. تنها 8 درصد از نمونه‌های مجموعه آموزشی سمی هستند، به این معنی که یک طبقه‌بندی‌کننده می‌تواند با پیش‌بینی غیرسمی بودن همه نظرات، 92 درصد دقت را به دست آورد.
در زمینه های مربوط به شرایط هویت، تنها 6.6 هزار نمونه از 1.08 میلیون (0.61٪) نمونه های آموزشی با همجنس گرایی سروکار دارند، و موارد مربوط به دوجنس گرایی حتی نادرتر است. این نشان می دهد که عملکرد در این برش ها ممکن است به دلیل کمبود داده های آموزشی آسیب ببیند.
داده ها را آماده کنید
یک نقشه ویژگی برای تجزیه داده ها تعریف کنید. هر مثال یک برچسب، متن نظر دارند، و هویت ویژگی های sexual orientation ، gender ، religion ، race ، و disability است که با متن همراه است.
BASE_DIR = tempfile.gettempdir()
TEXT_FEATURE = 'comment_text'
LABEL = 'toxicity'
FEATURE_MAP = {
# Label:
LABEL: tf.io.FixedLenFeature([], tf.float32),
# Text:
TEXT_FEATURE: tf.io.FixedLenFeature([], tf.string),
# Identities:
'sexual_orientation':tf.io.VarLenFeature(tf.string),
'gender':tf.io.VarLenFeature(tf.string),
'religion':tf.io.VarLenFeature(tf.string),
'race':tf.io.VarLenFeature(tf.string),
'disability':tf.io.VarLenFeature(tf.string),
}
در مرحله بعد، یک تابع ورودی برای تغذیه داده ها به مدل تنظیم کنید. به هر مثال یک ستون وزن اضافه کنید و نمونه های سمی را بالا وزن کنید تا عدم تعادل طبقه شناسایی شده توسط TFDV را در نظر بگیرید. در مرحله ارزیابی فقط از ویژگی های هویت استفاده کنید، زیرا فقط نظرات در طول آموزش به مدل وارد می شود.
def train_input_fn():
def parse_function(serialized):
parsed_example = tf.io.parse_single_example(
serialized=serialized, features=FEATURE_MAP)
# Adds a weight column to deal with unbalanced classes.
parsed_example['weight'] = tf.add(parsed_example[LABEL], 0.1)
return (parsed_example,
parsed_example[LABEL])
train_dataset = tf.data.TFRecordDataset(
filenames=[train_tf_file]).map(parse_function).batch(512)
return train_dataset
مدل را آموزش دهید
یک مدل یادگیری عمیق روی داده ها ایجاد و آموزش دهید.
model_dir = os.path.join(BASE_DIR, 'train', datetime.now().strftime(
"%Y%m%d-%H%M%S"))
embedded_text_feature_column = hub.text_embedding_column(
key=TEXT_FEATURE,
module_spec='https://tfhub.dev/google/nnlm-en-dim128/1')
classifier = tf.estimator.DNNClassifier(
hidden_units=[500, 100],
weight_column='weight',
feature_columns=[embedded_text_feature_column],
optimizer=tf.keras.optimizers.Adagrad(learning_rate=0.003),
loss_reduction=tf.losses.Reduction.SUM,
n_classes=2,
model_dir=model_dir)
classifier.train(input_fn=train_input_fn, steps=1000)
INFO:tensorflow:Using default config.
INFO:tensorflow:Using default config.
INFO:tensorflow:Using config: {'_model_dir': '/tmp/train/20210923-205025', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
rewrite_options {
meta_optimizer_iterations: ONE
}
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_checkpoint_save_graph_def': True, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}
INFO:tensorflow:Using config: {'_model_dir': '/tmp/train/20210923-205025', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
rewrite_options {
meta_optimizer_iterations: ONE
}
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_checkpoint_save_graph_def': True, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Saver not created because there are no variables in the graph to restore
2021-09-23 20:50:26.540914: W tensorflow/core/common_runtime/graph_constructor.cc:1511] Importing a graph with a lower producer version 26 into an existing graph with producer version 808. Shape inference will have run different parts of the graph with different producer versions.
INFO:tensorflow:Saver not created because there are no variables in the graph to restore
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/head/base_head.py:512: NumericColumn._get_dense_tensor (from tensorflow.python.feature_column.feature_column_v2) is deprecated and will be removed in a future version.
Instructions for updating:
The old _FeatureColumn APIs are being deprecated. Please use the new FeatureColumn APIs instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/head/base_head.py:512: NumericColumn._get_dense_tensor (from tensorflow.python.feature_column.feature_column_v2) is deprecated and will be removed in a future version.
Instructions for updating:
The old _FeatureColumn APIs are being deprecated. Please use the new FeatureColumn APIs instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/feature_column/feature_column.py:2192: NumericColumn._transform_feature (from tensorflow.python.feature_column.feature_column_v2) is deprecated and will be removed in a future version.
Instructions for updating:
The old _FeatureColumn APIs are being deprecated. Please use the new FeatureColumn APIs instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/feature_column/feature_column.py:2192: NumericColumn._transform_feature (from tensorflow.python.feature_column.feature_column_v2) is deprecated and will be removed in a future version.
Instructions for updating:
The old _FeatureColumn APIs are being deprecated. Please use the new FeatureColumn APIs instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/keras/optimizer_v2/adagrad.py:84: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version.
Instructions for updating:
Call initializer instance with the dtype argument instead of passing it to the constructor
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/keras/optimizer_v2/adagrad.py:84: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version.
Instructions for updating:
Call initializer instance with the dtype argument instead of passing it to the constructor
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Create CheckpointSaverHook.
INFO:tensorflow:Create CheckpointSaverHook.
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...
INFO:tensorflow:Saving checkpoints for 0 into /tmp/train/20210923-205025/model.ckpt.
INFO:tensorflow:Saving checkpoints for 0 into /tmp/train/20210923-205025/model.ckpt.
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...
INFO:tensorflow:loss = 59.34932, step = 0
INFO:tensorflow:loss = 59.34932, step = 0
INFO:tensorflow:global_step/sec: 108.435
INFO:tensorflow:global_step/sec: 108.435
INFO:tensorflow:loss = 56.416668, step = 100 (0.924 sec)
INFO:tensorflow:loss = 56.416668, step = 100 (0.924 sec)
INFO:tensorflow:global_step/sec: 116.367
INFO:tensorflow:global_step/sec: 116.367
INFO:tensorflow:loss = 47.250374, step = 200 (0.859 sec)
INFO:tensorflow:loss = 47.250374, step = 200 (0.859 sec)
INFO:tensorflow:global_step/sec: 116.333
INFO:tensorflow:global_step/sec: 116.333
INFO:tensorflow:loss = 55.81682, step = 300 (0.860 sec)
INFO:tensorflow:loss = 55.81682, step = 300 (0.860 sec)
INFO:tensorflow:global_step/sec: 116.844
INFO:tensorflow:global_step/sec: 116.844
INFO:tensorflow:loss = 55.814293, step = 400 (0.856 sec)
INFO:tensorflow:loss = 55.814293, step = 400 (0.856 sec)
INFO:tensorflow:global_step/sec: 114.434
INFO:tensorflow:global_step/sec: 114.434
INFO:tensorflow:loss = 41.805046, step = 500 (0.874 sec)
INFO:tensorflow:loss = 41.805046, step = 500 (0.874 sec)
INFO:tensorflow:global_step/sec: 115.693
INFO:tensorflow:global_step/sec: 115.693
INFO:tensorflow:loss = 45.53726, step = 600 (0.864 sec)
INFO:tensorflow:loss = 45.53726, step = 600 (0.864 sec)
INFO:tensorflow:global_step/sec: 115.772
INFO:tensorflow:global_step/sec: 115.772
INFO:tensorflow:loss = 51.17028, step = 700 (0.864 sec)
INFO:tensorflow:loss = 51.17028, step = 700 (0.864 sec)
INFO:tensorflow:global_step/sec: 116.131
INFO:tensorflow:global_step/sec: 116.131
INFO:tensorflow:loss = 47.696205, step = 800 (0.861 sec)
INFO:tensorflow:loss = 47.696205, step = 800 (0.861 sec)
INFO:tensorflow:global_step/sec: 115.609
INFO:tensorflow:global_step/sec: 115.609
INFO:tensorflow:loss = 47.800926, step = 900 (0.865 sec)
INFO:tensorflow:loss = 47.800926, step = 900 (0.865 sec)
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 1000...
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 1000...
INFO:tensorflow:Saving checkpoints for 1000 into /tmp/train/20210923-205025/model.ckpt.
INFO:tensorflow:Saving checkpoints for 1000 into /tmp/train/20210923-205025/model.ckpt.
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 1000...
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 1000...
INFO:tensorflow:Loss for final step: 50.67367.
INFO:tensorflow:Loss for final step: 50.67367.
<tensorflow_estimator.python.estimator.canned.dnn.DNNClassifierV2 at 0x7f113351ebd0>
مدل را تحلیل کنید
پس از به دست آوردن مدل آموزش دیده، آن را برای محاسبه معیارهای انصاف با استفاده از TFMA و نشانگرهای انصاف تحلیل کنید. شروع با صادرات مدل به عنوان یک SavedModel .
SavedModel را صادر کنید
def eval_input_receiver_fn():
serialized_tf_example = tf.compat.v1.placeholder(
dtype=tf.string, shape=[None], name='input_example_placeholder')
# This *must* be a dictionary containing a single key 'examples', which
# points to the input placeholder.
receiver_tensors = {'examples': serialized_tf_example}
features = tf.io.parse_example(serialized_tf_example, FEATURE_MAP)
features['weight'] = tf.ones_like(features[LABEL])
return tfma.export.EvalInputReceiver(
features=features,
receiver_tensors=receiver_tensors,
labels=features[LABEL])
tfma_export_dir = tfma.export.export_eval_savedmodel(
estimator=classifier,
export_dir_base=os.path.join(BASE_DIR, 'tfma_eval_model'),
eval_input_receiver_fn=eval_input_receiver_fn)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/encoding.py:141: build_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.build_tensor_info or tf.compat.v1.saved_model.build_tensor_info. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/encoding.py:141: build_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.build_tensor_info or tf.compat.v1.saved_model.build_tensor_info. INFO:tensorflow:Calling model_fn. INFO:tensorflow:Calling model_fn. INFO:tensorflow:Saver not created because there are no variables in the graph to restore 2021-09-23 20:50:39.359797: W tensorflow/core/common_runtime/graph_constructor.cc:1511] Importing a graph with a lower producer version 26 into an existing graph with producer version 808. Shape inference will have run different parts of the graph with different producer versions. INFO:tensorflow:Saver not created because there are no variables in the graph to restore INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Signatures INCLUDED in export for Classify: None INFO:tensorflow:Signatures INCLUDED in export for Classify: None INFO:tensorflow:Signatures INCLUDED in export for Regress: None INFO:tensorflow:Signatures INCLUDED in export for Regress: None INFO:tensorflow:Signatures INCLUDED in export for Predict: None INFO:tensorflow:Signatures INCLUDED in export for Predict: None INFO:tensorflow:Signatures INCLUDED in export for Train: None INFO:tensorflow:Signatures INCLUDED in export for Train: None INFO:tensorflow:Signatures INCLUDED in export for Eval: ['eval'] INFO:tensorflow:Signatures INCLUDED in export for Eval: ['eval'] WARNING:tensorflow:Export includes no default signature! WARNING:tensorflow:Export includes no default signature! INFO:tensorflow:Restoring parameters from /tmp/train/20210923-205025/model.ckpt-1000 INFO:tensorflow:Restoring parameters from /tmp/train/20210923-205025/model.ckpt-1000 INFO:tensorflow:Assets added to graph. INFO:tensorflow:Assets added to graph. INFO:tensorflow:Assets written to: /tmp/tfma_eval_model/temp-1632430239/assets INFO:tensorflow:Assets written to: /tmp/tfma_eval_model/temp-1632430239/assets INFO:tensorflow:SavedModel written to: /tmp/tfma_eval_model/temp-1632430239/saved_model.pb INFO:tensorflow:SavedModel written to: /tmp/tfma_eval_model/temp-1632430239/saved_model.pb
محاسبه معیارهای انصاف
با استفاده از منوی کشویی در پانل سمت راست، هویت را برای محاسبه معیارها و اینکه آیا باید با فواصل مطمئن اجرا شود، انتخاب کنید.
گزینه های محاسبه شاخص های انصاف
tfma_eval_result_path = os.path.join(BASE_DIR, 'tfma_eval_result')
slice_selection = 'sexual_orientation'
print(f'Slice selection: {slice_selection}')
compute_confidence_intervals = False
print(f'Compute confidence intervals: {compute_confidence_intervals}')
# Define slices that you want the evaluation to run on.
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.1, 0.3, 0.5, 0.7, 0.9] }'
}
}
slicing_specs {} # overall slice
slicing_specs {
feature_keys: ["%s"]
}
options {
compute_confidence_intervals { value: %s }
disabled_outputs { values: "analysis" }
}
""" % (LABEL, slice_selection, compute_confidence_intervals)
eval_config = text_format.Parse(eval_config_pbtxt, tfma.EvalConfig())
eval_shared_model = tfma.default_eval_shared_model(
eval_saved_model_path=tfma_export_dir)
schema = text_format.Parse(
"""
tensor_representation_group {
key: ""
value {
tensor_representation {
key: "comment_text"
value {
dense_tensor {
column_name: "comment_text"
shape {}
}
}
}
}
}
feature {
name: "comment_text"
type: BYTES
}
feature {
name: "toxicity"
type: FLOAT
}
feature {
name: "sexual_orientation"
type: BYTES
}
feature {
name: "gender"
type: BYTES
}
feature {
name: "religion"
type: BYTES
}
feature {
name: "race"
type: BYTES
}
feature {
name: "disability"
type: BYTES
}
""", schema_pb2.Schema())
tfxio = tf_example_record.TFExampleRecord(
file_pattern=validate_tf_file,
schema=schema,
raw_record_column_name=tfma.ARROW_INPUT_COLUMN)
tensor_adapter_config = tensor_adapter.TensorAdapterConfig(
arrow_schema=tfxio.ArrowSchema(),
tensor_representations=tfxio.TensorRepresentations())
with beam.Pipeline() as pipeline:
(pipeline
| 'ReadFromTFRecordToArrow' >> tfxio.BeamSource()
| 'ExtractEvaluateAndWriteResults' >> tfma.ExtractEvaluateAndWriteResults(
eval_config=eval_config,
eval_shared_model=eval_shared_model,
output_path=tfma_eval_result_path,
tensor_adapter_config=tensor_adapter_config))
eval_result = tfma.load_eval_result(output_path=tfma_eval_result_path)
Slice selection: sexual_orientation Compute confidence intervals: False WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. INFO:tensorflow:Restoring parameters from /tmp/tfma_eval_model/1632430239/variables/variables INFO:tensorflow:Restoring parameters from /tmp/tfma_eval_model/1632430239/variables/variables WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info. WARNING:apache_beam.io.filebasedsink:Deleting 1 existing files in target path matching: WARNING:apache_beam.io.filebasedsink:Deleting 1 existing files in target path matching: WARNING:apache_beam.io.filebasedsink:Deleting 1 existing files in target path matching:
داده ها را با استفاده از ابزار What-if تجسم کنید
در این بخش، از رابط بصری تعاملی What-If Tool برای کاوش و دستکاری داده ها در سطح میکرو استفاده خواهید کرد.
هر نقطه در نمودار پراکندگی در پانل سمت راست یکی از نمونه‌های زیر مجموعه بارگذاری شده در ابزار را نشان می‌دهد. روی یکی از نقاط کلیک کنید تا جزئیات مربوط به این مثال خاص را در پنل سمت چپ مشاهده کنید. متن نظر، سمیت حقیقت زمین، و هویت های قابل اجرا نشان داده شده است. در پایین این پانل سمت چپ، نتایج استنتاج مدلی را که به تازگی آموزش داده‌اید، مشاهده می‌کنید.
اصلاح متن به عنوان مثال و سپس کلیک بر روی دکمه استنتاج اجرا جهت مشاهده تغییرات خود را ناشی از پیش بینی سمیت درک را تغییر دهید.
DEFAULT_MAX_EXAMPLES = 1000
# Load 100000 examples in memory. When first rendered,
# What-If Tool should only display 1000 of these due to browser constraints.
def wit_dataset(file, num_examples=100000):
dataset = tf.data.TFRecordDataset(
filenames=[file]).take(num_examples)
return [tf.train.Example.FromString(d.numpy()) for d in dataset]
wit_data = wit_dataset(train_tf_file)
config_builder = WitConfigBuilder(wit_data[:DEFAULT_MAX_EXAMPLES]).set_estimator_and_feature_spec(
classifier, FEATURE_MAP).set_label_vocab(['non-toxicity', LABEL]).set_target_feature(LABEL)
wit = WitWidget(config_builder)
نشانگرهای انصاف را ارائه دهید
ویجت Fairness Indicators را با نتایج ارزیابی صادر شده ارائه دهید.
در زیر نمودارهای میله ای را مشاهده خواهید کرد که عملکرد هر بخش از داده ها را در معیارهای انتخاب شده نشان می دهد. می توانید با استفاده از منوهای کشویی در بالای تجسم، برش مقایسه پایه و همچنین آستانه(های) نمایش داده شده را تنظیم کنید.
ویجت Fairness Indicator با ابزار What-If ارائه شده در بالا ادغام شده است. اگر یک تکه از داده ها را در نمودار میله ای انتخاب کنید، ابزار What-If به روز می شود تا نمونه هایی از برش انتخاب شده را به شما نشان دهد. هنگامی که بارگذاری مجدد داده ها در ابزار چه اگر بالا، سعی کنید تغییر رنگ توسط سمیت. این می تواند به شما درکی بصری از تعادل سمیت نمونه ها به صورت برش دهد.
event_handlers={'slice-selected':
wit.create_selection_callback(wit_data, DEFAULT_MAX_EXAMPLES)}
widget_view.render_fairness_indicator(eval_result=eval_result,
slicing_column=slice_selection,
event_handlers=event_handlers
)
FairnessIndicatorViewer(slicingMetrics=[{'sliceValue': 'Overall', 'slice': 'Overall', 'metrics': {'prediction/…
با این مجموعه داده و وظیفه خاص، نرخ های مثبت کاذب و منفی کاذب بیشتر برای هویت های خاص می تواند منجر به پیامدهای منفی شود. به عنوان مثال، در یک سیستم تعدیل محتوا، نرخ مثبت کاذب بالاتر از کلی برای یک گروه خاص می تواند منجر به خاموش شدن آن صداها شود. بنابراین، ارزیابی منظم این نوع معیارها هنگام توسعه و بهبود مدل‌ها، و استفاده از ابزارهایی مانند نشانگرهای انصاف، TFDV و WIT برای کمک به روشن کردن مشکلات احتمالی مهم است. هنگامی که مسائل مربوط به انصاف را شناسایی کردید، می‌توانید با منابع داده جدید، موازنه داده‌ها یا تکنیک‌های دیگر برای بهبود عملکرد در گروه‌هایی که عملکرد ضعیفی دارند، آزمایش کنید.
مشاهده اینجا برای کسب اطلاعات بیشتر و راهنمایی در مورد نحوه استفاده از شاخص عدالت است.
از نتایج ارزیابی عادلانه استفاده کنید
eval_result شی، بالا در رندر render_fairness_indicator() است، API خود را دارد که شما می توانید اهرم به خواندن نتایج TFMA به برنامه های خود را.
برش ها و معیارهای ارزیابی شده را دریافت کنید
استفاده از get_slice_names() و get_metric_names() برای دریافت برش ارزیابی و معیارهای بود.
pp = pprint.PrettyPrinter()
print("Slices:")
pp.pprint(eval_result.get_slice_names())
print("\nMetrics:")
pp.pprint(eval_result.get_metric_names())
Slices:
[(),
(('sexual_orientation', 'homosexual_gay_or_lesbian'),),
(('sexual_orientation', 'heterosexual'),),
(('sexual_orientation', 'bisexual'),),
(('sexual_orientation', 'other_sexual_orientation'),)]
Metrics:
['fairness_indicators_metrics/negative_rate@0.1',
'fairness_indicators_metrics/positive_rate@0.7',
'fairness_indicators_metrics/false_discovery_rate@0.9',
'fairness_indicators_metrics/false_negative_rate@0.3',
'fairness_indicators_metrics/false_omission_rate@0.1',
'accuracy',
'fairness_indicators_metrics/false_discovery_rate@0.7',
'fairness_indicators_metrics/false_negative_rate@0.7',
'label/mean',
'fairness_indicators_metrics/true_positive_rate@0.5',
'fairness_indicators_metrics/false_positive_rate@0.1',
'recall',
'fairness_indicators_metrics/false_omission_rate@0.7',
'fairness_indicators_metrics/false_positive_rate@0.7',
'auc_precision_recall',
'fairness_indicators_metrics/negative_rate@0.7',
'fairness_indicators_metrics/negative_rate@0.3',
'fairness_indicators_metrics/false_discovery_rate@0.3',
'fairness_indicators_metrics/true_negative_rate@0.9',
'fairness_indicators_metrics/false_omission_rate@0.3',
'fairness_indicators_metrics/false_negative_rate@0.1',
'fairness_indicators_metrics/true_negative_rate@0.3',
'fairness_indicators_metrics/true_positive_rate@0.7',
'fairness_indicators_metrics/false_positive_rate@0.3',
'fairness_indicators_metrics/true_positive_rate@0.1',
'fairness_indicators_metrics/true_positive_rate@0.9',
'fairness_indicators_metrics/false_negative_rate@0.9',
'fairness_indicators_metrics/positive_rate@0.5',
'fairness_indicators_metrics/positive_rate@0.9',
'fairness_indicators_metrics/negative_rate@0.9',
'fairness_indicators_metrics/true_negative_rate@0.1',
'fairness_indicators_metrics/false_omission_rate@0.5',
'post_export_metrics/example_count',
'fairness_indicators_metrics/false_omission_rate@0.9',
'fairness_indicators_metrics/negative_rate@0.5',
'fairness_indicators_metrics/false_positive_rate@0.5',
'fairness_indicators_metrics/positive_rate@0.3',
'prediction/mean',
'accuracy_baseline',
'fairness_indicators_metrics/true_negative_rate@0.5',
'fairness_indicators_metrics/false_discovery_rate@0.5',
'fairness_indicators_metrics/false_discovery_rate@0.1',
'precision',
'fairness_indicators_metrics/false_positive_rate@0.9',
'fairness_indicators_metrics/true_positive_rate@0.3',
'auc',
'average_loss',
'fairness_indicators_metrics/positive_rate@0.1',
'fairness_indicators_metrics/false_negative_rate@0.5',
'fairness_indicators_metrics/true_negative_rate@0.7']
استفاده از get_metrics_for_slice() برای دریافت معیارهای برای یک برش خاص به عنوان یک فرهنگ لغت نگاشت نام متریک به مقادیر متریک .
baseline_slice = ()
heterosexual_slice = (('sexual_orientation', 'heterosexual'),)
print("Baseline metric values:")
pp.pprint(eval_result.get_metrics_for_slice(baseline_slice))
print("\nHeterosexual metric values:")
pp.pprint(eval_result.get_metrics_for_slice(heterosexual_slice))
Baseline metric values:
{'accuracy': {'doubleValue': 0.7174859642982483},
'accuracy_baseline': {'doubleValue': 0.9198060631752014},
'auc': {'doubleValue': 0.796409547328949},
'auc_precision_recall': {'doubleValue': 0.3000231087207794},
'average_loss': {'doubleValue': 0.5615971088409424},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.9139404145348933},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.8796606156634021},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.816806708107944},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.7090802784427505},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4814937210839392},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.006079867348348763},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.08696628437197734},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.2705713693519414},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.5445108470360647},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.891598728755009},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.006604499315158452},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.017811407791031682},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.03187681488249431},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.04993640137936933},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.07271999842219298},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9202700382800194},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.5818879187535954},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.28355525303665063},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.09679333307231039},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.00877639469079322},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.07382367199944595},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.39155620195304386},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.6806884133250225},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.8744414433132488},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9832342960038783},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.926176328000554},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.6084437980469561},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.3193115866749775},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.12555855668675117},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.016765703996121616},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.0797299617199806},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.41811208124640464},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.7164447469633494},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.9032066669276896},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9912236053092068},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 0.9939201326516512},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9130337156280227},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.7294286306480586},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.45548915296393533},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.10840127124499102},
'label/mean': {'doubleValue': 0.08019392192363739},
'post_export_metrics/example_count': {'doubleValue': 721950.0},
'precision': {'doubleValue': 0.18319329619407654},
'prediction/mean': {'doubleValue': 0.3998037576675415},
'recall': {'doubleValue': 0.7294286489486694} }
Heterosexual metric values:
{'accuracy': {'doubleValue': 0.5203251838684082},
'accuracy_baseline': {'doubleValue': 0.7601625919342041},
'auc': {'doubleValue': 0.6672822833061218},
'auc_precision_recall': {'doubleValue': 0.4065391719341278},
'average_loss': {'doubleValue': 0.8273133039474487},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.7541666666666667},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.7272727272727273},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.7062937062937062},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.655367231638418},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4473684210526316},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.0847457627118644},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.288135593220339},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.4830508474576271},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.8220338983050848},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.10416666666666667},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.1650485436893204},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.18095238095238095},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.21365638766519823},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9679144385026738},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.7700534759358288},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.5401069518716578},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.31016042780748665},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.045454545454545456},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.024390243902439025},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.1951219512195122},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4186991869918699},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.6402439024390244},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9227642276422764},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.975609756097561},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.8048780487804879},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.5813008130081301},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.3597560975609756},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.07723577235772358},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.03208556149732621},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.22994652406417113},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.45989304812834225},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.6898395721925134},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9545454545454546},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9152542372881356},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.711864406779661},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.5169491525423728},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.17796610169491525},
'label/mean': {'doubleValue': 0.2398373931646347},
'post_export_metrics/example_count': {'doubleValue': 492.0},
'precision': {'doubleValue': 0.2937062978744507},
'prediction/mean': {'doubleValue': 0.5578703880310059},
'recall': {'doubleValue': 0.7118644118309021} }
استفاده از get_metrics_for_all_slices() به متریک برای تمام برش به عنوان یک فرهنگ لغت نگاشت هر قطعه به معیارهای مربوطه فرهنگ لغت شما از در حال اجرا به دست آوردن get_metrics_for_slice() بر روی آن.
pp.pprint(eval_result.get_metrics_for_all_slices())
{(): {'accuracy': {'doubleValue': 0.7174859642982483},
'accuracy_baseline': {'doubleValue': 0.9198060631752014},
'auc': {'doubleValue': 0.796409547328949},
'auc_precision_recall': {'doubleValue': 0.3000231087207794},
'average_loss': {'doubleValue': 0.5615971088409424},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.9139404145348933},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.8796606156634021},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.816806708107944},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.7090802784427505},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4814937210839392},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.006079867348348763},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.08696628437197734},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.2705713693519414},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.5445108470360647},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.891598728755009},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.006604499315158452},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.017811407791031682},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.03187681488249431},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.04993640137936933},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.07271999842219298},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9202700382800194},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.5818879187535954},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.28355525303665063},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.09679333307231039},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.00877639469079322},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.07382367199944595},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.39155620195304386},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.6806884133250225},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.8744414433132488},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9832342960038783},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.926176328000554},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.6084437980469561},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.3193115866749775},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.12555855668675117},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.016765703996121616},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.0797299617199806},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.41811208124640464},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.7164447469633494},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.9032066669276896},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9912236053092068},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 0.9939201326516512},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9130337156280227},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.7294286306480586},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.45548915296393533},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.10840127124499102},
'label/mean': {'doubleValue': 0.08019392192363739},
'post_export_metrics/example_count': {'doubleValue': 721950.0},
'precision': {'doubleValue': 0.18319329619407654},
'prediction/mean': {'doubleValue': 0.3998037576675415},
'recall': {'doubleValue': 0.7294286489486694} },
(('sexual_orientation', 'bisexual'),): {'accuracy': {'doubleValue': 0.5258620977401733},
'accuracy_baseline': {'doubleValue': 0.8017241358757019},
'auc': {'doubleValue': 0.6252922415733337},
'auc_precision_recall': {'doubleValue': 0.3546649217605591},
'average_loss': {'doubleValue': 0.7461641430854797},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.7870370370370371},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.7816091954022989},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.7666666666666667},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.7037037037037037},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.17391304347826086},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.391304347826087},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.6521739130434783},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.9130434782608695},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.13793103448275862},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.16071428571428573},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.16853932584269662},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.18421052631578946},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9139784946236559},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.7311827956989247},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.4946236559139785},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.20430107526881722},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.06896551724137931},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.25},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4827586206896552},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.7672413793103449},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9827586206896551},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.9310344827586207},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.75},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.5172413793103449},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.23275862068965517},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.017241379310344827},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.08602150537634409},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.26881720430107525},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.5053763440860215},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.7956989247311828},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.8260869565217391},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.6086956521739131},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.34782608695652173},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.08695652173913043},
'label/mean': {'doubleValue': 0.1982758641242981},
'post_export_metrics/example_count': {'doubleValue': 116.0},
'precision': {'doubleValue': 0.23333333432674408},
'prediction/mean': {'doubleValue': 0.4908219575881958},
'recall': {'doubleValue': 0.6086956262588501} },
(('sexual_orientation', 'heterosexual'),): {'accuracy': {'doubleValue': 0.5203251838684082},
'accuracy_baseline': {'doubleValue': 0.7601625919342041},
'auc': {'doubleValue': 0.6672822833061218},
'auc_precision_recall': {'doubleValue': 0.4065391719341278},
'average_loss': {'doubleValue': 0.8273133039474487},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.7541666666666667},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.7272727272727273},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.7062937062937062},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.655367231638418},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4473684210526316},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.0847457627118644},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.288135593220339},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.4830508474576271},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.8220338983050848},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.10416666666666667},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.1650485436893204},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.18095238095238095},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.21365638766519823},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9679144385026738},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.7700534759358288},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.5401069518716578},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.31016042780748665},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.045454545454545456},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.024390243902439025},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.1951219512195122},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4186991869918699},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.6402439024390244},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9227642276422764},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.975609756097561},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.8048780487804879},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.5813008130081301},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.3597560975609756},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.07723577235772358},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.03208556149732621},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.22994652406417113},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.45989304812834225},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.6898395721925134},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9545454545454546},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9152542372881356},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.711864406779661},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.5169491525423728},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.17796610169491525},
'label/mean': {'doubleValue': 0.2398373931646347},
'post_export_metrics/example_count': {'doubleValue': 492.0},
'precision': {'doubleValue': 0.2937062978744507},
'prediction/mean': {'doubleValue': 0.5578703880310059},
'recall': {'doubleValue': 0.7118644118309021} },
(('sexual_orientation', 'homosexual_gay_or_lesbian'),): {'accuracy': {'doubleValue': 0.5851936340332031},
'accuracy_baseline': {'doubleValue': 0.7182232141494751},
'auc': {'doubleValue': 0.7057511806488037},
'auc_precision_recall': {'doubleValue': 0.469566285610199},
'average_loss': {'doubleValue': 0.7369641661643982},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.7107050831576481},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.6717557251908397},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.6172690763052209},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.5427319211102994},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4092664092664093},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0016168148746968471},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.06143896523848019},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.22958771220695232},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.4939369442198868},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.8763136620856912},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.01652892561983471},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.08909730363423213},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.14947368421052631},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.20225091029460443},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.2624061970467199},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9622581668252458},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.7535680304471931},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.4874722486520774},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.2356485886457342},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.03361877576910879},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.0275626423690205},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.19430523917995443},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4328018223234624},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.6881548974943053},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.941002277904328},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.9724373576309795},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.8056947608200455},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.5671981776765376},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.31184510250569475},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.05899772209567198},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.0377418331747542},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.24643196955280686},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.5125277513479226},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.7643514113542658},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9663812242308912},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 0.9983831851253031},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9385610347615198},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.7704122877930477},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.5060630557801131},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.12368633791430882},
'label/mean': {'doubleValue': 0.2817767560482025},
'post_export_metrics/example_count': {'doubleValue': 4390.0},
'precision': {'doubleValue': 0.3827309310436249},
'prediction/mean': {'doubleValue': 0.5428739786148071},
'recall': {'doubleValue': 0.770412266254425} },
(('sexual_orientation', 'other_sexual_orientation'),): {'accuracy': {'doubleValue': 0.6000000238418579},
'accuracy_baseline': {'doubleValue': 0.800000011920929},
'auc': {'doubleValue': 1.0},
'auc_precision_recall': {'doubleValue': 1.0},
'average_loss': {'doubleValue': 0.7521011829376221},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.8},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.75},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.6666666666666666},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.5},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.75},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.5},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.25},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.2},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.6},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.8},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.8},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.6},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.4},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.2},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.25},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.5},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.75},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 1.0},
'label/mean': {'doubleValue': 0.20000000298023224},
'post_export_metrics/example_count': {'doubleValue': 5.0},
'precision': {'doubleValue': 0.3333333432674408},
'prediction/mean': {'doubleValue': 0.6101843118667603},
'recall': {'doubleValue': 1.0} } }