Valutazione dei modelli con la dashboard degli indicatori di equità [Beta]

Indicatori di equità

Gli indicatori di equità per TensorBoard consentono un calcolo semplice delle metriche di equità comunemente identificate per i classificatori binari e multiclasse . Con il plugin puoi visualizzare le valutazioni di equità per le tue corse e confrontare facilmente le prestazioni tra i gruppi.

In particolare, gli indicatori di equità per TensorBoard consentono di valutare e visualizzare le prestazioni del modello, suddivise in gruppi definiti di utenti. Sentiti sicuro dei tuoi risultati con intervalli di confidenza e valutazioni a più soglie.

Molti strumenti esistenti per valutare i problemi di equità non funzionano bene su set di dati e modelli su larga scala. Per Google è importante disporre di strumenti in grado di funzionare su sistemi con miliardi di utenti. Gli indicatori di equità ti consentiranno di valutare casi d'uso di qualsiasi dimensione, nell'ambiente TensorBoard o in Colab .

Requisiti

Per installare gli indicatori di equità per TensorBoard, esegui:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Dimostrazione

Se desideri testare gli indicatori di equità in TensorBoard, puoi scaricare i risultati di valutazione dell'analisi del modello TensorFlow di esempio (eval_config.json, file di parametri e grafici) e un'utilità demo.py da Google Cloud Platform, qui utilizzando il seguente comando.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Passare alla directory contenente i file scaricati.

cd tensorboard_plugin_fairness_indicators

Questi dati di valutazione si basano sul set di dati Civil Comments , calcolato utilizzando la libreria model_eval_lib di Tensorflow Model Analysis. Contiene anche un file di dati di riepilogo TensorBoard di esempio come riferimento.

L'utilità demo.py scrive un file di dati di riepilogo TensorBoard, che verrà letto da TensorBoard per eseguire il rendering del dashboard degli indicatori di equità (vedere il tutorial TensorBoard per ulteriori informazioni sui file di dati di riepilogo).

Flag da utilizzare con l'utilità demo.py :

  • --logdir : directory in cui TensorBoard scriverà il riepilogo
  • --eval_result_output_dir : directory contenente i risultati della valutazione valutati da TFMA (scaricati nell'ultimo passaggio)

Esegui l'utilità demo.py per scrivere i risultati di riepilogo nella directory dei log:

python demo.py --logdir=. --eval_result_output_dir=.

Esegui TensorBoard:

tensorboard --logdir=.

Questo avvierà un'istanza locale. Dopo l'avvio dell'istanza locale, verrà visualizzato un collegamento al terminale. Apri il collegamento nel tuo browser per visualizzare il dashboard degli indicatori di equità.

Collaborazione dimostrativa

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb contiene una demo end-to-end per addestrare e valutare un modello e visualizzare i risultati della valutazione dell'equità in TensorBoard.

Utilizzo

Per utilizzare gli Indicatori di Equità con i propri dati e valutazioni:

  1. Addestra un nuovo modello e valutalo utilizzando l'API tensorflow_model_analysis.run_model_analysis o tensorflow_model_analysis.ExtractEvaluateAndWriteResult in model_eval_lib . Per frammenti di codice su come eseguire questa operazione, vedere la collaborazione sugli indicatori di equità qui .

  2. Scrivi il riepilogo degli indicatori di equità utilizzando l'API tensorboard_plugin_fairness_indicators.summary_v2 .

    writer = tf.summary.create_file_writer(<logdir>)
with writer.as_default():
    summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
writer.close()

  3. Esegui TensorBoard

    • tensorboard --logdir=<logdir>
    • Seleziona la nuova esecuzione di valutazione utilizzando il menu a discesa sul lato sinistro della dashboard per visualizzare i risultati.