了解如何利用 TensorFlow 在机器学习工作流程中落实 Responsible AI 做法

TensorFlow 致力于通过与机器学习社区分享丰富的资源和工具,帮助加快推进以负责任的方式开发 AI 的进程。

什么是 Responsible AI?

AI 的发展为解决具有挑战性的现实问题创造了新的机会。同时也提出了新的问题,那就是如何以最佳的方式构建人人受益的 AI 系统。

推荐的 AI 最佳做法

设计 AI 系统时应遵循软件开发最佳做法,同时要采用以人为中心的
机器学习方法

公平性

随着 AI 对各行各业和社会发展的影响力不断增强,努力构建对每个人都公平且包容的系统变得至关重要

可解释性

了解和信任 AI 系统对于确保它们按预期工作非常重要

隐私设置

基于敏感数据训练模型需要隐私保护措施

安全性

识别潜在的威胁可以帮助保障 AI 系统的安全

在机器学习工作流程中落实 Responsible AI

Responsible AI 做法可以落实到机器学习工作流程的每一步中。以下是要在每个阶段考虑的几个关键问题。

我的机器学习系统的用户群体是谁?

实际用户体验系统的方式 对评估其预测、建议和决策的真实影响至关重要。确保 在开发过程的早期阶段 收集不同用户群体的反馈。

我使用的是有代表性的数据集吗?

抽样的数据能否代表用户 (例如,模型将用于所有年龄层的用户,但您只有来自老年人的训练数据)? 并且能否代表实际情形(例如,模型将在全年使用, 但您只有夏季的训练数据)?

我的数据中是否存在现实/人为偏差?

数据中的潜在偏差会导致出现复杂的反馈环, 进而加剧现有的刻板印象。

我应使用什么方法训练我的模型?

使用的训练方法要将公平性、可解释性、隐私权和 安全性纳入模型中。

我的模型表现如何?

在真实场景中通过大量用户、用例和使用情境 评估用户体验。先在 dogfood 中进行测试和迭代, 然后在发布后继续进行测试。

是否存在复杂的反馈环?

即使系统整体设计中的所有环节都经过精心安排, 基于机器学习的模型在应用到实际的实时数据时也很少 能毫无瑕疵地运行。当实际产品出现问题时,请思考 它是否与现有的任何社会劣势吻合,以及它将如何 受到短期和长期解决方案的影响。

TensorFlow 的 Responsible AI 工具

TensorFlow 生态系统包含丰富的工具和资源,有助于解决上面提到的一些问题。

第 1 步

定义问题

通过以下资源设计落实 Responsible AI 做法的模型。

人 + AI 研究 (PAIR) 指南

详细了解 AI 开发流程和关键注意事项。

PAIR Explorables

借助互动式可视化功能,探索 Responsible AI 领域的关键问题和概念。

第 2 步

构建和准备数据

使用以下工具检查数据,找出可能存在的偏差。

Know Your Data (Beta)

以交互方式调查数据集,以提高数据质量并减少公平性和偏差问题。

TF Data Validation

分析和转换数据,以检测出问题并设计出更高效的特征集。

数据卡片

为您的数据集创建透明度报告。

Monk 肤色量表 (MST)

一种更具包容性的肤色量表,采用开放许可,可让您的数据收集和模型构建需求更加可靠且更具包容性。

第 3 步

构建和训练模型

使用以下工具来借助隐私保护、可解释的技术等训练模型。

TF Model Remediation

训练机器学习模型,让结果更公平。

TF Privacy

基于隐私保护训练机器学习模型。

TF Federated

使用联合学习技术训练机器学习模型。

TF Constrained Optimization

优化不等式约束问题。

TF Lattice

实现灵活、可控且可解释的点阵模型。

第 4 步

评估模型

使用以下工具调试、评估和可视化模型性能。

Fairness Indicators

评估二元分类器和多元分类器的常见公平性指标。

TF Model Analysis

以分布式方式评估模型,并针对不同的数据切片进行计算。

What-If Tool

检查、评估和比较机器学习模型。

Language Interpretability Tool

可视化和了解 NLP 模型。

Explainable AI

开发可解释且包容的机器学习模型。

TF Privacy Tests

评估分类模型的隐私特性。

TensorBoard

衡量并可视化机器学习工作流程。

第 5 步

部署和监控

使用以下工具跟踪和记录模型的背景及详细信息。

Model Card 工具包

使用 Model Card 工具包轻松生成模型卡片。

机器学习元数据

记录和检索与机器学习开发者和数据科学家工作流程相关的元数据。

模型卡片

有条理地整理机器学习流程的基本信息。

社区资源

了解社区在做什么,并探索加入进来的方式。

Google 众包

帮助 Google 产品在您的语言、地区和文化中变得更具包容性和代表性。

Responsible AI DevPost 挑战赛

我们要求参与者使用 TensorFlow 2.2 构建落实 Responsible AI 原则的模型或应用。欢迎访问资源库,查看获奖项目及其他精彩的项目。

Responsible AI 与 TensorFlow(2020 年 TensorFlow 开发者峰会)

宣布推出将机器学习、公平性和隐私权纳入考虑范畴的框架。