TensorFlow Extended (TFX) 是一个端到端平台,用于部署生产型机器学习流水线

当您准备好将模型从研究状态切换到生产状态时,可以使用 TFX 创建和管理生产流水线。

查看教程

教程将通过完整的端到端示例向您展示如何使用 TFX。

查看指南

指南介绍了 TFX 的概念和组件。

工作原理

当您准备好训练多个模型,或准备将您的精彩模型投入使用并部署到生产环境中时,TFX 可以帮助您构建完整的机器学习流水线。

A TFX 流水线是一系列实现机器学习流水线的组件,专门用于可扩展的高性能机器学习任务。这包括针对在线、原生移动和 JavaScript 目标建模、训练、运行推断和管理部署。要了解详情,请阅读我们的 TFX 用户指南

流水线组件使用 TFX 库构建而成,这些库也可以单独使用。下面概述了这些底层库。

TensorFlow Data Validation

TensorFlow Data Validation (TFDV) 能够帮助开发者大规模地理解、验证和监控机器学习数据。Google 每天都使用 TFDV 分析和验证 PB 级的数据,并且在帮助 TFX 用户维护机器学习流水线正常运行方面,TFDV 一贯表现良好。

TensorFlow Transform

在将机器学习应用于现实世界的数据集时,需要投入很多精力才能将数据预处理为合适的格式,其中包括在各种格式之间进行转换、对文本进行标记化和词干化、创建词汇表、执行归一化等各种数字操作。您可以使用 tf.Transform 完成所有这些操作。

TensorFlow Model Analysis

TensorFlow Model Analysis (TFMA) 让开发者能够计算和可视化模型的评估指标。在部署任何机器学习 (ML) 模型之前,机器学习开发者需要评估模型的性能,以确保其达到特定的质量阈值,并且能够针对所有相关数据切片展示出与预期相符的行为。例如,模型针对整个评估数据集的 AUC 可能是可接受的,但针对特定切片却表现不佳。TFMA 为开发者提供了深入了解其模型性能的工具。

TensorFlow Serving

机器学习 (ML) 应用系统必须支持模型版本控制(用于实现包含回滚选项的模型更新)和多个模型(用于实现通过 A/B 测试进行的实验),同时还要确保并发模型能够在硬件加速器(GPU 和 TPU)上以较低的延迟实现较高的吞吐量。TensorFlow Serving 每秒能为 Google 处理数千万次推断。

常见问题的解决方案

浏览分步教程以帮助您完成项目。

中级
使用 TensorFlow Transform 预处理数据

在此示例中,我们将处理一个使用广泛且包含人口普查数据的数据集,并训练一个分类模型。在此过程中,我们将使用 tf.Transform 转换数据。

中级
训练模型并使用 TensorFlow Serving 应用 TensorFlow 模型

此指南会训练一个对服饰(例如运动鞋和衬衫)图像进行分类的神经网络、保存经过训练的模型,然后使用 TensorFlow Serving 应用此模型。重点是 TensorFlow Serving,而不是在 TensorFlow 中进行建模和训练。

中级
使用 TensorFlow Data Validation 整理数据

此示例 Colab 笔记本介绍了如何使用 TensorFlow Data Validation (TFDV) 调查和可视化数据集,包括查看描述性统计信息、推断架构、检查并解决异常情况,以及检查数据集是否存在偏移和倾斜现象。

News & announcements

Check out our blog and YouTube playlist for additional TFX content,
and subscribe to our monthly TensorFlow newsletter to get the
latest announcements sent directly to your inbox.

Nov 25, 2019 
Introducing the TFX Interactive Notebook

A new (experimental) Colab notebook environment for iterative development of TFX components & pipelines, using InteractiveContext.

Nov 1, 2019 
An End-to-End ML Platform for Everyone (TF World '19)

Watch this keynote presentation from TensorFlow World 2019 and learn about how TFX was designed to meet the needs of production ML pipelines.

Oct 31, 2019 
Production ML Pipelines with TensorFlow (TF World '19)

Learn about the orchestration and components which make up TFX ML Pipelines, and watch a complete end-to-end demo!

2019 年 6 月 26 日 
TensorFlow Extended (TFX):面向生产环境的机器学习

Learn how you can create a semi-custom TFX component simply by replacing the Executor for an existing component.