使用 TensorFlow Model Analysis 改善模型质量
使用集合让一切井井有条
根据您的偏好保存内容并对其进行分类。
简介
在开发过程中调整模型时,您需要检查所做的更改是否会改善模型质量。不过,仅检查准确率可能还不够。例如,如果您有一个问题的分类器,其中 95% 的实例是正相关的,那么您也许能够通过始终预测为正相关来提高准确率,但是这样做将无法获得一个非常稳健的分类器。
概述
TensorFlow Model Analysis 的目标是为 TFX 中的模型评估提供一种机制。TensorFlow Model Analysis 允许您在 TFX 流水线中执行模型评估,并在 Jupyter 笔记本中查看结果指标和绘图。具体来说,它可以提供:
- 根据整个训练和保留数据集计算的指标,以及第二天的评估
- 随时间跟踪指标
- 在不同特征切片上的模型质量性能
- 模型验证,用于确保模型的性能保持一致
后续步骤
阅读我们的 TFMA 教程。
查看我们的 GitHub 页面了解有关支持的指标与图表以及关联的笔记本可视化效果的详细信息。
参阅安装和使用入门指南,了解有关在独立流水线中进行设置的信息和示例。回想一下,TFMA 也在 TFC 的 Evaluator 组件中使用,因此,这些资源也有助于开始使用 TFX。
如未另行说明,那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可,并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情,请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。
最后更新时间 (UTC):2021-08-16。
[null,null,["最后更新时间 (UTC):2021-08-16。"],[],[],null,["# Improving Model Quality With TensorFlow Model Analysis\n\n\u003cbr /\u003e\n\nIntroduction\n------------\n\nAs you tweak your model during development, you need to check whether your\nchanges are improving your model. Just checking accuracy may not be enough. For\nexample, if you have a classifier for a problem in which 95% of your instances\nare positive, you may be able to improve accuracy by simply always predicting\npositive, but you won't have a very robust classifier.\n\nOverview\n--------\n\nThe goal of TensorFlow Model Analysis is to provide a mechanism for model\nevaluation in TFX. TensorFlow Model Analysis allows you to perform model\nevaluations in the TFX pipeline, and view resultant metrics and plots in a\nJupyter notebook. Specifically, it can provide:\n\n- [Metrics](../model_analysis/metrics) computed on entire training and holdout dataset, as well as next-day evaluations\n- Tracking metrics over time\n- Model quality performance on different feature slices\n- [Model validation](../model_analysis/model_validations) for ensuring that model's maintain consistent performance\n\nNext Steps\n----------\n\nTry our [TFMA tutorial](../tutorials/model_analysis/tfma_basic).\n\nCheck out our [github](https://github.com/tensorflow/model-analysis) page for\ndetails on the supported\n[metrics and plots](../model_analysis/metrics) and associated notebook\n[visualizations](../model_analysis/visualizations).\n\nSee the [installation](../model_analysis/install) and\n[getting started](../model_analysis/get_started) guides for information and\nexamples on how to get [set up](../model_analysis/setup) in a standalone\npipeline. Recall that TFMA is also used within the [Evaluator](/tfx/guide/evaluator)\ncomponent in TFX, so these resources will be useful for getting started in TFX\nas well."]]