Apache Beam
一些 TFX 组件依赖于 Beam 进行分布式数据处理。此外,TFX 可以使用 Apache Beam 来编排和执行流水线 DAG。Beam 编排器使用不同于组件数据处理所用的 BeamRunner。在默认 DirectRunner 设置下,Beam 编排器可用于本地调试,而不会产生额外的 Airflow 或 Kubeflow 依赖项,这有助于简化系统配置。
有关详细信息,请参阅 Beam 上的 TFX 样本。
一些 TFX 组件依赖于 Beam 进行分布式数据处理。此外,TFX 可以使用 Apache Beam 来编排和执行流水线 DAG。Beam 编排器使用不同于组件数据处理所用的 BeamRunner。在默认 DirectRunner 设置下,Beam 编排器可用于本地调试,而不会产生额外的 Airflow 或 Kubeflow 依赖项,这有助于简化系统配置。
有关详细信息,请参阅 Beam 上的 TFX 样本。
如未另行说明,那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可,并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情,请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。
最后更新时间 (UTC):2020-11-13。