• इस पेज पर, यह जानकारी उपलब्ध है
  • Apache Beam

编排 TFX 流水线

  • इस पेज पर, यह जानकारी उपलब्ध है
  • Apache Beam

Apache Beam

一些 TFX 组件依赖于 Beam 进行分布式数据处理。此外,TFX 可以使用 Apache Beam 来编排和执行流水线 DAG。Beam 编排器使用不同于组件数据处理所用的 BeamRunner。在默认 DirectRunner 设置下,Beam 编排器可用于本地调试,而不会产生额外的 Airflow 或 Kubeflow 依赖项,这有助于简化系统配置。

有关详细信息,请参阅 Beam 上的 TFX 样本