编排 TFX 流水线

Apache Beam

一些 TFX 组件依赖于 Beam 进行分布式数据处理。此外，TFX 可以使用 Apache Beam 来编排和执行流水线 DAG。Beam 编排器使用不同于组件数据处理所用的 BeamRunner。在默认 DirectRunner 设置下，Beam 编排器可用于本地调试，而不会产生额外的 Airflow 或 Kubeflow 依赖项，这有助于简化系统配置。

有关详细信息，请参阅 Beam 上的 TFX 样本。