Özel Orkestratör
TFX, birden çok ortama ve düzenleme çerçevesine taşınabilir olacak şekilde tasarlanmıştır. Geliştiriciler özel Orkestraya oluşturmak veya Tfx, yani tarafından desteklenen varsayılan Orkestraya ilaveten ek Orkestraya ekleyebilir Hava akışı , Işın ve Kubeflow .
Tüm Orkestraya devralınmalıdır TfxRunner . TFX düzenleyicileri, ardışık düzen bağımsız değişkenlerini, bileşenlerini ve DAG'yi içeren mantıksal işlem hattı nesnesini alır ve DAG tarafından tanımlanan bağımlılıklara dayalı olarak TFX işlem hattının bileşenlerinin zamanlanmasından sorumludur.
Örneğin, ile özel bir Orchestrator'ı nasıl oluşturulduğuna Bakalım ComponentLauncher . ComponentLauncher zaten tek bir bileşenin sürücüsünü, yürütücüsünü ve yayımlayıcısını yönetir. Yeni orkestratörün yalnızca ComponentLauncher'ları DAG'ye göre programlaması gerekiyor. Basit bir orkestraci olarak verilmiştir LocalDagRunner bileşenler DAG en topolojik sırayla birer birer çalıştırır.
Bu düzenleyici Python DSL'de kullanılabilir:
def _create_pipeline(...) -> dsl.Pipeline:
...
return dsl.Pipeline(...)
if __name__ == '__main__':
orchestration.LocalDagRunner().run(_create_pipeline(...))
Python DSL dosyasının üzerinde çalıştırmak için (adının dsl.py olduğu varsayılarak), aşağıdakileri yapmanız yeterlidir:
python dsl.py