অর্কেস্ট্রেটিং TFX পাইপলাইন

অ্যাপাচি এয়ারফ্লো

অ্যাপাচি এয়ারফ্লো হল প্রোগ্রাম্যাটিকভাবে লেখক, সময়সূচী এবং কর্মপ্রবাহ নিরীক্ষণ করার একটি প্ল্যাটফর্ম। TFX কার্যের নির্দেশিত অ্যাসাইক্লিক গ্রাফ (DAGs) হিসাবে লেখক ওয়ার্কফ্লোতে এয়ারফ্লো ব্যবহার করে। এয়ারফ্লো শিডিয়ুলার নির্দিষ্ট নির্ভরতা অনুসরণ করার সময় কর্মীদের একটি অ্যারের উপর কার্য সম্পাদন করে। রিচ কমান্ড লাইন ইউটিলিটিগুলি ডিএজি-তে জটিল অস্ত্রোপচার করাকে স্ন্যাপ করে তোলে। সমৃদ্ধ ইউজার ইন্টারফেস উত্পাদনে চলমান পাইপলাইনগুলিকে কল্পনা করা, অগ্রগতি নিরীক্ষণ করা এবং প্রয়োজনে সমস্যা সমাধান করা সহজ করে তোলে। যখন ওয়ার্কফ্লোগুলিকে কোড হিসাবে সংজ্ঞায়িত করা হয়, তখন তারা আরও রক্ষণাবেক্ষণযোগ্য, সংস্করণযোগ্য, পরীক্ষাযোগ্য এবং সহযোগী হয়ে ওঠে।

অ্যাপাচি এয়ারফ্লো ইনস্টল এবং ব্যবহার করার বিষয়ে বিস্তারিত জানার জন্য Apache Airflow দেখুন।