MLOps হল DevOps অনুশীলনগুলিকে স্বয়ংক্রিয়, পরিচালনা এবং অডিট মেশিন লার্নিং (ML) কর্মপ্রবাহকে সাহায্য করার জন্য অনুশীলন। এমএল ওয়ার্কফ্লোতে ধাপগুলি অন্তর্ভুক্ত রয়েছে:
- তথ্য প্রস্তুত করুন, বিশ্লেষণ করুন এবং রূপান্তর করুন।
- একটি মডেল প্রশিক্ষণ এবং মূল্যায়ন.
- উৎপাদনে প্রশিক্ষিত মডেল স্থাপন করুন।
- ML আর্টিফ্যাক্ট ট্র্যাক করুন এবং তাদের নির্ভরতা বুঝুন।
অ্যাড-হক পদ্ধতিতে এই পদক্ষেপগুলি পরিচালনা করা কঠিন এবং সময়সাপেক্ষ হতে পারে।
TFX একটি টুলকিট প্রদান করে MLOps বাস্তবায়ন করা সহজ করে যা আপনাকে বিভিন্ন অর্কেস্ট্রেটরগুলিতে আপনার ML প্রক্রিয়া সাজাতে সাহায্য করে, যেমন: Apache Airflow, Apache Beam, এবং Kubeflow Pipelines। একটি TFX পাইপলাইন হিসাবে আপনার কর্মপ্রবাহ বাস্তবায়ন করে, আপনি করতে পারেন:
- আপনার ML প্রক্রিয়া স্বয়ংক্রিয় করুন, যা আপনাকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ, মূল্যায়ন এবং আপনার মডেল স্থাপন করতে দেয়।
- বড় ডেটাসেট এবং ওয়ার্কলোড প্রক্রিয়াকরণের জন্য বিতরণ করা গণনা সংস্থানগুলি ব্যবহার করুন।
- হাইপারপ্যারামিটারের বিভিন্ন সেট সহ একটি পাইপলাইন চালিয়ে পরীক্ষা-নিরীক্ষার বেগ বাড়ান।
এই নির্দেশিকাটি TFX পাইপলাইনগুলি বোঝার জন্য প্রয়োজনীয় মূল ধারণাগুলি বর্ণনা করে।
আর্টিফ্যাক্ট
একটি TFX পাইপলাইনে ধাপের আউটপুটগুলিকে আর্টিফ্যাক্ট বলা হয়। আপনার কর্মপ্রবাহের পরবর্তী পদক্ষেপগুলি ইনপুট হিসাবে এই শিল্পকর্মগুলি ব্যবহার করতে পারে। এইভাবে, TFX আপনাকে ওয়ার্কফ্লো ধাপের মধ্যে ডেটা স্থানান্তর করতে দেয়।
উদাহরণ স্বরূপ, ExampleGen স্ট্যান্ডার্ড কম্পোনেন্ট ক্রমিক উদাহরণ নির্গত করে, যে উপাদানগুলি যেমন StatisticsGen স্ট্যান্ডার্ড কম্পোনেন্ট ইনপুট হিসাবে ব্যবহার করে।
ML মেটাডেটা স্টোরে নিবন্ধিত আর্টিফ্যাক্ট টাইপ দিয়ে আর্টিফ্যাক্টগুলিকে দৃঢ়ভাবে টাইপ করতে হবে। এমএল মেটাডেটাতে ব্যবহৃত ধারণা সম্পর্কে আরও জানুন।
আর্টিফ্যাক্ট প্রকারের একটি নাম থাকে এবং এর বৈশিষ্ট্যগুলির একটি স্কিমা সংজ্ঞায়িত করে। আপনার ML মেটাডেটা স্টোরে আর্টিফ্যাক্ট টাইপের নাম অবশ্যই অনন্য হতে হবে। TFX বেশ কিছু স্ট্যান্ডার্ড আর্টিফ্যাক্ট টাইপ প্রদান করে যা জটিল ডেটা টাইপ এবং মানের প্রকার বর্ণনা করে, যেমন: স্ট্রিং, ইন্টিজার এবং ফ্লোট। আপনি এই আর্টিফ্যাক্ট প্রকারগুলি পুনরায় ব্যবহার করতে পারেন বা Artifact থেকে উদ্ভূত কাস্টম আর্টিফ্যাক্ট প্রকারগুলিকে সংজ্ঞায়িত করতে পারেন৷
প্যারামিটার
পরামিতি হল পাইপলাইনের ইনপুট যা আপনার পাইপলাইন কার্যকর করার আগে পরিচিত হয়। প্যারামিটারগুলি আপনাকে কোডের পরিবর্তে কনফিগারেশনের মাধ্যমে একটি পাইপলাইনের আচরণ বা পাইপলাইনের একটি অংশ পরিবর্তন করতে দেয়।
উদাহরণস্বরূপ, আপনি পাইপলাইনের কোড পরিবর্তন না করে হাইপারপ্যারামিটারের বিভিন্ন সেট সহ একটি পাইপলাইন চালানোর জন্য প্যারামিটার ব্যবহার করতে পারেন।
পরামিতি ব্যবহার করে আপনি বিভিন্ন সেটের প্যারামিটারের সাথে আপনার পাইপলাইন চালানো সহজ করে পরীক্ষা-নিরীক্ষার গতি বাড়াতে পারবেন।
RuntimeParameter ক্লাস সম্পর্কে আরও জানুন।
উপাদান
একটি উপাদান হল একটি ML টাস্কের একটি বাস্তবায়ন যা আপনি আপনার TFX পাইপলাইনে একটি ধাপ হিসাবে ব্যবহার করতে পারেন। উপাদানগুলি গঠিত হয়:
- একটি কম্পোনেন্ট স্পেসিফিকেশন, যা কম্পোনেন্টের ইনপুট এবং আউটপুট আর্টিফ্যাক্ট এবং কম্পোনেন্টের প্রয়োজনীয় প্যারামিটারগুলিকে সংজ্ঞায়িত করে।
- একজন নির্বাহক, যেটি আপনার এমএল ওয়ার্কফ্লোতে একটি ধাপ সঞ্চালনের জন্য কোড প্রয়োগ করে, যেমন ডেটা ইনজেস্ট করা এবং রূপান্তর করা বা প্রশিক্ষণ এবং একটি মডেল মূল্যায়ন করা।
- একটি উপাদান ইন্টারফেস, যা একটি পাইপলাইনে ব্যবহারের জন্য উপাদান স্পেসিফিকেশন এবং নির্বাহক প্যাকেজ করে।
TFX বেশ কিছু মানক উপাদান প্রদান করে যা আপনি আপনার পাইপলাইনে ব্যবহার করতে পারেন। যদি এই উপাদানগুলি আপনার চাহিদা পূরণ না করে, আপনি কাস্টম উপাদান তৈরি করতে পারেন। কাস্টম উপাদান সম্পর্কে আরও জানুন ।
পাইপলাইন
একটি TFX পাইপলাইন হল একটি ML কর্মপ্রবাহের একটি বহনযোগ্য বাস্তবায়ন যা বিভিন্ন অর্কেস্ট্রেটরগুলিতে চালানো যেতে পারে, যেমন: Apache Airflow, Apache Beam, এবং Kubeflow Pipelines। একটি পাইপলাইন উপাদান উদাহরণ এবং ইনপুট পরামিতি গঠিত হয়.
কম্পোনেন্ট ইনস্ট্যান্স আউটপুট হিসাবে আর্টিফ্যাক্ট তৈরি করে এবং সাধারণত ইনপুট হিসাবে আপস্ট্রিম কম্পোনেন্ট ইনস্ট্যান্স দ্বারা উত্পাদিত আর্টিফ্যাক্টের উপর নির্ভর করে। কম্পোনেন্ট দৃষ্টান্তের জন্য সঞ্চালনের ক্রমটি আর্টিফ্যাক্ট নির্ভরতাগুলির একটি নির্দেশিত অ্যাসাইক্লিক গ্রাফ তৈরি করে নির্ধারিত হয়।
উদাহরণস্বরূপ, একটি পাইপলাইন বিবেচনা করুন যা নিম্নলিখিতগুলি করে:
- একটি কাস্টম উপাদান ব্যবহার করে একটি মালিকানাধীন সিস্টেম থেকে সরাসরি ডেটা ইনজেস্ট করে৷
- StatisticsGen স্ট্যান্ডার্ড কম্পোনেন্ট ব্যবহার করে প্রশিক্ষণের ডেটার পরিসংখ্যান গণনা করে।
- SchemaGen স্ট্যান্ডার্ড উপাদান ব্যবহার করে একটি ডেটা স্কিমা তৈরি করে।
- ExampleValidator স্ট্যান্ডার্ড কম্পোনেন্ট ব্যবহার করে অসঙ্গতির জন্য প্রশিক্ষণ ডেটা পরীক্ষা করে।
- ট্রান্সফর্ম স্ট্যান্ডার্ড কম্পোনেন্ট ব্যবহার করে ডেটাসেটে ফিচার ইঞ্জিনিয়ারিং করে।
- প্রশিক্ষক স্ট্যান্ডার্ড উপাদান ব্যবহার করে একটি মডেলকে প্রশিক্ষণ দেয়।
- মূল্যায়নকারী উপাদান ব্যবহার করে প্রশিক্ষিত মডেলের মূল্যায়ন করে।
- মডেলটি তার মূল্যায়নে উত্তীর্ণ হলে, পাইপলাইন একটি কাস্টম উপাদান ব্যবহার করে প্রশিক্ষিত মডেলটিকে একটি মালিকানাধীন স্থাপনার ব্যবস্থায় সারিবদ্ধ করে।
কম্পোনেন্ট ইন্সট্যান্সের জন্য এক্সিকিউশন সিকোয়েন্স নির্ধারণ করতে, TFX আর্টিফ্যাক্ট নির্ভরতা বিশ্লেষণ করে।
- ডেটা ইনজেশন কম্পোনেন্টের কোনো আর্টিফ্যাক্ট নির্ভরতা নেই, তাই এটি গ্রাফের প্রথম নোড হতে পারে।
- StatisticsGen ডেটা ইনজেশনের দ্বারা উত্পাদিত উদাহরণগুলির উপর নির্ভর করে, তাই এটি ডেটা ইনজেশনের পরে কার্যকর করা আবশ্যক।
- SchemaGen StatisticsGen দ্বারা তৈরি পরিসংখ্যানের উপর নির্ভর করে, তাই এটি StatisticsGen-এর পরে কার্যকর করা আবশ্যক।
- ExampleValidator নির্ভর করে StatisticsGen দ্বারা তৈরি পরিসংখ্যান এবং SchemaGen দ্বারা তৈরি স্কিমার উপর, তাই এটি StatisticsGen এবং SchemaGen-এর পরে কার্যকর করা আবশ্যক৷
- ট্রান্সফর্ম ডেটা ইনজেশনের দ্বারা উত্পাদিত উদাহরণ এবং SchemaGen দ্বারা তৈরি স্কিমার উপর নির্ভর করে, তাই এটি ডেটা ইনজেশন এবং SchemaGen এর পরে কার্যকর করা আবশ্যক।
- প্রশিক্ষক ডেটা ইনজেশন দ্বারা উত্পাদিত উদাহরণ , SchemaGen দ্বারা তৈরি স্কিমা এবং Transform দ্বারা উত্পাদিত সংরক্ষিত মডেলের উপর নির্ভর করে৷ ডাটা ইনজেশন, স্কিমাজেন এবং ট্রান্সফর্মের পরেই ট্রেনারকে কার্যকর করা যেতে পারে।
- মূল্যায়নকারী ডেটা ইনজেশন দ্বারা উত্পাদিত উদাহরণ এবং প্রশিক্ষক দ্বারা উত্পাদিত সংরক্ষিত মডেলের উপর নির্ভর করে, তাই এটি অবশ্যই ডেটা ইনজেশন এবং প্রশিক্ষকের পরে কার্যকর করা উচিত।
- কাস্টম ডিপ্লোয়ার প্রশিক্ষক দ্বারা উত্পাদিত সংরক্ষিত মডেল এবং মূল্যায়নকারীর দ্বারা তৈরি করা বিশ্লেষণের ফলাফলের উপর নির্ভর করে, তাই প্রশিক্ষক এবং মূল্যায়নকারীর পরে স্থাপনকারীকে কার্যকর করতে হবে।
এই বিশ্লেষণের উপর ভিত্তি করে, একজন অর্কেস্ট্রেটর চালায়:
- ডেটা ইনজেশন, StatisticsGen, SchemaGen কম্পোনেন্ট ইন্সট্যান্স পর্যায়ক্রমে।
- ExampleValidator এবং Transform উপাদানগুলি সমান্তরালভাবে চলতে পারে কারণ তারা ইনপুট আর্টিফ্যাক্ট নির্ভরতা ভাগ করে এবং একে অপরের আউটপুটের উপর নির্ভর করে না।
- ট্রান্সফর্ম কম্পোনেন্ট সম্পূর্ণ হওয়ার পর, প্রশিক্ষক, মূল্যায়নকারী, এবং কাস্টম ডিপ্লোয়ার কম্পোনেন্ট ইন্সট্যান্স ক্রমানুসারে চলে।
একটি TFX পাইপলাইন নির্মাণ সম্পর্কে আরও জানুন।
TFX পাইপলাইন টেমপ্লেট
TFX পাইপলাইন টেমপ্লেটগুলি একটি পূর্বনির্মাণ পাইপলাইন প্রদান করে পাইপলাইন বিকাশের সাথে শুরু করা সহজ করে তোলে যা আপনি আপনার ব্যবহারের ক্ষেত্রে কাস্টমাইজ করতে পারেন।
একটি TFX পাইপলাইন টেমপ্লেট কাস্টমাইজ করার বিষয়ে আরও জানুন।
পাইপলাইন চালানো
একটি রান একটি পাইপলাইনের একক সঞ্চালন।
অর্কেস্ট্রেটর
একটি অর্কেস্ট্রেটর হল এমন একটি সিস্টেম যেখানে আপনি পাইপলাইন চালাতে পারেন। TFX অর্কেস্ট্রেটরদের সমর্থন করে যেমন: Apache Airflow , Apache Beam , এবং Kubeflow Pipelines । টিএফএক্স একটি অর্কেস্ট্রেটরকে সমর্থন করে এমন একটি বাস্তবায়নকে উল্লেখ করতে ড্যাগরানার শব্দটিও ব্যবহার করে।