মডেল গার্ডেন ওভারভিউ

টেনসরফ্লো মডেল গার্ডেন ভিশন এবং ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি) এর জন্য অনেক অত্যাধুনিক মেশিন লার্নিং (এমএল) মডেলের বাস্তবায়ন প্রদান করে, সেইসাথে ওয়ার্কফ্লো টুল আপনাকে দ্রুত কনফিগার করতে এবং স্ট্যান্ডার্ড ডেটাসেটে সেই মডেলগুলি চালাতে দেয়। আপনি একটি সুপরিচিত মডেলের জন্য বেঞ্চমার্ক পারফরম্যান্স খুঁজছেন, সম্প্রতি প্রকাশিত গবেষণার ফলাফল যাচাই করুন, বা বিদ্যমান মডেলগুলি প্রসারিত করুন, মডেল গার্ডেন আপনাকে আপনার এমএল গবেষণা এবং অ্যাপ্লিকেশনগুলিকে এগিয়ে নিয়ে যেতে সাহায্য করতে পারে৷

মডেল গার্ডেন মেশিন লার্নিং ডেভেলপারদের জন্য নিম্নলিখিত সংস্থানগুলি অন্তর্ভুক্ত করে:

এই সংস্থানগুলি টেনসরফ্লো কোর ফ্রেমওয়ার্কের সাথে ব্যবহার করার জন্য তৈরি করা হয়েছে এবং আপনার বিদ্যমান টেনসরফ্লো উন্নয়ন প্রকল্পগুলির সাথে একীভূত করা হয়েছে। মডেল গার্ডেন সংস্থানগুলিও একটি ওপেন সোর্স লাইসেন্সের অধীনে সরবরাহ করা হয়, যাতে আপনি অবাধে মডেল এবং সরঞ্জামগুলি প্রসারিত এবং বিতরণ করতে পারেন।

ব্যবহারিক এমএল মডেলগুলি প্রশিক্ষণ এবং চালানোর জন্য গণনামূলকভাবে নিবিড়, এবং গ্রাফিক্যাল প্রসেসিং ইউনিট (GPUs) এবং টেনসর প্রসেসিং ইউনিট (TPUs) এর মতো এক্সিলারেটরের প্রয়োজন হতে পারে। মডেল গার্ডেনের বেশিরভাগ মডেলকে টিপিইউ ব্যবহার করে বড় ডেটাসেটে প্রশিক্ষণ দেওয়া হয়েছিল। যাইহোক, আপনি GPU এবং CPU প্রসেসরগুলিতে এই মডেলগুলিকে প্রশিক্ষণ এবং চালাতে পারেন।

মডেল গার্ডেন মডেল

মডেল গার্ডেনের মেশিন লার্নিং মডেলগুলিতে সম্পূর্ণ কোড রয়েছে যাতে আপনি গবেষণা এবং পরীক্ষা-নিরীক্ষার জন্য পরীক্ষা, প্রশিক্ষণ বা পুনরায় প্রশিক্ষণ দিতে পারেন। মডেল গার্ডেনে মডেলের দুটি প্রাথমিক বিভাগ রয়েছে: অফিসিয়াল মডেল এবং গবেষণা মডেল ।

অফিসিয়াল মডেল

অফিসিয়াল মডেল রিপোজিটরি হল অত্যাধুনিক মডেলের একটি সংগ্রহ, যেখানে দৃষ্টি এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণের (NLP) উপর ফোকাস রয়েছে। এই মডেলগুলি বর্তমান TensorFlow 2.x উচ্চ-স্তরের API ব্যবহার করে প্রয়োগ করা হয়। এই সংগ্রহস্থলের মডেল লাইব্রেরিগুলি দ্রুত কার্যক্ষমতার জন্য অপ্টিমাইজ করা হয়েছে এবং Google ইঞ্জিনিয়ারদের দ্বারা সক্রিয়ভাবে রক্ষণাবেক্ষণ করা হয়েছে৷ অফিসিয়াল মডেলগুলিতে অতিরিক্ত মেটাডেটা রয়েছে যা আপনি মডেল গার্ডেন প্রশিক্ষণ পরীক্ষার কাঠামো ব্যবহার করে পরীক্ষাগুলি দ্রুত কনফিগার করতে ব্যবহার করতে পারেন৷

গবেষণা মডেল

রিসার্চ মডেল রিপোজিটরি হল রিসার্চ পেপারের কোড রিসোর্স হিসেবে প্রকাশিত মডেলের একটি সংগ্রহ। এই মডেলগুলি TensorFlow 1.x এবং 2.x উভয় ব্যবহার করে প্রয়োগ করা হয়। গবেষণা ফোল্ডারে মডেল লাইব্রেরিগুলি কোড মালিক এবং গবেষণা সম্প্রদায় দ্বারা সমর্থিত।

প্রশিক্ষণ পরীক্ষার কাঠামো

মডেল গার্ডেন ট্রেনিং এক্সপেরিমেন্ট ফ্রেমওয়ার্ক আপনাকে এর অফিসিয়াল মডেল এবং স্ট্যান্ডার্ড ডেটাসেট ব্যবহার করে ট্রেনিং এক্সপেরিমেন্ট দ্রুত একত্রিত করতে এবং চালাতে দেয়। প্রশিক্ষণ কাঠামো মডেল গার্ডেনের অফিসিয়াল মডেলগুলির সাথে অন্তর্ভুক্ত অতিরিক্ত মেটাডেটা ব্যবহার করে যাতে আপনি একটি ঘোষণামূলক প্রোগ্রামিং মডেল ব্যবহার করে দ্রুত মডেলগুলি কনফিগার করতে পারেন৷ আপনি টেনসরফ্লো মডেল লাইব্রেরিতে পাইথন কমান্ড ব্যবহার করে একটি প্রশিক্ষণ পরীক্ষা সংজ্ঞায়িত করতে পারেন বা এই উদাহরণের মতো একটি YAML কনফিগারেশন ফাইল ব্যবহার করে প্রশিক্ষণ কনফিগার করতে পারেন।

ট্রেনিং ফ্রেমওয়ার্ক কনফিগারেশন অবজেক্ট হিসাবে tfm.core.base_trainer.ExperimentConfig ব্যবহার করে, যাতে নিম্নলিখিত শীর্ষ-স্তরের কনফিগারেশন অবজেক্ট রয়েছে:

  • runtime : প্রসেসিং হার্ডওয়্যার, ডিস্ট্রিবিউশন কৌশল এবং অন্যান্য কর্মক্ষমতা অপ্টিমাইজেশান সংজ্ঞায়িত করে
  • task : মডেল, প্রশিক্ষণের ডেটা, ক্ষতি এবং প্রাথমিককরণ সংজ্ঞায়িত করে
  • trainer : অপ্টিমাইজার, প্রশিক্ষণ লুপ, মূল্যায়ন লুপ, সারাংশ এবং চেকপয়েন্টগুলিকে সংজ্ঞায়িত করে

মডেল গার্ডেন প্রশিক্ষণ পরীক্ষা কাঠামো ব্যবহার করে একটি সম্পূর্ণ উদাহরণের জন্য, মডেল গার্ডেন টিউটোরিয়াল সহ চিত্র শ্রেণীবিভাগ দেখুন। ট্রেনিং এক্সপেরিমেন্ট ফ্রেমওয়ার্ক সম্পর্কে তথ্যের জন্য, TensorFlow Models API ডকুমেন্টেশন দেখুন । আপনি যদি আপনার মডেল প্রশিক্ষণ পরীক্ষার জন্য প্রশিক্ষণ লুপ পরিচালনা করার জন্য একটি সমাধান খুঁজছেন, অরবিট দেখুন ।

বিশেষায়িত এমএল অপারেশন

মডেল গার্ডেনে অনেক ভিশন এবং এনএলপি অপারেশন রয়েছে যা বিশেষভাবে অত্যাধুনিক মডেলগুলি চালানোর জন্য ডিজাইন করা হয়েছে যা GPU এবং TPU-তে দক্ষতার সাথে চলে। বিশেষ দৃষ্টি ক্রিয়াকলাপের একটি তালিকার জন্য TensorFlow মডেলস ভিশন লাইব্রেরি API ডক্স পর্যালোচনা করুন৷ NLP ক্রিয়াকলাপের তালিকার জন্য TensorFlow Models NLP Library API ডক্স পর্যালোচনা করুন৷ এই লাইব্রেরিতে ভিশন এবং এনএলপি ডেটা প্রসেসিং, প্রশিক্ষণ এবং মডেল এক্সিকিউশনের জন্য ব্যবহৃত অতিরিক্ত ইউটিলিটি ফাংশনও অন্তর্ভুক্ত।

অরবিটের সাথে ট্রেনিং লুপ

অরবিট টুল হল একটি নমনীয়, লাইটওয়েট লাইব্রেরি যা TensorFlow 2.x-এ কাস্টম ট্রেনিং লুপ লেখা সহজ করার জন্য ডিজাইন করা হয়েছে এবং মডেল গার্ডেন ট্রেনিং এক্সপেরিমেন্ট ফ্রেমওয়ার্কের সাথে ভাল কাজ করে। অরবিট সাধারণ মডেল প্রশিক্ষণের কাজগুলি পরিচালনা করে যেমন চেকপয়েন্ট সংরক্ষণ করা, মডেল মূল্যায়ন চালানো এবং সারাংশ লেখা সেট আপ করা। এটি tf.distribute এর সাথে সংহত করে এবং CPU, GPU, এবং TPU হার্ডওয়্যার সহ বিভিন্ন ধরনের ডিভাইসে চলমান সমর্থন করে। অরবিট টুলটিও ওপেন সোর্স , তাই আপনি আপনার মডেল প্রশিক্ষণের প্রয়োজনীয়তা প্রসারিত এবং মানিয়ে নিতে পারেন।

আপনি সাধারণত একটি কাস্টম প্রশিক্ষণ লুপ লিখে বা উচ্চ-স্তরের Keras Model.fit ফাংশন ব্যবহার করে TensorFlow মডেলগুলিকে প্রশিক্ষণ দেন। সাধারণ মডেলের জন্য, আপনি নিম্ন-স্তরের TensorFlow পদ্ধতি যেমন tf.GradientTape বা tf.function সহ একটি কাস্টম প্রশিক্ষণ লুপ সংজ্ঞায়িত এবং পরিচালনা করতে পারেন। বিকল্পভাবে, আপনি উচ্চ-স্তরের Model.fit ব্যবহার করতে পারেন।

যাইহোক, যদি আপনার মডেল জটিল হয় এবং আপনার প্রশিক্ষণ লুপের জন্য আরও নমনীয় নিয়ন্ত্রণ বা কাস্টমাইজেশন প্রয়োজন, তাহলে আপনার অরবিট ব্যবহার করা উচিত। আপনি orbit.AbstractTrainer বা orbit.StandardTrainer ক্লাস দ্বারা আপনার বেশিরভাগ প্রশিক্ষণ লুপ সংজ্ঞায়িত করতে পারেন। অরবিট API ডকুমেন্টেশনে অরবিট টুল সম্পর্কে আরও জানুন।