একটি অনুচ্ছেদকে পূর্বনির্ধারিত গোষ্ঠীতে শ্রেণিবদ্ধ করতে একটি টেনসরফ্লো লাইট মডেল ব্যবহার করুন।
এবার শুরু করা যাক
আপনি যদি টেনসরফ্লো লাইটে নতুন হয়ে থাকেন এবং অ্যান্ড্রয়েডের সাথে কাজ করেন, আমরা কোডের কয়েকটি লাইনের মধ্যে পাঠ্য শ্রেণিবিন্যাসের মডেলগুলিকে একীভূত করার জন্য টেনসরফ্লো লাইট টাস্ক লাইব্রেরির গাইড অন্বেষণ করার পরামর্শ দিই। এছাড়াও আপনি TensorFlow Lite ইন্টারপ্রেটার Java API ব্যবহার করে মডেলটিকে সংহত করতে পারেন।
নীচের অ্যান্ড্রয়েড উদাহরণটি যথাক্রমে lib_task_api এবং lib_interpreter হিসাবে উভয় পদ্ধতির বাস্তবায়ন প্রদর্শন করে।
আপনি যদি অ্যান্ড্রয়েড ছাড়া অন্য কোনো প্ল্যাটফর্ম ব্যবহার করেন, অথবা আপনি ইতিমধ্যেই TensorFlow Lite API-এর সাথে পরিচিত হন, তাহলে আপনি আমাদের স্টার্টার টেক্সট ক্লাসিফিকেশন মডেল ডাউনলোড করতে পারেন।
কিভাবে এটা কাজ করে
পাঠ্য শ্রেণীবিভাগ একটি অনুচ্ছেদকে এর বিষয়বস্তুর উপর ভিত্তি করে পূর্বনির্ধারিত গোষ্ঠীতে শ্রেণীবদ্ধ করে।
এই পূর্বপ্রশিক্ষিত মডেল ভবিষ্যদ্বাণী করে যে একটি অনুচ্ছেদের অনুভূতি ইতিবাচক বা নেতিবাচক কিনা। এটাকে Mass et al থেকে Large Movie Review Dataset v1.0- এ প্রশিক্ষিত করা হয়েছিল, যাতে IMDB মুভি রিভিউ ইতিবাচক বা নেতিবাচক হিসেবে লেবেল করা থাকে।
মডেলের সাথে একটি অনুচ্ছেদকে শ্রেণীবদ্ধ করার ধাপগুলি এখানে রয়েছে:
- অনুচ্ছেদটিকে টোকেনাইজ করুন এবং একটি পূর্বনির্ধারিত শব্দভান্ডার ব্যবহার করে এটিকে শব্দ আইডির তালিকায় রূপান্তর করুন।
- টেনসরফ্লো লাইট মডেলে তালিকাটি ফিড করুন।
- মডেল আউটপুট থেকে অনুচ্ছেদটি ইতিবাচক বা নেতিবাচক হওয়ার সম্ভাবনা পান।
বিঃদ্রঃ
- শুধুমাত্র ইংরেজি সমর্থিত.
- এই মডেলটিকে মুভি রিভিউ ডেটাসেটে প্রশিক্ষিত করা হয়েছিল যাতে আপনি অন্যান্য ডোমেনের পাঠ্যকে শ্রেণীবদ্ধ করার সময় কম নির্ভুলতা অনুভব করতে পারেন৷
কর্মক্ষমতা বেঞ্চমার্ক
পারফরম্যান্স বেঞ্চমার্ক নম্বর এখানে বর্ণিত টুল দিয়ে তৈরি করা হয়।
| ণশড | মডেলের আকার | যন্ত্র | সিপিইউ |
|---|---|---|---|
| পাঠ্য শ্রেণিবিন্যাস | 0.6 Mb | Pixel 3 (Android 10) | 0.05ms* |
| Pixel 4 (Android 10) | 0.05ms* | ||
| iPhone XS (iOS 12.4.1) | 0.025ms** |
* 4টি থ্রেড ব্যবহার করা হয়েছে।
** সেরা পারফরম্যান্স ফলাফলের জন্য আইফোনে 2টি থ্রেড ব্যবহার করা হয়েছে।
উদাহরণ আউটপুট
| পাঠ্য | নেতিবাচক (0) | ইতিবাচক (1) |
|---|---|---|
| সাম্প্রতিক বছরগুলোতে আমার দেখা সেরা সিনেমা এটি। দৃঢ়ভাবে এটি সুপারিশ! | 25.3% | 74.7% |
| আমার সময় কি একটি বর্জ্য। | 72.5% | 27.5% |
আপনার প্রশিক্ষণ ডেটাসেট ব্যবহার করুন
আপনার নিজস্ব ডেটাসেট ব্যবহার করে একটি পাঠ্য শ্রেণিবিন্যাস মডেল প্রশিক্ষণের জন্য এখানে ব্যবহৃত একই কৌশলটি প্রয়োগ করতে এই টিউটোরিয়ালটি অনুসরণ করুন। সঠিক ডেটাসেটের সাহায্যে, আপনি নথি শ্রেণীকরণ বা বিষাক্ত মন্তব্য সনাক্তকরণের মতো ব্যবহারের ক্ষেত্রে একটি মডেল তৈরি করতে পারেন।