কোয়ান্টাইজেশন সচেতন প্রশিক্ষণ

টেনসরফ্লো মডেল অপটিমাইজেশন দ্বারা রক্ষণাবেক্ষণ

কোয়ান্টাইজেশনের দুটি ফর্ম রয়েছে: প্রশিক্ষণোত্তর মুনাফা এবং কোয়ান্টাইজেশন সচেতন প্রশিক্ষণ। প্রশিক্ষণ পরবর্তী কোয়ান্টাইজেশন দিয়ে শুরু করুন যেহেতু এটি ব্যবহার করা সহজ, যদিও কোয়ান্টাইজেশন সচেতন প্রশিক্ষণ প্রায়শই মডেল নির্ভুলতার জন্য ভাল।

এই পৃষ্ঠাটি আপনার ব্যবহারের ক্ষেত্রে এটি কীভাবে খাপ খায় তা নির্ধারণ করতে আপনাকে সহায়তা দেওয়ার জন্য কোয়ান্টাইজেশন সচেতন প্রশিক্ষণের উপর একটি ওভারভিউ সরবরাহ করে।

ওভারভিউ

কোয়ান্টাইজেশন সচেতন প্রশিক্ষণ অনুমান-সময় পরিমানের অনুকরণ করে, এমন একটি মডেল তৈরি করে যা ডাউন স্ট্রিম সরঞ্জামগুলি আসলে কোয়ান্টাইজড মডেলগুলি উত্পাদন করতে ব্যবহার করে। কোয়ান্টাইজড মডেলগুলি নিম্ন-নির্ভুলতা ব্যবহার করে (উদাহরণস্বরূপ 32-বিট ফ্লোটের পরিবর্তে 8-বিট), যা মোতায়েনের সময় সুবিধার দিকে নিয়ে যায়।

কোয়ান্টাইজেশন সহ মোতায়েন করুন

কোয়ান্টাইজেশন মডেল সংক্ষেপণ এবং বিলম্বতা হ্রাস মাধ্যমে উন্নতি এনেছে। এপিআই ডিফল্টগুলির সাথে, মডেল আকারটি 4x দ্বারা সঙ্কুচিত হয় এবং আমরা সাধারণত পরীক্ষিত ব্যাকএন্ডে সিপিইউ ল্যাটেনসি-তে 1.5 - 4x উন্নতি দেখতে পাই। অবশেষে, এজেনটিপিইউ এবং এনএনএপিআইয়ের মতো সামঞ্জস্যপূর্ণ মেশিন লার্নিং এক্সিলারেটরগুলিতে বিলম্বিত উন্নতিগুলি দেখা যায়।

কৌশলটি বক্তৃতা, দর্শন, পাঠ্য এবং অনুবাদ ব্যবহারের ক্ষেত্রে উত্পাদনে ব্যবহৃত হয়। কোড বর্তমানে এই মডেলগুলির একটি উপসেট সমর্থন করে

কোয়ান্টাইজেশন এবং সম্পর্কিত হার্ডওয়্যার পরীক্ষা করুন

ব্যবহারকারীরা কোয়ান্টাইজেশন প্যারামিটারগুলি (যেমন বিটের সংখ্যা) এবং কিছুটা ডিগ্রী পর্যন্ত অন্তর্নিহিত অ্যালগরিদমগুলি কনফিগার করতে পারেন। নোট করুন যে এপিআই ডিফল্টগুলি থেকে এই পরিবর্তনগুলি নিয়ে বর্তমানে ব্যাকএন্ডে মোতায়েনের জন্য কোনও সমর্থিত পথ নেই। উদাহরণস্বরূপ, টিএফলাইট রূপান্তর এবং কার্নেল প্রয়োগগুলি কেবল 8-বিট পরিমাণ নির্ধারণকে সমর্থন করে।

এই কনফিগারেশনের সাথে সম্পর্কিত এপিআইগুলি পরীক্ষামূলক এবং পিছনের সামঞ্জস্যের সাপেক্ষে নয়।

এপিআই সামঞ্জস্য

ব্যবহারকারীরা নিম্নলিখিত এপিআইয়ের সাহায্যে কোয়ান্টাইজেশন প্রয়োগ করতে পারেন:

  • মডেল বিল্ডিং: tf.keras কেবল tf.keras এবং ক্রিয়ামূলক মডেল সহ।
  • টেনসরফ্লো সংস্করণ: টিএফ-রাত্রে টিএফ 2.x।
    • tf.compat.v1 একটি TF 2.x প্যাকেজের সাথে সমর্থিত নয়।
  • টেনসরফ্লো এক্সিকিউশন মোড: উত্সাহী কার্যকর করা

নিম্নলিখিত ক্ষেত্রগুলিতে সহায়তা যুক্ত করা আমাদের রোডম্যাপে রয়েছে:

  • মডেল বিল্ডিং: সাবক্ল্যাসড মডেলগুলি কোনও সমর্থনের মধ্যে কীভাবে সীমাবদ্ধ রয়েছে তা পরিষ্কার করুন
  • বিতরণ প্রশিক্ষণ: tf.distribute

সাধারণ সমর্থন ম্যাট্রিক্স

সমর্থন নিম্নলিখিত ক্ষেত্রে উপলব্ধ:

  • মডেল কভারেজ: কনভ 2 ডি এবং ডিপথওয়াইজ কনভ 2 ডি স্তর অনুসরণ করার পরে অনুমতিপ্রাপ্ত স্তরগুলি ব্যবহার করে মডেলগুলি, ব্যাচনরমালাইজেশন এবং সীমাবদ্ধ ক্ষেত্রে Concat
  • হার্ডওয়্যার ত্বরণ: আমাদের এপিআই ডিফল্ট অন্যদের মধ্যে এজপিটিইউ, এনএনএপিআই, এবং টিএফলাইট ব্যাকেন্ডে ত্বরণের সাথে সামঞ্জস্যপূর্ণ। রোডম্যাপে ক্যাভিয়েট দেখুন।
  • কোয়ান্টাইজেশন সহ মোতায়েন করুন: কেবলমাত্র প্রতি-সেন্সর কোয়ান্টাইজেশন নয়, কনভলিউশনাল স্তরগুলির জন্য প্রতি অক্ষ অক্ষের পরিমাণ বর্তমানে সমর্থিত।

নিম্নলিখিত ক্ষেত্রগুলিতে সহায়তা যুক্ত করা আমাদের রোডম্যাপে রয়েছে:

  • মডেল কভারেজ: আরএনএন / এলএসটিএম এবং সাধারণ কনক্যাট সমর্থন অন্তর্ভুক্ত করার জন্য প্রসারিত।
  • হার্ডওয়্যার ত্বরণ: টিএফলাইট রূপান্তরকারী পূর্ণ-পূর্ণসংখ্যার মডেল তৈরি করতে পারে তা নিশ্চিত করুন। বিস্তারিত জানার জন্য এই সমস্যাটি দেখুন।
  • কোয়ান্টাইজেশন ব্যবহারের ক্ষেত্রে পরীক্ষা:
    • কোয়ান্টাইজেশন অ্যালগরিদমগুলির সাথে পরীক্ষা করুন যা কেরাস স্তরগুলিকে বিস্তৃত করে তোলে বা প্রশিক্ষণের পদক্ষেপের প্রয়োজন হয়।
    • API গুলি স্থিতিশীল করুন।

ফলাফল

সরঞ্জাম সহ চিত্রের শ্রেণিবিন্যাস

মডেল অ-কোয়ান্টাইজড শীর্ষ -১ নির্ভুলতা 8-বিট পরিমাণযুক্ত নির্ভুলতা
মোবাইলনেটভি 1 224 71.03% .0১.০6%
রেসনেট ভি 1 50 76.3% 76.1%
মোবাইলনেটভি 2 224 70.77% 70.01%

মডেলগুলি ইমাজেনেটে পরীক্ষা করা হয়েছিল এবং টেনসরফ্লো এবং টিএফলাইট উভয় ক্ষেত্রেই মূল্যায়ন করা হয়েছিল।

কৌশল জন্য চিত্র শ্রেণিবিন্যাস

মডেল অ-কোয়ান্টাইজড শীর্ষ -১ নির্ভুলতা 8-বিট পরিমাণযুক্ত নির্ভুলতা Acc
ন্যাসনেট-মোবাইল 74% 73%
রজনেট-ভি 2 50 75.6% 75%

মডেলগুলি ইমাজেনেটে পরীক্ষা করা হয়েছিল এবং টেনসরফ্লো এবং টিএফলাইট উভয় ক্ষেত্রেই মূল্যায়ন করা হয়েছিল।

উদাহরণ

কোয়ান্টাইজেশন সচেতন প্রশিক্ষণের উদাহরণ ছাড়াও নিম্নলিখিত উদাহরণগুলি দেখুন:

  • সিএনএন মডেলটি ম্যানিস্টের হাতে লেখা অঙ্কের শ্রেণিবিন্যাস টাস্কের সাথে কোয়ান্টাইজেশন: কোড

অনুরূপ কিছু বিষয়ে পটভূমির জন্য, দক্ষ পূর্ণসংখ্যা-পাটিগণিত-কেবলমাত্র ইনফারেন্স পেপারের জন্য নিউরাল নেটওয়ার্কগুলির পরিমাণ এবং প্রশিক্ষণ দেখুন । এই কাগজটি এই সরঞ্জামটি ব্যবহার করে এমন কয়েকটি ধারণার প্রবর্তন করে। বাস্তবায়ন হুবহু এক নয়, এবং এই সরঞ্জামটিতে অতিরিক্ত ধারণাগুলি ব্যবহৃত হয় (যেমন প্রতি অক্ষ অক্ষের পরিমাণ)।