একটি প্রশ্ন আছে? টেনসরফ্লো ফোরাম ভিজিট ফোরামের সম্প্রদায়ের সাথে সংযুক্ত হন

মডেল প্রতিকার কি?

একবার আপনি একটি মেশিন লার্নিং মডেলের কর্মক্ষমতা কাটা মূল্যায়ন সম্পাদন করার পরে, আপনি লক্ষ্য করতে পারেন যে আপনার মডেলটি ডেটাগুলির কয়েকটি স্লাইসগুলি জুড়ে কম প্রদর্শন করছে। এই ধরণের অসম পারফরম্যান্স জনসংখ্যার দুর্বল সাবসেটগুলির জন্য মাঝে মাঝে অনুচিত এবং সম্ভাব্য ক্ষতিকারক ফলাফলের দিকে নিয়ে যেতে পারে। পক্ষপাতদুষ্ট উদ্বেগের সমাধানের জন্য সাধারণত তিন ধরণের প্রযুক্তিগত হস্তক্ষেপ রয়েছে:

  • , আরো তথ্য সংগ্রহ সিন্থেটিক তথ্য উৎপাদিত, ওজন সামঞ্জস্য এবং স্যাম্পলিং বিভিন্ন টুকরা হার, ইত্যাদি 1: ইনপুট ডেটা পরিবর্তন
  • মডেলটিতে হস্তক্ষেপ: মডেল উদ্দেশ্যগুলি প্রবর্তন বা পরিবর্তন করে মডেল নিজেই পরিবর্তন করা, বাধা যুক্ত করে ইত্যাদি 2
  • ফলাফলগুলি পোস্ট-প্রসেসিং: মেট্রিকের পারফরম্যান্সের উন্নতির জন্য মডেলের আউটপুটগুলি পরিবর্তন করা বা আউটপুটগুলির ব্যাখ্যা।

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

মিনডিফ কী?

মিনডিফ একটি মডেল প্রতিকার পদ্ধতি যা দুটি বিতরণকে সমান করতে চায়। অনুশীলনে, এটি বিতরণের পার্থক্যগুলিকে দণ্ডিত করে আপনার ডেটার বিভিন্ন স্লাইসে ত্রুটি হারগুলি ভারসাম্যপূর্ণ করতে ব্যবহার করা যেতে পারে।

সংবেদনশীল শ্রেণীর অন্তর্ভুক্ত ডেটা স্লাইসের সাথে আরও ভাল পারফর্মিং স্লাইসের মধ্যে মিথ্যা পজিটিভ রেট (এফপিআর) বা ভুয়া নেগেটিভ রেট (এফএনআর) এর মধ্যে পার্থক্য হ্রাস করার চেষ্টা করার সময় সাধারণত মিনিডিফ প্রয়োগ হয়। ফেয়ারনেস মেট্রিকগুলির গভীরতর আলোচনার জন্য, এই বিষয়টির সাহিত্য পর্যালোচনা করুন। 4 5 6

মিনডিফ কীভাবে কাজ করে?

আমাদের ডেটাসেট থেকে দুটি সেট উদাহরণ দেওয়া, দুটি সেট এর মধ্যে স্কোর বিতরণে পার্থক্যের জন্য প্রশিক্ষণের সময় মিনডিফ মডেলটিকে শাস্তি দেয়। দুটি সেট কম পার্থক্যযোগ্য পূর্বাভাস স্কোরের উপর ভিত্তি করে, যত বেশি পেনাল্টি প্রয়োগ করা হবে।

মডেলটি প্রশিক্ষণ দিচ্ছে এমন ক্ষতিতে একটি উপাদান যুক্ত করে জরিমানা প্রয়োগ করা হয়। এটি মডেল পূর্বাভাস বিতরণের পার্থক্যের একটি পরিমাপ হিসাবে ভাবা যেতে পারে। মডেল ট্রেন হিসাবে, এটি উপরের গ্রাফের মতো বিতরণগুলি আরও কাছাকাছি এনে পেনাল্টি হ্রাস করার চেষ্টা করবে।

মিনডিফ প্রয়োগ করা মূল কাজের সাথে পারফরম্যান্সের ক্ষেত্রে ট্রেড অফ নিয়ে আসতে পারে। অনুশীলনে, আমরা প্রায়শই পণ্যের প্রয়োজনের বাইরে কর্মক্ষমতা হ্রাস না করার সময় MinDiff কার্যকর হতে দেখেছি, তবে এটি প্রয়োগ নির্ভর করবে এবং পণ্য মালিকের ইচ্ছাকৃত সিদ্ধান্ত নেওয়া উচিত। কীভাবে মিনিডিফ বাস্তবায়ন করতে হবে তার উদাহরণগুলির জন্য, আমাদের নোটবুক টিউটোরিয়ালটি দেখুন

1 ঝাং, জি।, বাই, বি।, ঝাং, জে।, বাই, কে।, ঘু, সি।, ঝাও, টি (2020)। ডেমোগ্রাফিকগুলি বিষাক্ত হওয়ার কারণ হওয়া উচিত নয়: ইনস্ট্যান্ট ওজন সহ পাঠ্য শ্রেণিবিন্যাসে বৈষম্য প্রশমন।
2 প্রোস্ট, এফ।, কিয়ান এইচ।, চেন, কিউ।, চি, ই।, চেন, জে, বটেল, এ (2019)। কার্নেল-ভিত্তিক ডিস্ট্রিবিউশন ম্যাচিংয়ের সাথে পারফরম্যান্স এবং ন্যায্যতার মধ্যে আরও ভাল বাণিজ্য বন্ধের দিকে।
3 আলাবদুলুলমোসিন, আই। (2020)। আনস্ট্রেন্ডেড অপ্টিমাইজেশনের মাধ্যমে ফেয়ার শ্রেণিবিন্যাস।
4 ডিওয়র্ক, সি।, হার্ড, এম।, পিতাসি, টি।, রিইনগোল্ড, ও।, জেমেল, আর (2011)। সচেতনতার মাধ্যমে ন্যায্যতা।
5 হার্ড্ট, এম।, দাম, ই।, স্রেব্রো, এন (2016)। তদারকি শিক্ষায় সুযোগের সমতা।
6 চোলডেচোভা, এ (2016)। স্বতন্ত্র প্রভাব সহ ন্যায্য পূর্বাভাস: পুনরুদ্ধার পূর্বাভাসের সরঞ্জামগুলিতে পক্ষপাতের একটি গবেষণা।

রিসোর্স