মডেল প্রতিকারের জন্য কাউন্টারফ্যাকচুয়াল লগিট পেয়ারিং

কাউন্টারফ্যাকচুয়াল লজিট পেয়ারিং (সিএলপি) হল টেনসরফ্লো মডেল রিমিডিয়েশন লাইব্রেরির মধ্যে একটি কৌশল যা একটি মডেলের ভবিষ্যদ্বাণী পরিবর্তন না করার চেষ্টা করে যখন উদাহরণে উল্লেখ করা একটি সংবেদনশীল বৈশিষ্ট্য অপসারণ বা প্রতিস্থাপন করা হয়। উদাহরণস্বরূপ, একটি বিষাক্ত শ্রেণীবিভাগে, "আমি একজন মানুষ" এবং "আমি একজন লেসবিয়ান" এর মতো উদাহরণে বিষাক্ততার আলাদা ভবিষ্যদ্বাণী করা উচিত নয়।

এই বিষয়ে গভীরভাবে আলোচনার জন্য, কাউন্টারফ্যাকচুয়াল ন্যায্যতা , প্রতিপক্ষ লজিট পেয়ারিং এবং কাউন্টারফ্যাকচুয়াল লগিট পেয়ারিং সম্পর্কিত গবেষণাটি দেখুন।

আপনার কখন কাউন্টারফ্যাকচুয়াল লগিট পেয়ারিং ব্যবহার করা উচিত?

সিএলপি সেই দৃশ্যকল্পকে সম্বোধন করে যেখানে একটি বৈশিষ্ট্যে উল্লেখ করা একটি সংবেদনশীল বৈশিষ্ট্যের পরিবর্তন ভবিষ্যদ্বাণীকে পরিবর্তন করে (যখন ভবিষ্যদ্বাণীটি পরিবর্তন করা উচিত নয়)। এটি করার মাধ্যমে, এটি প্রশ্নের উত্তর দেওয়ার চেষ্টা করে: এই মডেলটি কি শুধুমাত্র একটি পরিচয় বৈশিষ্ট্যের উপস্থিতির উপর ভিত্তি করে তার ভবিষ্যদ্বাণী পরিবর্তন করার জন্য সংবেদনশীল? কাউন্টারফ্যাকচুয়াল ন্যায্যতা সম্পর্কে বিস্তারিত জানার জন্য গবেষণাপত্রটি দেখুন।

এই সমস্যাটি Perspective API- এ দেখা গেছে, একটি ML টুল যা ডেভেলপার এবং প্রকাশকদের দ্বারা সম্ভাব্য আপত্তিকর বা বিষাক্ত পাঠ্যের জন্য মন্তব্যের বিষয়বস্তু বিশ্লেষণ করতে ব্যবহৃত হয়। দৃষ্টিকোণ API মন্তব্যের পাঠ্যকে ইনপুট হিসাবে নেয় এবং মন্তব্যটি বিষাক্ত হওয়ার সম্ভাবনার ইঙ্গিত হিসাবে 0 থেকে 1 পর্যন্ত একটি স্কোর প্রদান করে। উদাহরণস্বরূপ, "আপনি একজন বোকা" এর মত একটি মন্তব্য বিষাক্ততার জন্য 0.8 এর সম্ভাব্যতা স্কোর পেতে পারে, এটি নির্দেশ করে যে পাঠক সেই মন্তব্যটিকে বিষাক্ত হিসাবে উপলব্ধি করার কতটা সম্ভাবনা রয়েছে৷

Perspective API-এর প্রাথমিক প্রবর্তনের পরে, বহিরাগত ব্যবহারকারীরা জাতি বা যৌন অভিযোজন সম্পর্কিত তথ্য এবং পূর্বাভাসিত বিষাক্ততার স্কোর সম্বলিত পরিচয় পদগুলির মধ্যে একটি ইতিবাচক সম্পর্ক আবিষ্কার করেছেন। উদাহরণস্বরূপ, "আমি একজন লেসবিয়ান" বাক্যাংশটি 0.51 স্কোর পেয়েছে, যেখানে "আমি একজন মানুষ" 0.2 স্কোর পেয়েছে। এই ক্ষেত্রে, পরিচয় পদগুলি নিন্দনীয়ভাবে ব্যবহার করা হচ্ছে না, তাই স্কোরের মধ্যে এত গুরুত্বপূর্ণ পার্থক্য থাকা উচিত নয়। দৃষ্টিকোণ API সম্পর্কে আরও তথ্যের জন্য, অনিচ্ছাকৃত পক্ষপাতিত্ব এবং পরিচয় শর্তাবলীর ব্লগ পোস্টটি দেখুন।

আমি কিভাবে কাউন্টারফ্যাকচুয়াল লগিট পেয়ারিংয়ের প্রভাব পরিমাপ করতে পারি?

আপনি যদি আপনার মেশিন লার্নিং মডেলের মূল্যায়ন করে থাকেন এবং নির্ধারণ করেন যে নির্দিষ্ট সংবেদনশীল বৈশিষ্ট্যের পরিবর্তনের কারণে ভবিষ্যদ্বাণীতে পরিবর্তন ক্ষতিকারক হবে, তাহলে আপনার এই সমস্যাটির ব্যাপকতা পরিমাপ করা উচিত। একটি বাইনারি বা মাল্টি-ক্লাস ক্লাসিফায়ারের ক্ষেত্রে, উদাহরণে উল্লেখ করা সংবেদনশীল বৈশিষ্ট্য পরিবর্তিত হলে একটি ফ্লিপকে একটি ভিন্ন সিদ্ধান্ত (যেমন বিষাক্ত থেকে বিষাক্ত না হওয়ার ভবিষ্যদ্বাণী পরিবর্তন করার মতো) প্রদানকারী একটি শ্রেণিবিন্যাসকারী হিসাবে সংজ্ঞায়িত করা হয়। ফ্লিপ এর ব্যাপকতা মূল্যায়ন করার সময়, আপনি ফ্লিপ কাউন্ট এবং ফ্লিপ রেট দেখতে পারেন। ফ্লিপের কারণে ব্যবহারকারীর সম্ভাব্য ক্ষতি এবং ফ্লিপ হওয়ার ফ্রিকোয়েন্সি বিবেচনা করে, আপনি নির্ধারণ করতে পারেন যে এটি এমন একটি সমস্যা যা CLP প্রয়োগ করে সমাধান করা উচিত। এই মেট্রিক্স সম্পর্কে আরও তথ্যের জন্য, ন্যায্যতা নির্দেশক নির্দেশিকা পড়ুন।

কোন ধরনের মডেলে আমি কাউন্টারফ্যাকচুয়াল লগিট পেয়ারিং প্রয়োগ করতে পারি?

এই কৌশলটি বিভিন্ন ধরণের ডেটা যেমন পাঠ্য, চিত্র এবং ভিডিওর বাইনারি এবং বহু-শ্রেণীর শ্রেণীবিভাগের সাথে ব্যবহার করা যেতে পারে।

কখন কাউন্টারফ্যাকচুয়াল লগিট পেয়ারিং আমার জন্য সঠিক নয়?

CLP সব পরিস্থিতিতে সঠিক পদ্ধতি নয়। উদাহরণস্বরূপ, এটি প্রাসঙ্গিক নয় যদি একটি পরিচয় শব্দের উপস্থিতি বা অনুপস্থিতি বৈধভাবে শ্রেণীবিভাগের পূর্বাভাসকে পরিবর্তন করে। এটি এমন হতে পারে যদি শ্রেণীবদ্ধকারীর লক্ষ্য থাকে যে বৈশিষ্ট্যটি একটি নির্দিষ্ট পরিচয় গোষ্ঠীর উল্লেখ করছে কিনা। এই পদ্ধতিটিও কম প্রভাবশালী হয় যদি শ্রেণীবিভাগের ফলাফল এবং পরিচয় গোষ্ঠীর মধ্যে অনিচ্ছাকৃত পারস্পরিক সম্পর্ক ব্যবহারকারীর উপর কোন নেতিবাচক প্রতিক্রিয়া না থাকে।

একটি ভাষা মডেল বা বিষাক্ততার শ্রেণিবিন্যাসকারী তার আউটপুটকে অন্যায় উপায়ে (উদাহরণস্বরূপ পাঠ্যের একটি অংশকে বিষাক্ত হিসাবে শ্রেণীবদ্ধ করা) পরিবর্তন করছে কিনা তা পরীক্ষা করার জন্য সিএলপি উপযোগী কারণ কেবলমাত্র "ব্ল্যাক", "গে", "মুসলিম" এর মতো শব্দগুলি উপস্থিত রয়েছে। পাঠ্য সিএলপি ব্যক্তি সম্পর্কে ভবিষ্যদ্বাণী করার উদ্দেশ্যে নয়, উদাহরণস্বরূপ একজন ব্যক্তির পরিচয় হেরফের করে। আরো বিস্তারিত আলোচনার জন্য এই কাগজ দেখুন.

এটা মনে রাখা গুরুত্বপূর্ণ যে CLP হল দায়িত্বশীল AI টুলকিটের একটি কৌশল যা বিশেষভাবে এমন পরিস্থিতি মোকাবেলার জন্য ডিজাইন করা হয়েছে যেখানে বৈশিষ্ট্যগুলিতে উল্লেখ করা সংবেদনশীল বৈশিষ্ট্যগুলি ভবিষ্যদ্বাণী পরিবর্তন করে। আপনার মডেল এবং ব্যবহারের ক্ষেত্রে নির্ভর করে, ঐতিহাসিকভাবে প্রান্তিক গোষ্ঠীর জন্য পারফরম্যান্সের ফাঁক আছে কিনা তা বিবেচনা করাও গুরুত্বপূর্ণ হতে পারে, বিশেষ করে যেহেতু CLP গোষ্ঠীর কর্মক্ষমতা প্রভাবিত করতে পারে। এটি ফেয়ারনেস ইন্ডিকেটর দিয়ে মূল্যায়ন করা যেতে পারে এবং MinDiff দ্বারা সম্বোধন করা যেতে পারে যা টেনসরফ্লো মডেল রিমিডিয়েশন লাইব্রেরিতে রয়েছে।

আপনার পণ্যটি মেশিন লার্নিংয়ের জন্য উপযুক্ত ব্যবহার কিনা তাও বিবেচনা করা উচিত। যদি তা হয়, আপনার মেশিন লার্নিং ওয়ার্কফ্লোকে পরিচিত প্রস্তাবিত অনুশীলনের জন্য ডিজাইন করা উচিত যেমন একটি সুনির্দিষ্ট মডেল টাস্ক এবং পরিষ্কার পণ্যের প্রয়োজন।

কাউন্টারফ্যাকচুয়াল লগিট পেয়ারিং কীভাবে কাজ করে?

CLP মূল মডেলে একটি ক্ষতি যোগ করে যা একটি ডেটাসেট থেকে একটি আসল এবং কাউন্টারফ্যাকচুয়াল উদাহরণ যুক্ত করে লগিট দ্বারা সরবরাহ করা হয়। দুটি মানের মধ্যে পার্থক্য গণনা করে, আপনি সংবেদনশীল পদগুলির পার্থক্যগুলিকে শাস্তি দেবেন যা আপনার শ্রেণীবিভাগের ভবিষ্যদ্বাণী পরিবর্তনের কারণ হচ্ছে৷ এই কাজটি প্রতিপক্ষের লগিট পেয়ারিং এবং কাউন্টারফ্যাকচুয়াল লগিট পেয়ারিংয়ের উপর গবেষণার উপর ভিত্তি করে করা হয়েছিল।