ইরেজার_মাল্টি_আরসি

  • বর্ণনা :

ইরেজার মাল্টি আরসি হল মাল্টি-লাইন প্যাসেজে প্রশ্নের উত্তর এবং যুক্তি সহ একটি ডেটাসেট। এই ডেটাসেটের প্রতিটি উদাহরণে নিম্নলিখিত 5টি অংশ রয়েছে

  1. একটি মুতলি-লাইন প্যাসেজ 2. প্যাসেজ সম্পর্কে একটি প্রশ্ন 3. প্রশ্নের একটি উত্তর
  2. উত্তরটি সঠিক বা ভুল কিনা সে সম্পর্কে একটি শ্রেণীবিভাগ 5. শ্রেণীবিভাগকে ন্যায্যতা দেয় এমন একটি ব্যাখ্যা
বিভক্ত উদাহরণ
'test' ৪,৮৪৮
'train' 24,029
'validation' 3,214
  • বৈশিষ্ট্য গঠন :
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=string)),
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'passage': Text(shape=(), dtype=string),
    'query_and_answer': Text(shape=(), dtype=string),
})
  • বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য ক্লাস আকৃতি ডিটাইপ বর্ণনা
ফিচারসডিক্ট
প্রমাণ ক্রম (পাঠ্য) (কোনটিই নয়,) স্ট্রিং
লেবেল ক্লাসলেবেল int64
উত্তরণ পাঠ্য স্ট্রিং
প্রশ্ন_এবং_উত্তর পাঠ্য স্ট্রিং
  • উদ্ধৃতি :
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}