رها کردن

  • توضیحات :

با نزدیک شدن یا پیشی گرفتن عملکرد سیستم در معیارهای درک مطلب موجود، ما به یک مجموعه داده جدید و سخت نیاز داریم که قابلیت‌های سیستم‌ها را برای خواندن پاراگراف‌های متن بهبود بخشد. DROP یک معیار 96 هزار سؤالی است که توسط جمع‌سپاری ایجاد شده است، که در آن یک سیستم باید ارجاع‌ها را در یک سؤال، شاید به موقعیت‌های ورودی متعدد، حل کند و عملیات مجزا را روی آنها انجام دهد (مانند جمع، شمارش یا مرتب‌سازی). این عملیات نیاز به درک بسیار جامع تری از محتوای پاراگراف ها نسبت به آنچه برای مجموعه داده های قبلی لازم بود دارد.

شکاف مثال ها
'dev' 9,536
'train' 77,409
  • ساختار ویژگی :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
پاسخ متن رشته
گذر متن رشته
query_id متن رشته
سوال متن رشته
validated_answers دنباله (متن) (هیچ یک،) رشته
  • نقل قول :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}