- توضیحات :
با نزدیک شدن یا پیشی گرفتن عملکرد سیستم در معیارهای درک مطلب موجود، ما به یک مجموعه داده جدید و سخت نیاز داریم که قابلیتهای سیستمها را برای خواندن پاراگرافهای متن بهبود بخشد. DROP یک معیار 96 هزار سؤالی است که توسط جمعسپاری ایجاد شده است، که در آن یک سیستم باید ارجاعها را در یک سؤال، شاید به موقعیتهای ورودی متعدد، حل کند و عملیات مجزا را روی آنها انجام دهد (مانند جمع، شمارش یا مرتبسازی). این عملیات نیاز به درک بسیار جامع تری از محتوای پاراگراف ها نسبت به آنچه برای مجموعه داده های قبلی لازم بود دارد.
اسناد اضافی : کاوش در کاغذها با کد
صفحه اصلی : https://allennlp.org/drop
کد منبع :
tfds.text.drop.Drop
نسخه ها :
-
1.0.0
: انتشار اولیه. -
2.0.0
(پیشفرض): همه گزینهها را برای پاسخها اضافه کنید.
-
حجم دانلود :
7.92 MiB
حجم مجموعه داده :
116.24 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'dev' | 9,536 |
'train' | 77,409 |
- ساختار ویژگی :
FeaturesDict({
'answer': Text(shape=(), dtype=string),
'passage': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
FeaturesDict | ||||
پاسخ | متن | رشته | ||
گذر | متن | رشته | ||
query_id | متن | رشته | ||
سوال | متن | رشته | ||
validated_answers | دنباله (متن) | (هیچ یک،) | رشته |
کلیدهای نظارت شده (به
as_supervised
doc مراجعه کنید):None
شکل ( tfds.show_examples ): پشتیبانی نمی شود.
مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{Dua2019DROP,
author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
title={ {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
booktitle={Proc. of NAACL},
year={2019}
}