- توضیحات :
وظیفه مشترک MRQA 2019 بر تعمیم در پاسخگویی به سؤال متمرکز است. یک سیستم پاسخدهی مؤثر به سؤال باید بیش از صرفاً درونیابی از مجموعه آموزشی برای پاسخ دادن به نمونههای آزمایشی برگرفته از توزیع یکسان انجام دهد: همچنین باید بتواند نمونههای خارج از توزیع را تعمیم دهد - چالشی بسیار سختتر.
MRQA چندین مجموعه داده پاسخگوی سؤالات متمایز را (زیرمجموعه هایی که با دقت انتخاب شده اند از مجموعه داده های موجود) در قالب یکسانی (فرمت SQuAD) تطبیق داده و یکپارچه می کند. در میان آنها، شش مجموعه داده برای آموزش و شش مجموعه داده برای آزمایش در دسترس قرار گرفت. بخشهای کوچکی از مجموعه دادههای آموزشی بهعنوان دادههای درون دامنهای نگهداری میشوند که ممکن است برای توسعه استفاده شوند. مجموعه داده های آزمایشی فقط حاوی داده های خارج از دامنه هستند. این بنچمارک به عنوان بخشی از MRQA 2019 Shared Task منتشر شده است.
اطلاعات بیشتر را میتوانید در: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a>
پیدا کنید.
اسناد اضافی : کاوش در کاغذها با کد
صفحه اصلی : https://mrqa.github.io/2019/shared.html
کد منبع :
tfds.text.mrqa.MRQA
نسخه ها :
-
1.0.0
(پیش فرض): انتشار اولیه.
-
ساختار ویژگی :
FeaturesDict({
'answers': Sequence(string),
'context': string,
'context_tokens': Sequence({
'offsets': int32,
'tokens': string,
}),
'detected_answers': Sequence({
'char_spans': Sequence({
'end': int32,
'start': int32,
}),
'text': string,
'token_spans': Sequence({
'end': int32,
'start': int32,
}),
}),
'qid': string,
'question': string,
'question_tokens': Sequence({
'offsets': int32,
'tokens': string,
}),
'subset': string,
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
FeaturesDict | ||||
پاسخ می دهد | دنباله (تنسور) | (هیچ یک،) | رشته | |
متن نوشته | تانسور | رشته | ||
context_tokens | توالی | |||
context_tokens/offsets | تانسور | int32 | ||
context_tokens/tokens | تانسور | رشته | ||
detected_answers | توالی | |||
detected_answers/char_spans | توالی | |||
detected_answers/char_spans/end | تانسور | int32 | ||
detected_answers/char_spans/start | تانسور | int32 | ||
detected_answers/text | تانسور | رشته | ||
detected_answers/token_spans | توالی | |||
detected_answers/token_spans/end | تانسور | int32 | ||
detected_answers/token_spans/start | تانسور | int32 | ||
qid | تانسور | رشته | ||
سوال | تانسور | رشته | ||
علامت_سوال | توالی | |||
question_tokens/offsets | تانسور | int32 | ||
question_tokens/tokens | تانسور | رشته | ||
زیرمجموعه | تانسور | رشته |
کلیدهای نظارت شده (به
as_supervised
doc مراجعه کنید):None
شکل ( tfds.show_examples ): پشتیبانی نمی شود.
mrqa/squad (پیکربندی پیش فرض)
توضیحات پیکربندی : مجموعه داده SQuAD (مجموعه داده پاسخ به سؤالات استنفورد) به عنوان پایه ای برای قالب کار مشترک استفاده می شود. به جمعکاران پاراگرافهایی از ویکیپدیا نشان داده میشود و از آنها خواسته میشود که سؤالاتی را با پاسخهای استخراجکننده بنویسند.
حجم دانلود :
29.66 MiB
حجم مجموعه داده :
271.43 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 86588 |
'validation' | 10,507 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{rajpurkar-etal-2016-squad,
title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
author = "Rajpurkar, Pranav and
Zhang, Jian and
Lopyrev, Konstantin and
Liang, Percy",
booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2016",
address = "Austin, Texas",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D16-1264",
doi = "10.18653/v1/D16-1264",
pages = "2383--2392",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/news_qa
توضیحات پیکربندی : دو مجموعه از کارگران جمعی بر اساس مقالات خبری CNN سؤال میپرسند و پاسخ میدهند. "پرسش کنندگان" فقط عنوان و خلاصه مقاله را می بینند در حالی که "جواب دهندگان" مقاله کامل را می بینند. سؤالاتی که پاسخی ندارند یا در مجموعه داده پرچمگذاری شدهاند تا بدون توافق حاشیهنویس باشند، کنار گذاشته میشوند.
حجم دانلود :
56.83 MiB
حجم مجموعه داده :
654.25 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 74,160 |
'validation' | 4,212 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{trischler-etal-2017-newsqa,
title = "{N}ews{QA}: A Machine Comprehension Dataset",
author = "Trischler, Adam and
Wang, Tong and
Yuan, Xingdi and
Harris, Justin and
Sordoni, Alessandro and
Bachman, Philip and
Suleman, Kaheer",
booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
month = aug,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/W17-2623",
doi = "10.18653/v1/W17-2623",
pages = "191--200",
}
#
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/trivia_qa
توضیحات پیکربندی : جفتهای پرسش و پاسخ از وبسایتهای چیزهای بیاهمیت و مسابقات لیگ تهیه شدهاند. نسخه وب TriviaQA، که در آن زمینه ها از نتایج جستجوی Bing بازیابی می شوند، استفاده می شود.
حجم دانلود :
383.14 MiB
حجم مجموعه داده :
772.75 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 61688 |
'validation' | 7785 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{joshi-etal-2017-triviaqa,
title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
author = "Joshi, Mandar and
Choi, Eunsol and
Weld, Daniel and
Zettlemoyer, Luke",
booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/P17-1147",
doi = "10.18653/v1/P17-1147",
pages = "1601--1611",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/جستجو_قا
توضیحات پیکربندی : جفت پرسش و پاسخ از Jeopardy تهیه شده است! نمایش تلویزیونی. زمینه ها از قطعه های بازیابی شده از یک عبارت جستجوی گوگل تشکیل شده اند.
حجم دانلود :
699.86 MiB
حجم مجموعه داده :
1.38 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 117,384 |
'validation' | 16980 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@article{dunn2017searchqa,
title={Searchqa: A new q\&a dataset augmented with context from a search engine},
author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
journal={arXiv preprint arXiv:1704.05179},
year={2017}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/hotpot_qa
توضیحات پیکربندی : به Crowdworkers دو پاراگراف مرتبط با موجودیت از ویکیپدیا نشان داده میشود و از آنها خواسته میشود تا سؤالاتی را بنویسند و به آنها پاسخ دهند که برای حل آنها نیاز به استدلال چند هاپ است. در تنظیمات اصلی، این پاراگراف ها با پاراگراف های حواس پرتی اضافی مخلوط می شوند تا استنتاج سخت تر شود. در اینجا، پاراگراف های حواس پرتی گنجانده نشده است.
حجم دانلود :
111.98 MiB
حجم مجموعه داده :
272.87 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 72928 |
'validation' | 5901 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{yang-etal-2018-hotpotqa,
title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
author = "Yang, Zhilin and
Qi, Peng and
Zhang, Saizheng and
Bengio, Yoshua and
Cohen, William and
Salakhutdinov, Ruslan and
Manning, Christopher D.",
booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
month = oct # "-" # nov,
year = "2018",
address = "Brussels, Belgium",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D18-1259",
doi = "10.18653/v1/D18-1259",
pages = "2369--2380",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/سوالات_طبیعی
توضیحات پیکربندی : سوالات از پرس و جوهای جستجوی اطلاعات به موتور جستجوی Google توسط کاربران واقعی در شرایط طبیعی جمع آوری می شوند. پاسخ به سوالات در یک صفحه ویکی پدیا بازیابی شده توسط crowdworkers حاشیه نویسی می شود. دو نوع حاشیه نویسی جمع آوری شده است: 1) کادر محدود کننده HTML حاوی اطلاعات کافی برای استنباط کامل پاسخ به سؤال (پاسخ طولانی)، و 2) زیر دامنه یا زیر دامنه ها در کادر محدود کننده که پاسخ واقعی را تشکیل می دهند (پاسخ کوتاه). ). فقط از مثال هایی استفاده می شود که پاسخ های کوتاه دارند و از پاسخ طولانی به عنوان زمینه استفاده می شود.
حجم دانلود :
121.15 MiB
حجم مجموعه داده :
339.03 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 104,071 |
'validation' | 12836 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@article{kwiatkowski-etal-2019-natural,
title = "Natural Questions: A Benchmark for Question Answering Research",
author = "Kwiatkowski, Tom and
Palomaki, Jennimaria and
Redfield, Olivia and
Collins, Michael and
Parikh, Ankur and
Alberti, Chris and
Epstein, Danielle and
Polosukhin, Illia and
Devlin, Jacob and
Lee, Kenton and
Toutanova, Kristina and
Jones, Llion and
Kelcey, Matthew and
Chang, Ming-Wei and
Dai, Andrew M. and
Uszkoreit, Jakob and
Le, Quoc and
Petrov, Slav",
journal = "Transactions of the Association for Computational Linguistics",
volume = "7",
year = "2019",
address = "Cambridge, MA",
publisher = "MIT Press",
url = "https://aclanthology.org/Q19-1026",
doi = "10.1162/tacl_a_00276",
pages = "452--466",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/bio_asq
توضیح پیکربندی : BioASQ، چالشی در زمینه نمایهسازی معنایی زیستپزشکی در مقیاس بزرگ و پاسخگویی به سؤال، شامل جفتهای پرسش و پاسخ است که توسط متخصصان دامنه ایجاد شدهاند. سپس آنها به صورت دستی به چندین مقاله علمی مرتبط (PubMed) مرتبط می شوند. چکیده کامل هر یک از مقالههای پیوندی دانلود شده و بهعنوان زمینههای جداگانه استفاده میشود (به عنوان مثال، یک سؤال میتواند به چندین مقاله مستقل پیوند داده شود تا چندین جفت زمینه QA ایجاد شود). چکیده هایی که دقیقا حاوی پاسخ نیستند کنار گذاشته می شوند.
حجم دانلود :
2.54 MiB
حجم مجموعه داده :
6.70 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 1,504 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@article{tsatsaronis2015overview,
title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
journal={BMC bioinformatics},
volume={16},
number={1},
pages={1--28},
year={2015},
publisher={Springer}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa / قطره
توضیحات پیکربندی : نمونههای DROP (استدلال گسسته در مورد محتوای پاراگرافها) مشابه SQuAD جمعآوری شد، جایی که از کارگران جمعآوری خواسته میشود جفتهای پرسش و پاسخ را از پاراگرافهای ویکیپدیا ایجاد کنند. سوالات بر استدلال کمی متمرکز هستند و مجموعه داده اصلی شامل پاسخ های عددی غیر استخراجی و همچنین پاسخ های متنی استخراجی است. از مجموعه سوالاتی که استخراجی هستند استفاده می شود.
حجم دانلود :
578.25 KiB
حجم مجموعه داده :
5.41 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 1,503 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{dua-etal-2019-drop,
title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
author = "Dua, Dheeru and
Wang, Yizhong and
Dasigi, Pradeep and
Stanovsky, Gabriel and
Singh, Sameer and
Gardner, Matt",
booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
month = jun,
year = "2019",
address = "Minneapolis, Minnesota",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/N19-1246",
doi = "10.18653/v1/N19-1246",
pages = "2368--2378",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/duo_rc
شرح پیکربندی : تقسیم ParaphraseRC مجموعه داده DuoRC استفاده شده است. در این تنظیمات، دو خلاصه داستان متفاوت از یک فیلم جمعآوری میشود - یکی از ویکیپدیا و دیگری از IMDb. دو گروه مختلف از کارگران جمعی سوالاتی درباره طرح فیلم می پرسند و پاسخ می دهند، جایی که "پرسش کنندگان" فقط صفحه ویکی پدیا نشان داده می شوند و "جواب دهندگان" فقط صفحه IMDb نشان داده می شوند. سوالاتی که به عنوان غیر قابل پاسخ علامت گذاری شده اند کنار گذاشته می شوند.
حجم دانلود :
1.14 MiB
حجم مجموعه داده :
15.04 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 1501 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{saha-etal-2018-duorc,
title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
author = "Saha, Amrita and
Aralikatte, Rahul and
Khapra, Mitesh M. and
Sankaranarayanan, Karthik",
booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2018",
address = "Melbourne, Australia",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/P18-1156",
doi = "10.18653/v1/P18-1156",
pages = "1683--1693",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa / نژاد
توضیحات پیکربندی : مجموعه دادههای درک خواندن از امتحانات (RACE) از امتحانات درک مطلب انگلیسی برای دانشآموزان چینی راهنمایی و دبیرستان جمعآوری شده است. از تقسیم دبیرستان (که چالش برانگیزتر است) استفاده می شود و همچنین سؤالات ضمنی «جای خالی را پر کنید» (که برای این کار غیر طبیعی است) فیلتر می شوند.
حجم دانلود :
1.49 MiB
حجم مجموعه داده :
3.53 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 674 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{lai-etal-2017-race,
title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
author = "Lai, Guokun and
Xie, Qizhe and
Liu, Hanxiao and
Yang, Yiming and
Hovy, Eduard",
booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
month = sep,
year = "2017",
address = "Copenhagen, Denmark",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D17-1082",
doi = "10.18653/v1/D17-1082",
pages = "785--794",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/رابطه_استخراج
توضیحات پیکربندی : با توجه به یک مجموعه داده پرکننده اسلات، روابط بین موجودیتها به طور سیستماتیک با استفاده از الگوها به جفتهای پرسشپاسخ تبدیل میشوند. برای مثال، رابطه educated_at(x, y) بین دو موجود x و y که در یک جمله ظاهر میشوند را میتوان به صورت «x در کجا آموزش دید؟» بیان کرد. با پاسخ y. الگوهای متعدد برای هر نوع رابطه جمع آوری شده است. تقسیم معیار صفر شات مجموعه داده (تعمیم به روابط نامرئی) استفاده می شود و فقط نمونه های مثبت نگهداری می شوند.
حجم دانلود :
830.88 KiB
حجم مجموعه داده :
3.71 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 2,948 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{levy-etal-2017-zero,
title = "Zero-Shot Relation Extraction via Reading Comprehension",
author = "Levy, Omer and
Seo, Minjoon and
Choi, Eunsol and
Zettlemoyer, Luke",
booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
month = aug,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/K17-1034",
doi = "10.18653/v1/K17-1034",
pages = "333--342",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/کتاب درسی_قا
توضیحات پیکربندی : کتاب درسی QA از درسهای کتابهای علوم زیستی، علوم زمین، و علوم فیزیکی دبیرستان جمعآوری شده است. سؤالاتی که با نمودار همراه هستند یا سؤالات "درست یا نادرست" هستند شامل نمی شوند.
حجم دانلود :
1.79 MiB
حجم مجموعه داده :
14.04 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 1,503 |
- مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{kembhavi2017you,
title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
pages={4999--5007},
year={2017}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."