مرقا

  • الوصف :

تركز المهمة المشتركة MRQA 2019 على التعميم في الإجابة على الأسئلة. يجب أن يقوم نظام الإجابة على الأسئلة الفعال بأكثر من مجرد إقحام من مجموعة التدريب للإجابة على أمثلة الاختبار المستمدة من نفس التوزيع: يجب أن يكون قادرًا أيضًا على استقراء الأمثلة خارج التوزيع - وهو تحدٍ أصعب بكثير.

تتكيف MRQA وتوحد مجموعات بيانات متعددة للإجابة على الأسئلة (مجموعات فرعية مختارة بعناية من مجموعات البيانات الحالية) في نفس التنسيق (تنسيق SQuAD). من بينها ، تم توفير ست مجموعات بيانات للتدريب ، وست مجموعات بيانات متاحة للاختبار. تم الاحتفاظ بأجزاء صغيرة من مجموعات بيانات التدريب كبيانات في المجال يمكن استخدامها للتطوير. تحتوي مجموعات بيانات الاختبار على بيانات خارج المجال فقط. تم إصدار هذا المعيار كجزء من مهمة MRQA 2019 المشتركة.

يمكن العثور على مزيد من المعلومات على: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a> .

FeaturesDict({
    'answers': Sequence(string),
    'context': string,
    'context_tokens': Sequence({
        'offsets': int32,
        'tokens': string,
    }),
    'detected_answers': Sequence({
        'char_spans': Sequence({
            'end': int32,
            'start': int32,
        }),
        'text': string,
        'token_spans': Sequence({
            'end': int32,
            'start': int32,
        }),
    }),
    'qid': string,
    'question': string,
    'question_tokens': Sequence({
        'offsets': int32,
        'tokens': string,
    }),
    'subset': string,
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
الإجابات تسلسل (موتر) (لا أحد،) سلسلة
سياق الكلام موتر سلسلة
Context_tokens تسلسل
Context_tokens / offsets موتر int32
Context_tokens / الرموز المميزة موتر سلسلة
الكشف عن الإجابات تسلسل
الكشف عن الإجابات / char_spans تسلسل
الكشف عن الإجابات / char_spans / النهاية موتر int32
الكشف عن الإجابة / char_spans / البدء موتر int32
الكشف عن الإجابات / النص موتر سلسلة
الكشف عن الإجابات / الرموز المميزة تسلسل
الكشف عن الإجابات / الرموز المميزة / نهاية موتر int32
الكشف عن الإجابات / الرموز المميزة / البدء موتر int32
قيد موتر سلسلة
سؤال موتر سلسلة
أسئلة تسلسل
question_tokens / تعويضات موتر int32
question_tokens / الرموز موتر سلسلة
مجموعة فرعية موتر سلسلة

مرقا / فرقة (التكوين الافتراضي)

  • وصف التكوين : تُستخدم مجموعة بيانات SQuAD (مجموعة بيانات الإجابة على الأسئلة في ستانفورد) كأساس لتنسيق المهمة المشتركة. يتم عرض Crowdworkers على فقرات من ويكيبيديا ويطلب منهم كتابة أسئلة مع إجابات استخلاصية.

  • حجم التحميل : 29.66 MiB

  • حجم مجموعة البيانات : 271.43 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): لا

  • الانقسامات :

انشق، مزق أمثلة
'train' 86.588
'validation' 10507
  • الاقتباس :
@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقا / news_qa

  • وصف التكوين : تقوم مجموعتان من العاملين في الحشد بطرح الأسئلة والإجابة عليها بناءً على المقالات الإخبارية لشبكة CNN. يرى "المستجوبون" عنوان المقالة وملخصها فقط بينما يرى "المجيبون" المقالة كاملة. يتم تجاهل الأسئلة التي ليس لها إجابة أو التي تم وضع علامة عليها في مجموعة البيانات لتكون بدون اتفاق توضيحي.

  • حجم التحميل : 56.83 MiB

  • حجم مجموعة البيانات : 654.25 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): لا

  • الانقسامات :

انشق، مزق أمثلة
'train' 74160
'validation' 4212
  • الاقتباس :
@inproceedings{trischler-etal-2017-newsqa,
        title = "{N}ews{QA}: A Machine Comprehension Dataset",
        author = "Trischler, Adam  and
          Wang, Tong  and
          Yuan, Xingdi  and
          Harris, Justin  and
          Sordoni, Alessandro  and
          Bachman, Philip  and
          Suleman, Kaheer",
        booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
        month = aug,
        year = "2017",
        address = "Vancouver, Canada",
        publisher = "Association for Computational Linguistics",
        url = "https://aclanthology.org/W17-2623",
        doi = "10.18653/v1/W17-2623",
        pages = "191--200",
    }
#
@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقا / trivia_qa

  • وصف التكوين : يتم الحصول على أزواج الأسئلة والأجوبة من مواقع الويب التوافه والاختبارية. يتم استخدام إصدار الويب من TriviaQA ، حيث يتم استرداد السياقات من نتائج استعلام بحث Bing.

  • حجم التحميل : 383.14 MiB

  • حجم مجموعة البيانات : 772.75 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): لا

  • الانقسامات :

انشق، مزق أمثلة
'train' 61688
'validation' 7785
  • الاقتباس :
@inproceedings{joshi-etal-2017-triviaqa,
    title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
    author = "Joshi, Mandar  and
      Choi, Eunsol  and
      Weld, Daniel  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1147",
    doi = "10.18653/v1/P17-1147",
    pages = "1601--1611",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقا / search_qa

  • وصف التكوين : تم الحصول على أزواج الأسئلة والأجوبة من لعبة Jeopardy! برنامج تلفزيوني. تتكون السياقات من مقتطفات مسترجعة من استعلام بحث Google.

  • حجم التحميل : 699.86 MiB

  • حجم مجموعة البيانات : 1.38 GiB

  • التخزين المؤقت التلقائي ( التوثيق ): لا

  • الانقسامات :

انشق، مزق أمثلة
'train' 117384
'validation' 16980
  • الاقتباس :
@article{dunn2017searchqa,
    title={Searchqa: A new q\&a dataset augmented with context from a search engine},
    author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
    journal={arXiv preprint arXiv:1704.05179},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقا / hotpot_qa

  • وصف التكوين : يظهر Crowdworkers فقرتين مرتبطتين بالكيان من ويكيبيديا ويطلب منهم كتابة والإجابة على الأسئلة التي تتطلب تفكيرًا متعدد القفزات لحلها. في الإعداد الأصلي ، يتم خلط هذه الفقرات مع فقرات مشتتة إضافية لجعل الاستدلال أكثر صعوبة. هنا ، لم يتم تضمين الفقرات المشتتة.

  • حجم التحميل : 111.98 MiB

  • حجم مجموعة البيانات : 272.87 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): لا

  • الانقسامات :

انشق، مزق أمثلة
'train' 72928
'validation' 5،901
  • الاقتباس :
@inproceedings{yang-etal-2018-hotpotqa,
    title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
    author = "Yang, Zhilin  and
      Qi, Peng  and
      Zhang, Saizheng  and
      Bengio, Yoshua  and
      Cohen, William  and
      Salakhutdinov, Ruslan  and
      Manning, Christopher D.",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1259",
    doi = "10.18653/v1/D18-1259",
    pages = "2369--2380",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقع / أسئلة_طبيعية

  • وصف التكوين : يتم جمع الأسئلة من استعلامات البحث عن المعلومات إلى محرك بحث Google بواسطة مستخدمين حقيقيين في ظل الظروف الطبيعية. الأجوبة على الأسئلة مشروحة في صفحة ويكيبيديا المسترجعة من قبل الحشود. يتم جمع نوعين من التعليقات التوضيحية: 1) المربع المحيط بتنسيق HTML الذي يحتوي على معلومات كافية لاستنتاج إجابة السؤال بالكامل (إجابة طويلة) ، و 2) الفترة الفرعية أو الفترات الفرعية داخل المربع المحيط الذي يشتمل على الإجابة الفعلية (إجابة قصيرة) ). يتم استخدام الأمثلة التي تحتوي على إجابات قصيرة فقط ، ويتم استخدام الإجابة الطويلة كسياق.

  • حجم التحميل : 121.15 MiB

  • حجم مجموعة البيانات : 339.03 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): لا

  • الانقسامات :

انشق، مزق أمثلة
'train' 104.071
'validation' 12،836
  • الاقتباس :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقا / bio_asq

  • وصف التكوين : يحتوي BioASQ ، وهو تحدي على الفهرسة الدلالية الطبية الحيوية على نطاق واسع والإجابة على الأسئلة ، على أزواج الأسئلة والأجوبة التي تم إنشاؤها بواسطة خبراء المجال. ثم يتم ربطها يدويًا بمقالات علمية متعددة ذات صلة (PubMed). يتم تنزيل الملخص الكامل لكل مقالة مرتبطة واستخدامه كسياقات فردية (على سبيل المثال ، يمكن ربط سؤال واحد بمقالات متعددة ومستقلة لإنشاء أزواج متعددة من سياق ضمان الجودة). يتم تجاهل الملخصات التي لا تحتوي بالضبط على الإجابة.

  • حجم التحميل : 2.54 MiB

  • حجم مجموعة البيانات : 6.70 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،504
  • الاقتباس :
@article{tsatsaronis2015overview,
    title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
    author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
    journal={BMC bioinformatics},
    volume={16},
    number={1},
    pages={1--28},
    year={2015},
    publisher={Springer}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقع / قطرة

  • وصف التكوين : تم جمع أمثلة DROP (الاستدلال المنفصل فوق محتوى الفقرات) بشكل مشابه لـ SQuAD ، حيث يُطلب من عمال الحشود إنشاء أزواج من الأسئلة والإجابات من فقرات ويكيبيديا. تركز الأسئلة على التفكير الكمي ، وتحتوي مجموعة البيانات الأصلية على إجابات رقمية غير استخلاصية بالإضافة إلى إجابات نصية مستخرجة. يتم استخدام مجموعة الأسئلة الاستخراجية.

  • حجم التحميل : 578.25 KiB

  • حجم مجموعة البيانات : 5.41 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،503
  • الاقتباس :
@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقا / duo_rc

  • وصف التكوين : يتم استخدام تقسيم ParaphraseRC لمجموعة بيانات DuoRC. في هذا الإعداد ، يتم جمع ملخّصين مختلفين عن نفس الفيلم - أحدهما من Wikipedia والآخر من IMDb. تقوم مجموعتان مختلفتان من العاملين في الحشد بطرح الأسئلة والإجابة عليها حول حبكة الفيلم ، حيث يتم عرض "المستجوبين" فقط على صفحة ويكيبيديا ، ويتم عرض "المجيبون" على صفحة IMDb فقط. يتم تجاهل الأسئلة التي تم تمييزها على أنها غير قابلة للإجابة.

  • حجم التحميل : 1.14 MiB

  • حجم مجموعة البيانات : 15.04 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،501
  • الاقتباس :
@inproceedings{saha-etal-2018-duorc,
    title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
    author = "Saha, Amrita  and
      Aralikatte, Rahul  and
      Khapra, Mitesh M.  and
      Sankaranarayanan, Karthik",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-1156",
    doi = "10.18653/v1/P18-1156",
    pages = "1683--1693",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقع / عرق

  • وصف التكوين : يتم جمع مجموعة بيانات الاستيعاب من الامتحانات (RACE) من اختبارات فهم القراءة باللغة الإنجليزية لطلاب المدارس الصينية المتوسطة والثانوية. يتم استخدام تقسيم المدرسة الثانوية (وهو أكثر تحديًا) ويتم أيضًا تصفية أسئلة أسلوب "ملء الفراغ" الضمنية (والتي تعتبر غير طبيعية لهذه المهمة).

  • حجم التحميل : 1.49 MiB

  • حجم مجموعة البيانات : 3.53 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 674
  • الاقتباس :
@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقا / علاقة_استخراج

  • وصف التكوين : بالنظر إلى مجموعة البيانات التي تملأ الخانات الزمنية ، يتم تحويل العلاقات بين الكيانات بشكل منهجي إلى أزواج للإجابة على الأسئلة باستخدام القوالب. على سبيل المثال ، يمكن التعبير عن العلاقة المتعلمة (س ، ص) بين كيانين س وص ظاهرين في جملة على النحو التالي: "أين تلقى تعليم س؟" مع الإجابة ذ. يتم جمع قوالب متعددة لكل نوع من أنواع العلاقات. يتم استخدام الانقسام المعياري الصفري لمجموعة البيانات (التعميم على العلاقات غير المرئية) ، ويتم الاحتفاظ بالأمثلة الإيجابية فقط.

  • حجم التحميل : 830.88 KiB

  • حجم مجموعة البيانات : 3.71 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 2948
  • الاقتباس :
@inproceedings{levy-etal-2017-zero,
    title = "Zero-Shot Relation Extraction via Reading Comprehension",
    author = "Levy, Omer  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/K17-1034",
    doi = "10.18653/v1/K17-1034",
    pages = "333--342",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

مرقا / textbook_qa

  • وصف التكوين : يتم جمع TextbookQA من دروس المدرسة الإعدادية في كتب علوم الحياة وعلوم الأرض والعلوم الفيزيائية. لا يتم تضمين الأسئلة المصاحبة للرسم التخطيطي ، أو الأسئلة "صواب أو خطأ".

  • حجم التحميل : 1.79 MiB

  • حجم مجموعة البيانات : 14.04 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،503
  • الاقتباس :
@inproceedings{kembhavi2017you,
    title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
    author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
    booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
    pages={4999--5007},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."