mrqa

  • Mô tả :

Nhiệm vụ được chia sẻ của MRQA 2019 tập trung vào tính khái quát hóa trong việc trả lời câu hỏi. Một hệ thống trả lời câu hỏi hiệu quả không chỉ đơn thuần là nội suy từ tập huấn luyện để trả lời các ví dụ kiểm tra được rút ra từ cùng một phân phối: nó còn có thể ngoại suy cho các ví dụ ngoài phân phối - một thách thức khó hơn đáng kể.

MRQA điều chỉnh và hợp nhất nhiều tập dữ liệu trả lời câu hỏi riêng biệt (tập hợp con được lựa chọn cẩn thận của các tập dữ liệu hiện có) thành cùng một định dạng (định dạng SQuAD). Trong số đó, sáu bộ dữ liệu đã được cung cấp để đào tạo và sáu bộ dữ liệu đã được cung cấp để thử nghiệm. Các phần nhỏ của bộ dữ liệu đào tạo được coi là dữ liệu trong miền có thể được sử dụng để phát triển. Bộ dữ liệu thử nghiệm chỉ chứa dữ liệu ngoài miền. Điểm chuẩn này được phát hành như một phần của Nhiệm vụ được chia sẻ MRQA 2019.

Bạn có thể tìm thêm thông tin tại: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a> .

FeaturesDict({
    'answers': Sequence(tf.string),
    'context': tf.string,
    'context_tokens': Sequence({
        'offsets': tf.int32,
        'tokens': tf.string,
    }),
    'detected_answers': Sequence({
        'char_spans': Sequence({
            'end': tf.int32,
            'start': tf.int32,
        }),
        'text': tf.string,
        'token_spans': Sequence({
            'end': tf.int32,
            'start': tf.int32,
        }),
    }),
    'qid': tf.string,
    'question': tf.string,
    'question_tokens': Sequence({
        'offsets': tf.int32,
        'tokens': tf.string,
    }),
    'subset': tf.string,
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Loại Sự mô tả
Các tính năng
câu trả lời Trình tự (Tensor) (Không có,) tf.string
định nghĩa bài văn Tensor tf.string
context_tokens Sự phối hợp
context_tokens / offset Tensor tf.int32
context_tokens / token Tensor tf.string
Đã phát hiện_answers Sự phối hợp
Discover_answers / char_spans Sự phối hợp
Discover_answers / char_spans / end Tensor tf.int32
Discover_answers / char_spans / start Tensor tf.int32
Đã phát hiện_answers / văn bản Tensor tf.string
Discover_answers / token_spans Sự phối hợp
Discover_answers / token_spans / end Tensor tf.int32
Discover_answers / token_spans / start Tensor tf.int32
qid Tensor tf.string
câu hỏi Tensor tf.string
question_tokens Sự phối hợp
question_tokens / offset Tensor tf.int32
question_tokens / mã thông báo Tensor tf.string
tập hợp con Tensor tf.string

mrqa / Squad (cấu hình mặc định)

  • Mô tả cấu hình : Tập dữ liệu SQuAD (Tập dữ liệu trả lời câu hỏi Stanford) được sử dụng làm cơ sở cho định dạng nhiệm vụ được chia sẻ. Crowdworkers được hiển thị các đoạn văn từ Wikipedia và được yêu cầu viết các câu hỏi với các câu trả lời mang tính khai thác.

  • Kích thước tải xuống : 29.66 MiB

  • Kích thước tập dữ liệu: 271.43 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'train' 86.588
'validation' 10.507
  • Trích dẫn :
@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / news_qa

  • Mô tả cấu hình : Hai nhóm nhân viên cộng đồng hỏi và trả lời các câu hỏi dựa trên các bài báo của CNN. “Người hỏi” chỉ xem tiêu đề và tóm tắt của bài báo trong khi “người trả lời” xem toàn bộ bài báo. Các câu hỏi không có câu trả lời hoặc được gắn cờ trong tập dữ liệu là không có thỏa thuận chú thích sẽ bị loại bỏ.

  • Kích thước tải xuống : 56.83 MiB

  • Kích thước tập dữ liệu: 654.25 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'train' 74.160
'validation' 4,212
  • Trích dẫn :
@inproceedings{trischler-etal-2017-newsqa,
        title = "{N}ews{QA}: A Machine Comprehension Dataset",
        author = "Trischler, Adam  and
          Wang, Tong  and
          Yuan, Xingdi  and
          Harris, Justin  and
          Sordoni, Alessandro  and
          Bachman, Philip  and
          Suleman, Kaheer",
        booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
        month = aug,
        year = "2017",
        address = "Vancouver, Canada",
        publisher = "Association for Computational Linguistics",
        url = "https://aclanthology.org/W17-2623",
        doi = "10.18653/v1/W17-2623",
        pages = "191--200",
    }
#
@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / trivia_qa

  • Mô tả cấu hình : Các cặp câu hỏi và câu trả lời được lấy từ các trang web giải đố và đố vui. Phiên bản web của TriviaQA, nơi các ngữ cảnh được truy xuất từ ​​kết quả của truy vấn tìm kiếm Bing, được sử dụng.

  • Kích thước tải xuống : 383.14 MiB

  • Kích thước tập dữ liệu: 772.75 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'train' 61.688
'validation' 7.785
  • Trích dẫn :
@inproceedings{joshi-etal-2017-triviaqa,
    title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
    author = "Joshi, Mandar  and
      Choi, Eunsol  and
      Weld, Daniel  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1147",
    doi = "10.18653/v1/P17-1147",
    pages = "1601--1611",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / search_qa

  • Mô tả cấu hình : Các cặp câu hỏi và câu trả lời có nguồn gốc từ cuộc thi Jeopardy! Chương trình truyền hình. Các ngữ cảnh bao gồm các đoạn trích được truy xuất từ ​​truy vấn tìm kiếm của Google.

  • Kích thước tải xuống : 699.86 MiB

  • Kích thước tập dữ liệu : 1.38 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'train' 117.384
'validation' 16,980
  • Trích dẫn :
@article{dunn2017searchqa,
    title={Searchqa: A new q\&a dataset augmented with context from a search engine},
    author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
    journal={arXiv preprint arXiv:1704.05179},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / lẩu_qa

  • Mô tả cấu hình : Crowdworkers được hiển thị hai đoạn văn được liên kết với thực thể từ Wikipedia và được yêu cầu viết và trả lời các câu hỏi yêu cầu lập luận nhiều bước để giải quyết. Trong thiết lập ban đầu, các đoạn văn này được trộn với các đoạn văn đánh lạc hướng bổ sung để làm cho việc suy luận khó hơn. Ở đây, các đoạn văn phân tâm không được đưa vào.

  • Kích thước tải xuống : 111.98 MiB

  • Kích thước tập dữ liệu: 272.87 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'train' 72,928
'validation' 5.901
  • Trích dẫn :
@inproceedings{yang-etal-2018-hotpotqa,
    title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
    author = "Yang, Zhilin  and
      Qi, Peng  and
      Zhang, Saizheng  and
      Bengio, Yoshua  and
      Cohen, William  and
      Salakhutdinov, Ruslan  and
      Manning, Christopher D.",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1259",
    doi = "10.18653/v1/D18-1259",
    pages = "2369--2380",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / natural_questions

  • Mô tả cấu hình : Các câu hỏi được người dùng thực thu thập từ các truy vấn tìm kiếm thông tin đến công cụ tìm kiếm Google trong các điều kiện tự nhiên. Câu trả lời cho các câu hỏi được chú thích trong trang Wikipedia được truy xuất bởi cộng đồng. Hai loại chú thích được thu thập: 1) hộp giới hạn HTML chứa đủ thông tin để suy ra hoàn toàn câu trả lời cho câu hỏi (Câu trả lời dài) và 2) dải con hoặc nhịp phụ trong hộp giới hạn bao gồm câu trả lời thực tế (Câu trả lời ngắn ). Chỉ những ví dụ có câu trả lời ngắn mới được sử dụng và câu trả lời dài được sử dụng làm ngữ cảnh.

  • Kích thước tải xuống : 121.15 MiB

  • Kích thước tập dữ liệu: 339.03 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'train' 104.071
'validation' 12.836
  • Trích dẫn :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / bio_asq

  • Mô tả cấu hình : BioASQ, một thách thức về lập chỉ mục ngữ nghĩa y sinh quy mô lớn và trả lời câu hỏi, chứa các cặp câu hỏi và câu trả lời do các chuyên gia miền tạo ra. Sau đó, chúng được liên kết thủ công với nhiều bài báo khoa học liên quan (PubMed). Bản tóm tắt đầy đủ của mỗi bài viết được liên kết được tải xuống và sử dụng dưới dạng ngữ cảnh riêng lẻ (ví dụ: một câu hỏi đơn lẻ có thể được liên kết với nhiều bài báo độc lập để tạo nhiều cặp ngữ cảnh QA). Phần tóm tắt không chứa chính xác câu trả lời sẽ bị loại bỏ.

  • Kích thước tải xuống : 2.54 MiB

  • Kích thước tập dữ liệu : 6.70 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'test' 1.504
  • Trích dẫn :
@article{tsatsaronis2015overview,
    title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
    author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
    journal={BMC bioinformatics},
    volume={16},
    number={1},
    pages={1--28},
    year={2015},
    publisher={Springer}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / drop

  • Mô tả cấu hình : Các ví dụ về DROP (Lập luận rời rạc về nội dung của các đoạn văn) được thu thập tương tự như SQuAD, trong đó các nhân viên cộng đồng được yêu cầu tạo các cặp câu hỏi-câu trả lời từ các đoạn Wikipedia. Các câu hỏi tập trung vào lý luận định lượng và tập dữ liệu gốc chứa các câu trả lời dạng số không chiết xuất cũng như các câu trả lời dạng văn bản chiết xuất. Bộ câu hỏi có tính chất khai thác được sử dụng.

  • Kích thước tải xuống : 578.25 KiB

  • Kích thước tập dữ liệu : 5.41 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'test' 1.503
  • Trích dẫn :
@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / duo_rc

  • Mô tả cấu hình : Phần tách ParaphraseRC của tập dữ liệu DuoRC được sử dụng. Trong cài đặt này, hai bản tóm tắt cốt truyện khác nhau của cùng một bộ phim được thu thập — một từ Wikipedia và một từ IMDb. Hai nhóm nhân viên cộng đồng khác nhau hỏi và trả lời các câu hỏi về cốt truyện phim, trong đó “người hỏi” chỉ được hiển thị trên trang Wikipedia và “người trả lời” chỉ được hiển thị trên trang IMDb. Các câu hỏi được đánh dấu là không trả lời được sẽ bị loại bỏ.

  • Kích thước tải xuống : 1.14 MiB

  • Kích thước tập dữ liệu: 15.04 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'test' 1.501
  • Trích dẫn :
@inproceedings{saha-etal-2018-duorc,
    title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
    author = "Saha, Amrita  and
      Aralikatte, Rahul  and
      Khapra, Mitesh M.  and
      Sankaranarayanan, Karthik",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-1156",
    doi = "10.18653/v1/P18-1156",
    pages = "1683--1693",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / cuộc đua

  • Mô tả cấu hình : Tập dữ liệu hiểu lại từ kỳ thi (RACE) được thu thập từ các kỳ thi đọc hiểu tiếng Anh dành cho học sinh trung học cơ sở và trung học phổ thông Trung Quốc. Phần tách cấp trung học (khó hơn) được sử dụng và cũng loại bỏ các câu hỏi kiểu “điền vào chỗ trống” ngầm (không tự nhiên cho nhiệm vụ này).

  • Kích thước tải xuống : 1.49 MiB

  • Kích thước tập dữ liệu : 3.53 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'test' 674
  • Trích dẫn :
@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / Relations_extraction

  • Mô tả cấu hình : Với một tập dữ liệu lấp đầy vị trí, các mối quan hệ giữa các thực thể được chuyển đổi một cách có hệ thống thành các cặp câu hỏi trả lời bằng cách sử dụng các mẫu. Ví dụ: mối quan hệ education_at (x, y) giữa hai thực thể x và y xuất hiện trong một câu có thể được biểu thị là "X được học ở đâu?" với câu trả lời y. Nhiều mẫu cho mỗi loại quan hệ được thu thập. Sự phân chia điểm chuẩn số không của tập dữ liệu (tổng quát hóa cho các quan hệ không nhìn thấy) được sử dụng và chỉ các ví dụ tích cực được giữ lại.

  • Kích thước tải xuống : 830.88 KiB

  • Kích thước tập dữ liệu : 3.71 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'test' 2.948
  • Trích dẫn :
@inproceedings{levy-etal-2017-zero,
    title = "Zero-Shot Relation Extraction via Reading Comprehension",
    author = "Levy, Omer  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/K17-1034",
    doi = "10.18653/v1/K17-1034",
    pages = "333--342",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa / SGK_qa

  • Mô tả cấu hình : SGKQA được sưu tầm từ các bài học trong sách giáo khoa Khoa học Sự sống, Khoa học Trái đất và Khoa học Vật lý cấp trung học cơ sở. Các câu hỏi đi kèm với một sơ đồ hoặc các câu hỏi "Đúng hay Sai" sẽ không được đưa vào.

  • Kích thước tải xuống : 1.79 MiB

  • Kích thước tập dữ liệu : 14.04 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'test' 1.503
  • Trích dẫn :
@inproceedings{kembhavi2017you,
    title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
    author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
    booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
    pages={4999--5007},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."