ai2_arc_with_ir

  • Mô tả :

Tập dữ liệu mới gồm 7.787 câu hỏi khoa học trắc nghiệm cấp lớp chính hãng, được tập hợp để khuyến khích nghiên cứu trong việc trả lời câu hỏi nâng cao. Tập dữ liệu được phân chia thành Tập thách thức và Tập hợp dễ dàng, trong đó tập dữ liệu trước đây chỉ chứa các câu hỏi được trả lời sai bởi cả thuật toán dựa trên truy xuất và thuật toán đồng xuất hiện từ. Chúng tôi cũng bao gồm kho ngữ liệu gồm hơn 14 triệu câu khoa học liên quan đến nhiệm vụ và triển khai ba mô hình cơ sở thần kinh cho tập dữ liệu này. Chúng tôi đặt ARC như một thách thức đối với cộng đồng.

So với tập dữ liệu ban đầu, tập dữ liệu này bổ sung các câu ngữ cảnh thu được thông qua truy xuất thông tin theo cách tương tự như UnifiedQA (xem: https://arxiv.org/abs/2005.00700 ).

FeaturesDict({
    'answerKey': ClassLabel(shape=(), dtype=tf.int64, num_classes=5),
    'choices': Sequence({
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=5),
        'text': Text(shape=(), dtype=tf.string),
    }),
    'id': Text(shape=(), dtype=tf.string),
    'paragraph': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Loại Sự mô tả
Các tính năng
answerKey ClassLabel tf.int64
sự lựa chọn Sự phối hợp
sự lựa chọn / nhãn ClassLabel tf.int64
lựa chọn / văn bản Chữ tf.string
Tôi Chữ tf.string
đoạn văn Chữ tf.string
câu hỏi Chữ tf.string
@article{allenai:arc,
      author    = {Peter Clark  and Isaac Cowhey and Oren Etzioni and Tushar Khot and
                    Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
      title     = {Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge},
      journal   = {arXiv:1803.05457v1},
      year      = {2018},
}
@article{2020unifiedqa,
    title={UnifiedQA: Crossing Format Boundaries With a Single QA System},
    author={D. Khashabi and S. Min and T. Khot and A. Sabhwaral and O. Tafjord and P. Clark and H. Hajishirzi},
    journal={arXiv preprint},
    year={2020}
}

ai2_arc_with_ir / ARC-Challenge-IR (cấu hình mặc định)

  • Mô tả cấu hình : Bộ thử thách gồm 2590 câu hỏi "khó" (những câu mà cả phương pháp truy xuất và phương pháp đồng xuất hiện đều không trả lời đúng)

  • Kích thước tập dữ liệu : 3.76 MiB

  • Tách :

Tách ra Các ví dụ
'test' 1.172
'train' 1.119
'validation' 299

ai2_arc_with_ir / ARC-Easy-IR

  • Mô tả cấu hình : Bộ 5197 câu hỏi dễ dàng cho Thử thách ARC.

  • Kích thước tập dữ liệu : 7.49 MiB

  • Tách :

Tách ra Các ví dụ
'test' 2.376
'train' 2.251
'validation' 570