rơi vãi

  • Mô tả:

Với hiệu suất của hệ thống trên các điểm chuẩn đọc hiểu hiện có gần bằng hoặc vượt qua hiệu suất của con người, chúng tôi cần một bộ dữ liệu mới, cứng để cải thiện khả năng của hệ thống để thực sự đọc các đoạn văn bản. DROP là một điểm chuẩn 96 nghìn câu hỏi do nguồn lực cộng đồng tạo ra, được tạo đối thủ, trong đó hệ thống phải giải quyết các tham chiếu trong một câu hỏi, có thể cho nhiều vị trí đầu vào và thực hiện các hoạt động rời rạc đối với chúng (chẳng hạn như cộng, đếm hoặc sắp xếp). Các thao tác này đòi hỏi sự hiểu biết toàn diện hơn nhiều về nội dung của các đoạn văn so với những gì cần thiết cho các bộ dữ liệu trước đó.

  • Trang chủ: https://allennlp.org/drop

  • Source code: tfds.text.drop.Drop

  • phiên bản:

    • 1.0.0 : Phiên bản đầu tiên.
    • 2.0.0 (mặc định): Thêm tất cả các tùy chọn cho câu trả lời.
  • Dung lượng tải về: 7.92 MiB

  • Dataset kích thước: 116.24 MiB

  • Tự động lưu trữ ( tài liệu ): Có

  • tách:

Tách ra Các ví dụ
'dev' 9.536
'train' 77.409
  • Các tính năng:
FeaturesDict({
    'answer': Text(shape=(), dtype=tf.string),
    'passage': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})
  • Trích dẫn:
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}