eraser_multi_rc

  • Mô tả:

Eraser Multi RC là một tập dữ liệu cho các truy vấn qua các đoạn văn nhiều dòng, cùng với các câu trả lời và một hợp lý. Mỗi ví dụ trong tập dữ liệu này có 5 phần sau

  1. A Mutli-line Passage 2. Một câu hỏi về đoạn văn 3. Một câu trả lời cho truy vấn
  2. Một Phân loại xem câu trả lời đúng hay sai 5. Một Giải thích chứng minh cho sự phân loại
Tách ra Các ví dụ
'test' 4.848
'train' 24.029
'validation' 3.214
  • Các tính năng:
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=tf.string)),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'passage': Text(shape=(), dtype=tf.string),
    'query_and_answer': Text(shape=(), dtype=tf.string),
})
  • Trích dẫn:
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}