answer_equivalence

  • Mô tả :

Tập dữ liệu tương đương câu trả lời chứa xếp hạng của con người trên các dự đoán mô hình từ một số mô hình trên tập dữ liệu SQuAD. Xếp hạng xác định xem câu trả lời dự đoán có 'tương đương' với câu trả lời vàng hay không (tính đến cả câu hỏi và ngữ cảnh).

Cụ thể hơn, bằng từ 'tương đương', chúng tôi có nghĩa là câu trả lời được dự đoán chứa ít nhất thông tin giống với câu trả lời vàng và không thêm thông tin thừa. Tập dữ liệu chứa chú thích cho: * dự đoán từ BiDAF trên SQuAD dev * dự đoán từ XLNet trên SQuAD dev * dự đoán từ Luke trên SQuAD dev * dự đoán từ Albert về các ví dụ đào tạo, phát triển và thử nghiệm SQuAD

Tách ra Các ví dụ
'ae_dev' 4.446
'ae_test' 9,724
'dev_bidaf' 7,522
'dev_luke' 4,590
'dev_xlnet' 7.932
'train' 9.090
  • Cấu trúc tính năng :
FeaturesDict({
    'candidate': Text(shape=(), dtype=tf.string),
    'context': Text(shape=(), dtype=tf.string),
    'gold_index': tf.int32,
    'qid': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'question_1': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'reference': Text(shape=(), dtype=tf.string),
    'score': tf.float32,
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Loại Sự mô tả
Các tính năng
ứng viên Chữ tf.string
định nghĩa bài văn Chữ tf.string
gold_index Tensor tf.int32
qid Chữ tf.string
câu hỏi Chữ tf.string
câu hỏi 1 ClassLabel tf.int64
Câu hỏi 2 ClassLabel tf.int64
câu hỏi_3 ClassLabel tf.int64
câu hỏi_4 ClassLabel tf.int64
tài liệu tham khảo Chữ tf.string
ghi bàn Tensor tf.float32
  • Trích dẫn :
@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}