answer_equivalence

  • Mô tả :

Bộ dữ liệu tương đương câu trả lời chứa xếp hạng của con người về các dự đoán mô hình từ một số mô hình trên bộ dữ liệu SQuAD. Xếp hạng xác định xem câu trả lời dự đoán có 'tương đương' với câu trả lời vàng hay không (có tính đến cả câu hỏi và ngữ cảnh).

Cụ thể hơn, 'tương đương' có nghĩa là câu trả lời dự đoán chứa ít nhất thông tin giống như câu trả lời vàng và không thêm thông tin thừa. Bộ dữ liệu chứa các chú thích cho: * dự đoán từ BiDAF trên nhà phát triển SQuAD * dự đoán từ XLNet trên nhà phát triển SQuAD * dự đoán từ Luke trên nhà phát triển SQuAD * dự đoán từ Albert về các ví dụ đào tạo, nhà phát triển và thử nghiệm SQuAD

Tách ra ví dụ
'ae_dev' 4,446
'ae_test' 9,724
'dev_bidaf' 7,522
'dev_luke' 4.590
'dev_xlnet' 7,932
'train' 9.090
  • Cấu trúc tính năng :
FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
ứng viên Chữ sợi dây
định nghĩa bài văn Chữ sợi dây
gold_index tenxơ int32
qid Chữ sợi dây
câu hỏi Chữ sợi dây
câu hỏi 1 LớpNhãn int64
Câu hỏi 2 LớpNhãn int64
câu hỏi_3 LớpNhãn int64
câu hỏi_4 LớpNhãn int64
tài liệu tham khảo Chữ sợi dây
ghi bàn tenxơ phao32
  • trích dẫn :
@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}