answer_equivalence

• Mô tả :

Tập dữ liệu tương đương câu trả lời chứa xếp hạng của con người trên các dự đoán mô hình từ một số mô hình trên tập dữ liệu SQuAD. Xếp hạng xác định xem câu trả lời dự đoán có 'tương đương' với câu trả lời vàng hay không (tính đến cả câu hỏi và ngữ cảnh).

Cụ thể hơn, bằng từ 'tương đương', chúng tôi có nghĩa là câu trả lời được dự đoán chứa ít nhất thông tin giống với câu trả lời vàng và không thêm thông tin thừa. Tập dữ liệu chứa chú thích cho: * dự đoán từ BiDAF trên SQuAD dev * dự đoán từ XLNet trên SQuAD dev * dự đoán từ Luke trên SQuAD dev * dự đoán từ Albert về các ví dụ đào tạo, phát triển và thử nghiệm SQuAD

• Trang chủ : https://github.com/google-research-datasets/answer-equivalence-dataset

• Mã nguồn : tfds.question_answering.answer_equivalence.AnswerEquivalence

• Các phiên bản :

  • 1.0.0 (mặc định): Bản phát hành ban đầu.

• Kích thước tải xuống : 45.86 MiB

• Kích thước tập dữ liệu : 47.24 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

• Tách :

Tách ra	Các ví dụ
'ae_dev'	4.446
'ae_test'	9,724
'dev_bidaf'	7,522
'dev_luke'	4,590
'dev_xlnet'	7.932
'train'	9.090

• Cấu trúc tính năng :

FeaturesDict({
    'candidate': Text(shape=(), dtype=tf.string),
    'context': Text(shape=(), dtype=tf.string),
    'gold_index': tf.int32,
    'qid': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'question_1': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'reference': Text(shape=(), dtype=tf.string),
    'score': tf.float32,
})

• Tài liệu tính năng :

Tính năng	Lớp	Hình dạng	Loại	Sự mô tả
	Các tính năng
ứng viên	Chữ		tf.string
định nghĩa bài văn	Chữ		tf.string
gold_index	Tensor		tf.int32
qid	Chữ		tf.string
câu hỏi	Chữ		tf.string
câu hỏi 1	ClassLabel		tf.int64
Câu hỏi 2	ClassLabel		tf.int64
câu hỏi_3	ClassLabel		tf.int64
câu hỏi_4	ClassLabel		tf.int64
tài liệu tham khảo	Chữ		tf.string
ghi bàn	Tensor		tf.float32

• Khóa được giám sát (Xem as_supervised doc ): None

• Hình ( tfds.show_examples ): Không được hỗ trợ.

• Ví dụ ( tfds.as_dataframe ):

• Trích dẫn :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}