answer_equivalence

  • Açıklama :

Cevap Eşdeğerliği Veri Kümesi, SQuAD veri kümesindeki çeşitli modellerden model tahminlerine ilişkin insan derecelendirmelerini içerir. Derecelendirmeler, tahmin edilen cevabın altın cevaba "eşdeğer" olup olmadığını belirler (hem soruyu hem de bağlamı dikkate alarak).

Daha spesifik olarak, 'eşdeğer' ile, tahmin edilen cevabın en azından altın cevapla aynı bilgiyi içerdiğini ve gereksiz bilgi eklemediğini kastediyoruz. Veri kümesi şunlar için ek açıklamalar içerir: * SQuAD dev üzerinde BiDAF'tan tahminler * SQuAD dev üzerinde XLNet'ten tahminler * SQuAD dev üzerinde Luke'tan tahminler * SQuAD eğitimi, geliştirme ve test örnekleri üzerine Albert'ten tahminler

Bölmek örnekler
'ae_dev' 4.446
'ae_test' 9.724
'dev_bidaf' 7.522
'dev_luke' 4.590
'dev_xlnet' 7.932
'train' 9.090
  • Özellik yapısı :
FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
aday Metin sicim
bağlam Metin sicim
gold_index tensör int32
qid Metin sicim
soru Metin sicim
soru 1 SınıfEtiketi int64
soru 2 SınıfEtiketi int64
Soru 3 SınıfEtiketi int64
soru_4 SınıfEtiketi int64
referans Metin sicim
Puan tensör şamandıra32
  • Alıntı :
@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}