تكافؤ الجواب

  • الوصف :

تحتوي مجموعة بيانات "تكافؤ الإجابات" على تقييمات بشرية حول تنبؤات النماذج من عدة نماذج في مجموعة بيانات SQuAD. تحدد التقييمات ما إذا كانت الإجابة المتوقعة "مكافئة" للإجابة الذهبية (مع مراعاة كل من السؤال والسياق).

وبشكل أكثر تحديدًا ، نعني بكلمة "مكافئ" أن الإجابة المتوقعة تحتوي على الأقل على نفس المعلومات مثل الإجابة الذهبية ولا تضيف معلومات زائدة عن الحاجة. تحتوي مجموعة البيانات على تعليقات توضيحية لـ: * تنبؤات من BiDAF على SQuAD dev * تنبؤات من XLNet على SQuAD dev * تنبؤات من Luke على SQuAD dev * تنبؤات من Albert على تدريب SQuAD وتطوير واختبار أمثلة

انشق، مزق أمثلة
'ae_dev' 4446
'ae_test' 9724
'dev_bidaf' 7،522
'dev_luke' 4590
'dev_xlnet' 7932
'train' 9090
  • هيكل الميزة :
FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
مُرَشَّح نص سلسلة
سياق الكلام نص سلسلة
مؤشر_الذهب موتر int32
قيد نص سلسلة
سؤال نص سلسلة
السؤال رقم 1 ClassLabel int64
السؤال 2 ClassLabel int64
السؤال 3 ClassLabel int64
سؤال_4 ClassLabel int64
المرجعي نص سلسلة
نتيجة موتر تعويم 32
  • الاقتباس :
@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}