تكافؤ الجواب

• الوصف :

تحتوي مجموعة بيانات "تكافؤ الإجابات" على تقييمات بشرية حول تنبؤات النماذج من عدة نماذج في مجموعة بيانات SQuAD. تحدد التقييمات ما إذا كانت الإجابة المتوقعة "مكافئة" للإجابة الذهبية (مع مراعاة كل من السؤال والسياق).

وبشكل أكثر تحديدًا ، نعني بكلمة "مكافئ" أن الإجابة المتوقعة تحتوي على الأقل على نفس المعلومات مثل الإجابة الذهبية ولا تضيف معلومات زائدة عن الحاجة. تحتوي مجموعة البيانات على تعليقات توضيحية لـ: * تنبؤات من BiDAF على SQuAD dev * تنبؤات من XLNet على SQuAD dev * تنبؤات من Luke على SQuAD dev * تنبؤات من Albert على تدريب SQuAD وتطوير واختبار أمثلة

• الصفحة الرئيسية : https://github.com/google-research-datasets/answer-equivalence-dataset

• كود المصدر : tfds.datasets.answer_equivalence.Builder

• إصدارات :

  • 1.0.0 (افتراضي): الإصدار الأولي.

• حجم التحميل : 45.86 MiB

• حجم مجموعة البيانات : 47.24 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• الانقسامات :

انشق، مزق	أمثلة
'ae_dev'	4446
'ae_test'	9724
'dev_bidaf'	7،522
'dev_luke'	4590
'dev_xlnet'	7932
'train'	9090

• هيكل الميزة :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• وثائق الميزة :

ميزة	فصل	شكل	نوع	وصف
	الميزات
مُرَشَّح	نص		سلسلة
سياق الكلام	نص		سلسلة
مؤشر_الذهب	موتر		int32
قيد	نص		سلسلة
سؤال	نص		سلسلة
السؤال رقم 1	ClassLabel		int64
السؤال 2	ClassLabel		int64
السؤال 3	ClassLabel		int64
سؤال_4	ClassLabel		int64
المرجعي	نص		سلسلة
نتيجة	موتر		تعويم 32

• المفاتيح الخاضعة للإشراف (انظر المستند as_supervised ): None

• الشكل ( tfds.show_examples ): غير مدعوم.

• أمثلة ( tfds.as_dataframe ):

• الاقتباس :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}