eraser_multi_rc

  • תיאור :

Eraser Multi RC הוא מערך נתונים לשאילתות על מעברים מרובי שורות, יחד עם תשובות ורציונל. לכל דוגמה במערך הנתונים הזה יש את 5 החלקים הבאים

  1. קטע Mutli-line 2. שאילתה לגבי הקטע 3. תשובה לשאילתה
  2. סיווג האם התשובה נכונה או שגויה 5. הסבר המצדיק את הסיווג
לְפַצֵל דוגמאות
'test' 4,848
'train' 24,029
'validation' 3,214
  • מבנה תכונה :
FeaturesDict({
   
'evidences': Sequence(Text(shape=(), dtype=string)),
   
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
   
'passage': Text(shape=(), dtype=string),
   
'query_and_answer': Text(shape=(), dtype=string),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
עדויות רצף (טקסט) (אף אחד,) חוּט
תווית ClassLabel int64
מַעֲבָר טֶקסט חוּט
שאילתה_ו_תשובה טֶקסט חוּט
  • ציטוט :
@unpublished{eraser2019,
    title
= {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author
= {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author
= {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title
= {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle
= {NAACL},
    year
= {2018}
}