หยด

  • คำอธิบาย :

ด้วยประสิทธิภาพของระบบตามเกณฑ์มาตรฐานความเข้าใจในการอ่านที่มีอยู่ซึ่งใกล้เคียงหรือเหนือกว่าประสิทธิภาพของมนุษย์ เราจำเป็นต้องมีชุดข้อมูลใหม่ที่มีความแข็งซึ่งปรับปรุงความสามารถของระบบในการอ่านย่อหน้าของข้อความจริงๆ DROP เป็นเกณฑ์มาตรฐานคำถาม 96k คำถามที่สร้างขึ้นจากฝูงชนซึ่งสร้างโดยฝ่ายตรงข้าม ซึ่งระบบต้องแก้ไขการอ้างอิงในคำถาม อาจเป็นตำแหน่งอินพุตหลายตำแหน่ง และดำเนินการแยกจากกัน (เช่น การบวก การนับ หรือการเรียงลำดับ) การดำเนินการเหล่านี้ต้องการความเข้าใจเนื้อหาของย่อหน้าที่ครอบคลุมมากกว่าสิ่งที่จำเป็นสำหรับชุดข้อมูลก่อนหน้า

แยก ตัวอย่าง
'dev' 9,536
'train' 77,409
  • โครงสร้างคุณลักษณะ :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
คุณสมบัติDict
คำตอบ ข้อความ สตริง
ทางเดิน ข้อความ สตริง
แบบสอบถาม_id ข้อความ สตริง
คำถาม ข้อความ สตริง
validated_answers ลำดับ (ข้อความ) (ไม่มี,) สตริง
  • การอ้างอิง :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}