soltar

  • Descripción :

Con el rendimiento del sistema en los puntos de referencia de comprensión de lectura existentes acercándose o superando el rendimiento humano, necesitamos un nuevo conjunto de datos duro que mejore las capacidades de los sistemas para leer párrafos de texto. DROP es un punto de referencia de 96 000 preguntas de colaboración abierta y creado por adversarios, en el que un sistema debe resolver las referencias en una pregunta, tal vez a varias posiciones de entrada, y realizar operaciones discretas sobre ellas (como sumar, contar o clasificar). Estas operaciones requieren una comprensión mucho más completa del contenido de los párrafos que la necesaria para los conjuntos de datos anteriores.

Separar Ejemplos
'dev' 9,536
'train' 77,409
  • Estructura de características :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
responder Texto cuerda
paso Texto cuerda
consulta_id Texto cuerda
pregunta Texto cuerda
respuestas_validadas Secuencia (Texto) (Ninguna,) cuerda
  • Cita :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}