goutte

• Descriptif :

Alors que les performances du système sur les benchmarks de compréhension de lecture existants s'approchent ou dépassent les performances humaines, nous avons besoin d'un nouvel ensemble de données solides qui améliore les capacités des systèmes à lire réellement des paragraphes de texte. DROP est un benchmark de 96 000 questions créé de manière participative et contradictoire, dans lequel un système doit résoudre les références d'une question, peut-être à plusieurs positions d'entrée, et effectuer des opérations discrètes sur celles-ci (telles que l'addition, le comptage ou le tri). Ces opérations nécessitent une compréhension beaucoup plus complète du contenu des paragraphes que ce qui était nécessaire pour les ensembles de données antérieurs.

• Documentation complémentaire : Explorer sur Papers With Code

• Page d' accueil : https://allennlp.org/drop

• Code source : tfds.text.drop.Drop

• Versions :

  • 1.0.0 : Version initiale.
  • 2.0.0 (par défaut) : Ajoutez toutes les options pour les réponses.

• Taille du téléchargement : 7.92 MiB

• Taille du jeu de données : 116.24 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'dev'	9 536
'train'	77 409

• Structure des fonctionnalités :

FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
réponse	Texte		chaîne de caractères
passage	Texte		chaîne de caractères
ID_requête	Texte		chaîne de caractères
question	Texte		chaîne de caractères
réponses_validées	Séquence (texte)	(Aucun,)	chaîne de caractères

• Clés supervisées (Voir as_supervised doc ): None

• Figure ( tfds.show_examples ) : non pris en charge.

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}