qa4mre

  • Descriptif :

L'ensemble de données QA4MRE a été créé pour les tâches partagées CLEF 2011/2012/2013 afin de promouvoir la recherche sur la réponse aux questions et la compréhension en lecture. L'ensemble de données contient un passage d'appui et un ensemble de questions correspondant au passage. Plusieurs options de réponses sont fournies pour chaque question, dont une seule est correcte. Les ensembles de données d'entraînement et de test sont disponibles pour la piste principale. Des documents de référence supplémentaires sont disponibles pour deux études pilotes : l'une sur les données relatives à la maladie d'Alzheimer et l'autre sur les données des examens d'entrée.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • Documentation des fonctionnalités :
Caractéristique Classe Façonner Dtype Description
FonctionnalitésDict
answer_options Séquence
answer_options/answer_id Texte chaîne de caractères
answer_options/answer_str Texte chaîne de caractères
correct_answer_id Texte chaîne de caractères
chaîne_réponse_correcte Texte chaîne de caractères
document_id Texte chaîne de caractères
document_str Texte chaîne de caractères
question_id Texte chaîne de caractères
question_str Texte chaîne de caractères
test_id Texte chaîne de caractères
topic_id Texte chaîne de caractères
Nom du sujet Texte chaîne de caractères
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (configuration par défaut)

  • Description de la configuration : Cette configuration inclut la piste principale pour la langue DE en 2011.

  • Taille du téléchargement : 217.08 KiB

  • Taille du jeu de données : 1.69 MiB

  • Fractionnements :

Diviser Exemples
'train' 120

qa4mre/2011.main.FR

  • Description de la configuration : Cette configuration inclut la piste principale pour la langue EN en 2011.

  • Taille du téléchargement : 197.74 KiB

  • Taille du jeu de données : 1.52 MiB

  • Fractionnements :

Diviser Exemples
'train' 120

qa4mre/2011.main.ES

  • Description de la configuration : Cette configuration inclut la piste principale pour la langue ES en 2011.

  • Taille du téléchargement : 212.52 KiB

  • Taille du jeu de données : 1.64 MiB

  • Fractionnements :

Diviser Exemples
'train' 120

qa4mre/2011.main.IT

  • Description de la configuration : Cette configuration comprend la piste principale pour le langage informatique de l'année 2011.

  • Taille du téléchargement : 209.73 KiB

  • Taille du jeu de données : 1.61 MiB

  • Fractionnements :

Diviser Exemples
'train' 120

qa4mre/2011.main.RO

  • Description de la configuration : Cette configuration inclut la piste principale pour le langage RO en 2011.

  • Taille du téléchargement : 216.32 KiB

  • Taille du jeu de données : 1.68 MiB

  • Fractionnements :

Diviser Exemples
'train' 120

qa4mre/2012.main.AR

  • Description de la configuration : Cette configuration inclut la piste principale pour le langage AR de l'année 2012.

  • Taille du téléchargement : 347.83 KiB

  • Taille du jeu de données : 2.62 MiB

  • Fractionnements :

Diviser Exemples
'train' 160

qa4mre/2012.main.BG

  • Description de la configuration : Cette configuration inclut la piste principale pour le langage BG en 2012.

  • Taille du téléchargement : 434.63 KiB

  • Taille du jeu de données : 3.33 MiB

  • Fractionnements :

Diviser Exemples
'train' 160

qa4mre/2012.main.DE

  • Description de la configuration : Cette configuration inclut la piste principale pour la langue DE en 2012.

  • Taille du téléchargement : 275.00 KiB

  • Taille du jeu de données : 2.02 MiB

  • Fractionnements :

Diviser Exemples
'train' 160

qa4mre/2012.main.FR

  • Description de la configuration : Cette configuration comprend la piste principale pour la langue EN en 2012.

  • Taille du téléchargement : 237.76 KiB

  • Taille du jeu de données : 1.71 MiB

  • Fractionnements :

Diviser Exemples
'train' 160

qa4mre/2012.main.ES

  • Description de la configuration : Cette configuration comprend la piste principale pour la langue ES en 2012.

  • Taille du téléchargement : 271.92 KiB

  • Taille du jeu de données : 1.99 MiB

  • Fractionnements :

Diviser Exemples
'train' 160

qa4mre/2012.main.IT

  • Description de la configuration : Cette configuration comprend la piste principale pour le langage informatique de l'année 2012.

  • Taille du téléchargement : 273.49 KiB

  • Taille du jeu de données : 2.01 MiB

  • Fractionnements :

Diviser Exemples
'train' 160

qa4mre/2012.main.RO

  • Description de la configuration : Cette configuration inclut la piste principale pour le langage RO en 2012.

  • Taille du téléchargement : 272.99 KiB

  • Taille du jeu de données : 2.01 MiB

  • Fractionnements :

Diviser Exemples
'train' 160

qa4mre/2012.alzheimers.FR

  • Description de la configuration : Cette configuration inclut la piste Alzheimer pour la langue EN en 2012.

  • Taille du téléchargement : 173.19 KiB

  • Taille du jeu de données : 1.57 MiB

  • Fractionnements :

Diviser Exemples
'train' 40

qa4mre/2013.main.AR

  • Description de la configuration : Cette configuration inclut la piste principale pour le langage AR en 2013.

  • Taille du téléchargement : 369.44 KiB

  • Taille du jeu de données : 4.04 MiB

  • Fractionnements :

Diviser Exemples
'train' 284

qa4mre/2013.main.BG

  • Description de la configuration : Cette configuration inclut la piste principale pour le langage BG en 2013.

  • Taille du téléchargement : 452.74 KiB

  • Taille du jeu de données : 5.21 MiB

  • Fractionnements :

Diviser Exemples
'train' 284

qa4mre/2013.main.FR

  • Description de la configuration : cette configuration comprend la piste principale pour la langue EN en 2013.

  • Taille du téléchargement : 268.52 KiB

  • Taille du jeu de données : 2.81 MiB

  • Fractionnements :

Diviser Exemples
'train' 284

qa4mre/2013.main.ES

  • Description de la configuration : Cette configuration inclut la piste principale pour la langue ES en 2013.

  • Taille du téléchargement : 307.78 KiB

  • Taille du jeu de données : 3.35 MiB

  • Fractionnements :

Diviser Exemples
'train' 284

qa4mre/2013.main.RO

  • Description de la configuration : cette configuration comprend la piste principale pour la langue RO en 2013.

  • Taille du téléchargement : 306.16 KiB

  • Taille du jeu de données : 3.26 MiB

  • Fractionnements :

Diviser Exemples
'train' 284

qa4mre/2013.alzheimers.FR

  • Description de la configuration : Cette configuration inclut la piste Alzheimer pour la langue EN en 2013.

  • Taille du téléchargement : 267.98 KiB

  • Taille du jeu de données : 2.50 MiB

  • Fractionnements :

Diviser Exemples
'train' 40

qa4mre/2013.entrance_exam.FR

  • Description de la configuration : Cette configuration inclut la piste entry_exam pour la langue EN en 2013.

  • Taille du téléchargement : 53.32 KiB

  • Taille du jeu de données : 186.01 KiB

  • Fractionnements :

Diviser Exemples
'train' 46