qa4mre

  • Descrizione :

Il set di dati QA4MRE è stato creato per i compiti condivisi CLEF 2011/2012/2013 per promuovere la ricerca nella risposta alle domande e nella comprensione della lettura. Il set di dati contiene un passaggio di supporto e una serie di domande corrispondenti al passaggio. Per ogni domanda vengono fornite più opzioni di risposta, di cui solo una è corretta. I set di dati di addestramento e test sono disponibili per la traccia principale. Ulteriori documenti gold standard sono disponibili per due studi pilota: uno sui dati di alzheimer e l'altro sui dati degli esami di ammissione.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
risposta_opzioni Sequenza
answer_options/answer_id Testo corda
answer_options/answer_str Testo corda
ID_risposta_corretta Testo corda
risposta_corretta_str Testo corda
documento_id Testo corda
documento_str Testo corda
domanda_id Testo corda
domanda_str Testo corda
test_id Testo corda
topic_id Testo corda
nome_argomento Testo corda
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (configurazione predefinita)

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua DE nell'anno 2011.

  • Dimensione del download : 217.08 KiB

  • Dimensione del set di dati: 1.69 MiB

  • Divisioni :

Diviso Esempi
'train' 120

qa4mre/2011.main.IT

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua EN nell'anno 2011.

  • Dimensione del download : 197.74 KiB

  • Dimensione del set di dati : 1.52 MiB

  • Divisioni :

Diviso Esempi
'train' 120

qa4mre/2011.main.ES

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua ES nell'anno 2011.

  • Dimensione del download : 212.52 KiB

  • Dimensione del set di dati: 1.64 MiB

  • Divisioni :

Diviso Esempi
'train' 120

qa4mre/2011.main.IT

  • Descrizione della configurazione: questa configurazione include la traccia principale per il linguaggio IT nell'anno 2011.

  • Dimensione del download : 209.73 KiB

  • Dimensione del set di dati: 1.61 MiB

  • Divisioni :

Diviso Esempi
'train' 120

qa4mre/2011.main.RO

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua RO nell'anno 2011.

  • Dimensione del download : 216.32 KiB

  • Dimensione del set di dati : 1.68 MiB

  • Divisioni :

Diviso Esempi
'train' 120

qa4mre/2012.main.AR

  • Descrizione della configurazione: questa configurazione include la traccia principale per il linguaggio AR nell'anno 2012.

  • Dimensione del download : 347.83 KiB

  • Dimensione del set di dati: 2.62 MiB

  • Divisioni :

Diviso Esempi
'train' 160

qa4mre/2012.main.BG

  • Descrizione della configurazione: questa configurazione include la traccia principale per il linguaggio BG nell'anno 2012.

  • Dimensione del download : 434.63 KiB

  • Dimensione del set di dati : 3.33 MiB

  • Divisioni :

Diviso Esempi
'train' 160

qa4mre/2012.main.DE

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua DE nell'anno 2012.

  • Dimensione del download : 275.00 KiB

  • Dimensione del set di dati : 2.02 MiB

  • Divisioni :

Diviso Esempi
'train' 160

qa4mre/2012.main.IT

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua EN nell'anno 2012.

  • Dimensione del download : 237.76 KiB

  • Dimensione del set di dati: 1.71 MiB

  • Divisioni :

Diviso Esempi
'train' 160

qa4mre/2012.main.ES

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua ES nell'anno 2012.

  • Dimensione del download : 271.92 KiB

  • Dimensione del set di dati : 1.99 MiB

  • Divisioni :

Diviso Esempi
'train' 160

qa4mre/2012.main.IT

  • Descrizione della configurazione: questa configurazione include la traccia principale per il linguaggio IT nell'anno 2012.

  • Dimensione del download : 273.49 KiB

  • Dimensione del set di dati : 2.01 MiB

  • Divisioni :

Diviso Esempi
'train' 160

qa4mre/2012.main.RO

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua RO nell'anno 2012.

  • Dimensione del download : 272.99 KiB

  • Dimensione del set di dati : 2.01 MiB

  • Divisioni :

Diviso Esempi
'train' 160

qa4mre/2012.alzheimers.IT

  • Descrizione della configurazione: questa configurazione include la traccia alzheimers per la lingua EN nell'anno 2012.

  • Dimensione del download : 173.19 KiB

  • Dimensione del set di dati: 1.57 MiB

  • Divisioni :

Diviso Esempi
'train' 40

qa4mre/2013.main.AR

  • Descrizione della configurazione: questa configurazione include la traccia principale per il linguaggio AR nell'anno 2013.

  • Dimensione del download : 369.44 KiB

  • Dimensione del set di dati: 4.04 MiB

  • Divisioni :

Diviso Esempi
'train' 284

qa4mre/2013.main.BG

  • Descrizione della configurazione: questa configurazione include la traccia principale per il linguaggio BG nell'anno 2013.

  • Dimensione del download : 452.74 KiB

  • Dimensione del set di dati: 5.21 MiB

  • Divisioni :

Diviso Esempi
'train' 284

qa4mre/2013.main.IT

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua EN nell'anno 2013.

  • Dimensione del download : 268.52 KiB

  • Dimensione del set di dati: 2.81 MiB

  • Divisioni :

Diviso Esempi
'train' 284

qa4mre/2013.main.ES

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua ES nell'anno 2013.

  • Dimensione del download : 307.78 KiB

  • Dimensione del set di dati : 3.35 MiB

  • Divisioni :

Diviso Esempi
'train' 284

qa4mre/2013.main.RO

  • Descrizione della configurazione: questa configurazione include la traccia principale per la lingua RO nell'anno 2013.

  • Dimensione del download : 306.16 KiB

  • Dimensione del set di dati: 3.26 MiB

  • Divisioni :

Diviso Esempi
'train' 284

qa4mre/2013.alzheimers.IT

  • Descrizione della configurazione: questa configurazione include la traccia alzheimers per la lingua EN nell'anno 2013.

  • Dimensione del download : 267.98 KiB

  • Dimensione del set di dati : 2.50 MiB

  • Divisioni :

Diviso Esempi
'train' 40

qa4mre/2013.entrance_exam.IT

  • Descrizione della configurazione: questa configurazione include la traccia dell'esame di ingresso per la lingua EN nell'anno 2013.

  • Dimensione del download : 53.32 KiB

  • Dimensione del set di dati: 186.01 KiB

  • Divisioni :

Diviso Esempi
'train' 46