qa4mre

  • Descrição :

O conjunto de dados QA4MRE foi criado para as tarefas compartilhadas CLEF 2011/2012/2013 para promover a pesquisa em resposta a perguntas e compreensão de leitura. O conjunto de dados contém uma passagem de apoio e um conjunto de perguntas correspondentes à passagem. Várias opções de respostas são fornecidas para cada pergunta, das quais apenas uma está correta. Os conjuntos de dados de treinamento e teste estão disponíveis para a faixa principal. Documentos padrão ouro adicionais estão disponíveis para dois estudos piloto: um sobre dados de alzheimer e outro sobre dados de exames de admissão.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Funcionalidade Aula Forma Tipo D Descrição
RecursosDict
answer_options Seqüência
answer_options/answer_id Texto fragmento
answer_options/answer_str Texto fragmento
correct_answer_id Texto fragmento
correct_answer_str Texto fragmento
documento_id Texto fragmento
document_str Texto fragmento
question_id Texto fragmento
question_str Texto fragmento
test_id Texto fragmento
tópico_id Texto fragmento
nome do tópico Texto fragmento
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (configuração padrão)

  • Descrição da configuração : Esta configuração inclui a faixa principal para a linguagem DE no ano 2011.

  • Tamanho do download : 217.08 KiB

  • Tamanho do conjunto de dados : 1.69 MiB

  • Divisões :

Dividir Exemplos
'train' 120

qa4mre/2011.main.PT

  • Descrição da configuração : Esta configuração inclui a faixa principal para o idioma EN no ano 2011.

  • Tamanho do download : 197.74 KiB

  • Tamanho do conjunto de dados : 1.52 MiB

  • Divisões :

Dividir Exemplos
'train' 120

qa4mre/2011.main.ES

  • Descrição da configuração : Esta configuração inclui a faixa principal para o idioma ES no ano 2011.

  • Tamanho do download : 212.52 KiB

  • Tamanho do conjunto de dados : 1.64 MiB

  • Divisões :

Dividir Exemplos
'train' 120

qa4mre/2011.main.IT

  • Descrição da configuração : Esta configuração inclui a trilha principal para o idioma de TI no ano 2011.

  • Tamanho do download : 209.73 KiB

  • Tamanho do conjunto de dados : 1.61 MiB

  • Divisões :

Dividir Exemplos
'train' 120

qa4mre/2011.main.RO

  • Descrição da configuração : Esta configuração inclui a faixa principal para a linguagem RO no ano 2011.

  • Tamanho do download : 216.32 KiB

  • Tamanho do conjunto de dados : 1.68 MiB

  • Divisões :

Dividir Exemplos
'train' 120

qa4mre/2012.main.AR

  • Descrição da configuração : Esta configuração inclui a faixa principal para a linguagem AR no ano 2012.

  • Tamanho do download : 347.83 KiB

  • Tamanho do conjunto de dados : 2.62 MiB

  • Divisões :

Dividir Exemplos
'train' 160

qa4mre/2012.main.BG

  • Descrição da configuração : Esta configuração inclui a faixa principal para o idioma BG no ano 2012.

  • Tamanho do download : 434.63 KiB

  • Tamanho do conjunto de dados : 3.33 MiB

  • Divisões :

Dividir Exemplos
'train' 160

qa4mre/2012.main.DE

  • Descrição da configuração : Esta configuração inclui a faixa principal para a linguagem DE no ano de 2012.

  • Tamanho do download : 275.00 KiB

  • Tamanho do conjunto de dados : 2.02 MiB

  • Divisões :

Dividir Exemplos
'train' 160

qa4mre/2012.main.PT

  • Descrição da configuração : Esta configuração inclui a faixa principal para o idioma EN no ano 2012.

  • Tamanho do download : 237.76 KiB

  • Tamanho do conjunto de dados : 1.71 MiB

  • Divisões :

Dividir Exemplos
'train' 160

qa4mre/2012.main.ES

  • Descrição da configuração : Esta configuração inclui a faixa principal para o idioma ES no ano 2012.

  • Tamanho do download : 271.92 KiB

  • Tamanho do conjunto de dados : 1.99 MiB

  • Divisões :

Dividir Exemplos
'train' 160

qa4mre/2012.main.IT

  • Descrição da configuração : Esta configuração inclui a trilha principal para o idioma de TI no ano de 2012.

  • Tamanho do download : 273.49 KiB

  • Tamanho do conjunto de dados : 2.01 MiB

  • Divisões :

Dividir Exemplos
'train' 160

qa4mre/2012.main.RO

  • Descrição da configuração : Esta configuração inclui a faixa principal para a linguagem RO no ano 2012.

  • Tamanho do download : 272.99 KiB

  • Tamanho do conjunto de dados : 2.01 MiB

  • Divisões :

Dividir Exemplos
'train' 160

qa4mre/2012.alzheimers.EN

  • Descrição da configuração : Esta configuração inclui a faixa alzheimers para o idioma EN no ano 2012.

  • Tamanho do download : 173.19 KiB

  • Tamanho do conjunto de dados : 1.57 MiB

  • Divisões :

Dividir Exemplos
'train' 40

qa4mre/2013.main.AR

  • Descrição da configuração : Esta configuração inclui a faixa principal para a linguagem AR no ano 2013.

  • Tamanho do download : 369.44 KiB

  • Tamanho do conjunto de dados : 4.04 MiB

  • Divisões :

Dividir Exemplos
'train' 284

qa4mre/2013.main.BG

  • Descrição da configuração : Esta configuração inclui a faixa principal para o idioma BG no ano 2013.

  • Tamanho do download : 452.74 KiB

  • Tamanho do conjunto de dados : 5.21 MiB

  • Divisões :

Dividir Exemplos
'train' 284

qa4mre/2013.main.PT

  • Descrição da configuração : Esta configuração inclui a faixa principal para o idioma EN no ano 2013.

  • Tamanho do download : 268.52 KiB

  • Tamanho do conjunto de dados : 2.81 MiB

  • Divisões :

Dividir Exemplos
'train' 284

qa4mre/2013.main.ES

  • Descrição da configuração : Esta configuração inclui a faixa principal para o idioma ES no ano 2013.

  • Tamanho do download : 307.78 KiB

  • Tamanho do conjunto de dados : 3.35 MiB

  • Divisões :

Dividir Exemplos
'train' 284

qa4mre/2013.main.RO

  • Descrição da configuração : Esta configuração inclui a faixa principal para a linguagem RO no ano 2013.

  • Tamanho do download : 306.16 KiB

  • Tamanho do conjunto de dados : 3.26 MiB

  • Divisões :

Dividir Exemplos
'train' 284

qa4mre/2013.alzheimers.EN

  • Descrição da configuração : Esta configuração inclui a faixa alzheimers para o idioma EN no ano 2013.

  • Tamanho do download : 267.98 KiB

  • Tamanho do conjunto de dados : 2.50 MiB

  • Divisões :

Dividir Exemplos
'train' 40

qa4mre/2013.entrance_exam.EN

  • Descrição da configuração : Esta configuração inclui a trilha do vestibular para o idioma EN no ano de 2013.

  • Tamanho do download : 53.32 KiB

  • Tamanho do conjunto de dados : 186.01 KiB

  • Divisões :

Dividir Exemplos
'train' 46