qa4mre

  • Açıklama :

QA4MRE veri seti, soru cevaplama ve okuduğunu anlama alanındaki araştırmaları teşvik etmek amacıyla CLEF 2011/2012/2013 paylaşılan görevleri için oluşturulmuştur. Veri seti, destekleyici bir pasaj ve pasaja karşılık gelen bir dizi soru içerir. Her soru için, yalnızca biri doğru olan birden çok yanıt seçeneği sunulur. Ana yol için eğitim ve test veri kümeleri mevcuttur. Biri alzheimer verileri, diğeri giriş sınavları verileri olmak üzere iki pilot çalışma için ek altın standart belgeleri mevcuttur.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Açıklama
ÖzelliklerDict
cevap_seçenekleri Sıra
answer_options/answer_id Metin sicim
answer_options/answer_str Metin sicim
doğru_cevap_kimliği Metin sicim
doğru_cevap_str Metin sicim
belge_kimliği Metin sicim
belge_str Metin sicim
soru_kimliği Metin sicim
soru_str Metin sicim
test_id Metin sicim
topic_id Metin sicim
Konu adı Metin sicim
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (varsayılan yapılandırma)

  • Yapılandırma açıklaması : Bu yapılandırma, 2011 yılında DE dili için ana yolu içerir.

  • İndirme boyutu : 217.08 KiB

  • Veri kümesi boyutu : 1.69 MiB

  • bölmeler :

Bölmek örnekler
'train' 120

qa4mre/2011.main.TR

  • Yapılandırma açıklaması : Bu yapılandırma, 2011 yılında EN dili için ana yolu içerir.

  • İndirme boyutu : 197.74 KiB

  • Veri kümesi boyutu : 1.52 MiB

  • bölmeler :

Bölmek örnekler
'train' 120

qa4mre/2011.main.ES

  • Yapılandırma açıklaması : Bu yapılandırma, 2011 yılındaki ES dili için ana parçayı içerir.

  • İndirme boyutu : 212.52 KiB

  • Veri kümesi boyutu : 1.64 MiB

  • bölmeler :

Bölmek örnekler
'train' 120

qa4mre/2011.main.IT

  • Yapılandırma açıklaması : Bu yapılandırma, 2011 yılında BT dili için ana yolu içerir.

  • İndirme boyutu : 209.73 KiB

  • Veri kümesi boyutu : 1.61 MiB

  • bölmeler :

Bölmek örnekler
'train' 120

qa4mre/2011.main.RO

  • Yapılandırma açıklaması : Bu yapılandırma, 2011 yılında RO dili için ana parçayı içerir.

  • İndirme boyutu : 216.32 KiB

  • Veri kümesi boyutu : 1.68 MiB

  • bölmeler :

Bölmek örnekler
'train' 120

qa4mre/2012.main.AR

  • Yapılandırma açıklaması : Bu yapılandırma, 2012 yılında AR dili için ana parçayı içerir.

  • İndirme boyutu : 347.83 KiB

  • Veri kümesi boyutu : 2.62 MiB

  • bölmeler :

Bölmek örnekler
'train' 160

qa4mre/2012.main.BG

  • Yapılandırma açıklaması : Bu yapılandırma, 2012 yılında BG dili için ana yolu içerir.

  • İndirme boyutu : 434.63 KiB

  • Veri kümesi boyutu : 3.33 MiB

  • bölmeler :

Bölmek örnekler
'train' 160

qa4mre/2012.main.DE

  • Yapılandırma açıklaması : Bu yapılandırma, 2012 yılında DE dili için ana parçayı içerir.

  • İndirme boyutu : 275.00 KiB

  • Veri kümesi boyutu : 2.02 MiB

  • bölmeler :

Bölmek örnekler
'train' 160

qa4mre/2012.main.TR

  • Yapılandırma açıklaması : Bu yapılandırma, 2012 yılında EN dili için ana yolu içerir.

  • İndirme boyutu : 237.76 KiB

  • Veri kümesi boyutu : 1.71 MiB

  • bölmeler :

Bölmek örnekler
'train' 160

qa4mre/2012.main.ES

  • Yapılandırma açıklaması : Bu yapılandırma, 2012 yılındaki ES dili için ana parçayı içerir.

  • İndirme boyutu : 271.92 KiB

  • Veri kümesi boyutu : 1.99 MiB

  • bölmeler :

Bölmek örnekler
'train' 160

qa4mre/2012.main.IT

  • Yapılandırma açıklaması : Bu yapılandırma, 2012 yılında BT dili için ana yolu içerir.

  • İndirme boyutu : 273.49 KiB

  • Veri kümesi boyutu : 2.01 MiB

  • bölmeler :

Bölmek örnekler
'train' 160

qa4mre/2012.main.RO

  • Yapılandırma açıklaması : Bu yapılandırma, 2012 yılında RO dili için ana yolu içerir.

  • İndirme boyutu : 272.99 KiB

  • Veri kümesi boyutu : 2.01 MiB

  • bölmeler :

Bölmek örnekler
'train' 160

qa4mre/2012.alzheimers.EN

  • Yapılandırma açıklaması : Bu yapılandırma, 2012 yılında EN dili için alzheimers izini içerir.

  • İndirme boyutu : 173.19 KiB

  • Veri kümesi boyutu : 1.57 MiB

  • bölmeler :

Bölmek örnekler
'train' 40

qa4mre/2013.main.AR

  • Yapılandırma açıklaması : Bu yapılandırma, 2013 yılında AR dili için ana parçayı içerir.

  • İndirme boyutu : 369.44 KiB

  • Veri kümesi boyutu : 4.04 MiB

  • bölmeler :

Bölmek örnekler
'train' 284

qa4mre/2013.main.BG

  • Yapılandırma açıklaması : Bu yapılandırma, 2013 yılında BG dili için ana yolu içerir.

  • İndirme boyutu : 452.74 KiB

  • Veri kümesi boyutu : 5.21 MiB

  • bölmeler :

Bölmek örnekler
'train' 284

qa4mre/2013.main.TR

  • Yapılandırma açıklaması : Bu yapılandırma, 2013 yılında EN dili için ana yolu içerir.

  • İndirme boyutu : 268.52 KiB

  • Veri kümesi boyutu : 2.81 MiB

  • bölmeler :

Bölmek örnekler
'train' 284

qa4mre/2013.main.ES

  • Yapılandırma açıklaması : Bu yapılandırma, 2013 yılındaki ES dili için ana parçayı içerir.

  • İndirme boyutu : 307.78 KiB

  • Veri kümesi boyutu : 3.35 MiB

  • bölmeler :

Bölmek örnekler
'train' 284

qa4mre/2013.main.RO

  • Yapılandırma açıklaması : Bu yapılandırma, 2013 yılında RO dili için ana parçayı içerir.

  • İndirme boyutu : 306.16 KiB

  • Veri kümesi boyutu : 3.26 MiB

  • bölmeler :

Bölmek örnekler
'train' 284

qa4mre/2013.alzheimers.TR

  • Yapılandırma açıklaması : Bu yapılandırma, 2013 yılında EN dili için alzheimers izini içerir.

  • İndirme boyutu : 267.98 KiB

  • Veri kümesi boyutu : 2.50 MiB

  • bölmeler :

Bölmek örnekler
'train' 40

qa4mre/2013.entrance_exam.TR

  • Yapılandırma açıklaması : Bu yapılandırma, 2013 yılında EN dili için giriş_sınavı yolunu içerir.

  • İndirme boyutu : 53.32 KiB

  • Veri kümesi boyutu : 186.01 KiB

  • bölmeler :

Bölmek örnekler
'train' 46