qa4mre

  • Deskripsi :

Kumpulan data QA4MRE dibuat untuk tugas bersama CLEF 2011/2012/2013 untuk mempromosikan penelitian dalam menjawab pertanyaan dan pemahaman membaca. Kumpulan data berisi bagian pendukung dan serangkaian pertanyaan yang sesuai dengan bagian tersebut. Beberapa pilihan jawaban disediakan untuk setiap pertanyaan, yang mana hanya satu yang benar. Dataset pelatihan dan pengujian tersedia untuk track utama. Dokumen standar emas tambahan tersedia untuk dua studi percontohan: satu pada data alzheimers, dan yang lainnya pada data ujian masuk.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Dtype Keterangan
fiturDict
opsi_jawaban Urutan
answer_options/answer_id Teks rangkaian
answer_options/answer_str Teks rangkaian
benar_jawaban_id Teks rangkaian
benar_answer_str Teks rangkaian
dokumen_id Teks rangkaian
document_str Teks rangkaian
id_pertanyaan Teks rangkaian
pertanyaan_str Teks rangkaian
test_id Teks rangkaian
topic_id Teks rangkaian
nama_topik Teks rangkaian
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (konfigurasi default)

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa DE di tahun 2011.

  • Ukuran unduhan : 217.08 KiB

  • Ukuran dataset : 1.69 MiB

  • Perpecahan :

Membelah Contoh
'train' 120

qa4mre/2011.main.EN

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa EN di tahun 2011.

  • Ukuran unduhan : 197.74 KiB

  • Ukuran dataset : 1.52 MiB

  • Perpecahan :

Membelah Contoh
'train' 120

qa4mre/2011.main.ES

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa ES di tahun 2011.

  • Ukuran unduhan : 212.52 KiB

  • Ukuran dataset : 1.64 MiB

  • Perpecahan :

Membelah Contoh
'train' 120

qa4mre/2011.main.IT

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa TI di tahun 2011.

  • Ukuran unduhan : 209.73 KiB

  • Ukuran dataset : 1.61 MiB

  • Perpecahan :

Membelah Contoh
'train' 120

qa4mre/2011.main.RO

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa RO di tahun 2011.

  • Ukuran unduhan : 216.32 KiB

  • Ukuran dataset : 1.68 MiB

  • Perpecahan :

Membelah Contoh
'train' 120

qa4mre/2012.main.AR

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa AR di tahun 2012.

  • Ukuran unduhan : 347.83 KiB

  • Ukuran dataset : 2.62 MiB

  • Perpecahan :

Membelah Contoh
'train' 160

qa4mre/2012.main.BG

  • Deskripsi konfigurasi : Konfigurasi ini mencakup trek utama untuk bahasa BG di tahun 2012.

  • Ukuran unduhan : 434.63 KiB

  • Ukuran dataset : 3.33 MiB

  • Perpecahan :

Membelah Contoh
'train' 160

qa4mre/2012.main.DE

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa DE di tahun 2012.

  • Ukuran unduhan : 275.00 KiB

  • Ukuran dataset : 2.02 MiB

  • Perpecahan :

Membelah Contoh
'train' 160

qa4mre/2012.main.EN

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa EN di tahun 2012.

  • Ukuran unduhan : 237.76 KiB

  • Ukuran dataset : 1.71 MiB

  • Perpecahan :

Membelah Contoh
'train' 160

qa4mre/2012.main.ES

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa ES di tahun 2012.

  • Ukuran unduhan : 271.92 KiB

  • Ukuran dataset : 1.99 MiB

  • Perpecahan :

Membelah Contoh
'train' 160

qa4mre/2012.main.IT

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa TI di tahun 2012.

  • Ukuran unduhan : 273.49 KiB

  • Ukuran dataset : 2.01 MiB

  • Perpecahan :

Membelah Contoh
'train' 160

qa4mre/2012.main.RO

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa RO di tahun 2012.

  • Ukuran unduhan : 272.99 KiB

  • Ukuran dataset : 2.01 MiB

  • Perpecahan :

Membelah Contoh
'train' 160

qa4mre/2012.alzheimers.EN

  • Deskripsi konfigurasi : Konfigurasi ini mencakup trek alzheimers untuk bahasa EN pada tahun 2012.

  • Ukuran unduhan : 173.19 KiB

  • Ukuran dataset : 1.57 MiB

  • Perpecahan :

Membelah Contoh
'train' 40

qa4mre/2013.main.AR

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa AR di tahun 2013.

  • Ukuran unduhan : 369.44 KiB

  • Ukuran dataset : 4.04 MiB

  • Perpecahan :

Membelah Contoh
'train' 284

qa4mre/2013.main.BG

  • Deskripsi konfigurasi : Konfigurasi ini mencakup trek utama untuk bahasa BG di tahun 2013.

  • Ukuran unduhan : 452.74 KiB

  • Ukuran dataset : 5.21 MiB

  • Perpecahan :

Membelah Contoh
'train' 284

qa4mre/2013.main.EN

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa EN di tahun 2013.

  • Ukuran unduhan : 268.52 KiB

  • Ukuran dataset : 2.81 MiB

  • Perpecahan :

Membelah Contoh
'train' 284

qa4mre/2013.main.ES

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa ES di tahun 2013.

  • Ukuran unduhan : 307.78 KiB

  • Ukuran dataset : 3.35 MiB

  • Perpecahan :

Membelah Contoh
'train' 284

qa4mre/2013.main.RO

  • Deskripsi konfigurasi : Konfigurasi ini mencakup jalur utama untuk bahasa RO di tahun 2013.

  • Ukuran unduhan : 306.16 KiB

  • Ukuran dataset : 3.26 MiB

  • Perpecahan :

Membelah Contoh
'train' 284

qa4mre/2013.alzheimers.EN

  • Deskripsi konfigurasi : Konfigurasi ini mencakup trek alzheimers untuk bahasa EN pada tahun 2013.

  • Ukuran unduhan : 267.98 KiB

  • Ukuran dataset : 2.50 MiB

  • Perpecahan :

Membelah Contoh
'train' 40

qa4mre/2013.entrance_exam.EN

  • Deskripsi Config : Konfigurasi ini termasuk track entrance_exam untuk bahasa EN di tahun 2013.

  • Ukuran unduhan : 53.32 KiB

  • Ukuran dataset : 186.01 KiB

  • Perpecahan :

Membelah Contoh
'train' 46