jawaban_kesetaraan

• Deskripsi :

Dataset Kesetaraan Jawaban berisi peringkat manusia pada prediksi model dari beberapa model pada dataset SQuAD. Peringkat menentukan apakah jawaban yang diprediksi 'setara' dengan jawaban emas (dengan mempertimbangkan pertanyaan dan konteks).

Lebih khusus lagi, dengan 'setara' kami maksudkan bahwa jawaban yang diprediksi berisi setidaknya informasi yang sama dengan jawaban emas dan tidak menambahkan informasi yang berlebihan. Kumpulan data berisi anotasi untuk: * prediksi dari BiDAF di SQuAD dev * prediksi dari XLNet di SQuAD dev * prediksi dari Luke di SQuAD dev * prediksi dari Albert pada contoh pelatihan, pengembangan, dan pengujian SQuAD

• Beranda : https://github.com/google-research-datasets/answer-equivalence-dataset

• Kode sumber : tfds.datasets.answer_equivalence.Builder

• Versi :

  • 1.0.0 (default): Rilis awal.

• Ukuran unduhan : 45.86 MiB

• Ukuran dataset : 47.24 MiB

• Di-cache otomatis ( dokumentasi ): Ya

• Perpecahan :

Membelah	Contoh
'ae_dev'	4.446
'ae_test'	9.724
'dev_bidaf'	7.522
'dev_luke'	4.590
'dev_xlnet'	7.932
'train'	9.090

• Struktur fitur :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• Dokumentasi fitur :

Fitur	Kelas	Membentuk	Dtype	Keterangan
	fiturDict
calon	Teks		rangkaian
konteks	Teks		rangkaian
indeks_emas	Tensor		int32
qid	Teks		rangkaian
pertanyaan	Teks		rangkaian
pertanyaan 1	LabelKelas		int64
pertanyaan_2	LabelKelas		int64
pertanyaan_3	LabelKelas		int64
pertanyaan_4	LabelKelas		int64
referensi	Teks		rangkaian
skor	Tensor		float32

• Kunci yang diawasi (Lihat as_supervised doc ): None

• Gambar ( tfds.show_examples ): Tidak didukung.

• Contoh ( tfds.as_dataframe ):

• Kutipan :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}