menjatuhkan

• Deskripsi :

Dengan kinerja sistem pada tolok ukur pemahaman bacaan yang mendekati atau melampaui kinerja manusia, kami memerlukan kumpulan data baru dan keras yang meningkatkan kemampuan sistem untuk benar-benar membaca paragraf teks. DROP adalah tolok ukur 96k pertanyaan yang dibuat secara crowdsourced, dibuat secara bermusuhan, di mana sistem harus menyelesaikan referensi dalam sebuah pertanyaan, mungkin ke beberapa posisi input, dan melakukan operasi diskrit terhadapnya (seperti penambahan, penghitungan, atau penyortiran). Operasi ini membutuhkan pemahaman yang jauh lebih komprehensif tentang isi paragraf daripada yang diperlukan untuk kumpulan data sebelumnya.

• Dokumentasi Tambahan : Jelajahi di Makalah Dengan Kode

• Beranda : https://allennlp.org/drop

• Kode sumber : tfds.text.drop.Drop

• Versi :

  • 1.0.0 : Rilis awal.
  • 2.0.0 (default): Tambahkan semua opsi untuk jawaban.

• Ukuran unduhan : 7.92 MiB

• Ukuran dataset : 116.24 MiB

• Di-cache otomatis ( dokumentasi ): Ya

• Perpecahan :

Membelah	Contoh
'dev'	9.536
'train'	77.409

• Struktur fitur :

FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})

• Dokumentasi fitur :

Fitur	Kelas	Membentuk	Dtype	Keterangan
	fiturDict
menjawab	Teks		rangkaian
jalan	Teks		rangkaian
query_id	Teks		rangkaian
pertanyaan	Teks		rangkaian
divalidasi_jawaban	Urutan (Teks)	(Tidak ada,)	rangkaian

• Kunci yang diawasi (Lihat as_supervised doc ): None

• Gambar ( tfds.show_examples ): Tidak didukung.

• Contoh ( tfds.as_dataframe ):

• Kutipan :

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}