- Deskripsi :
Terjemahkan kumpulan data berdasarkan data dari statmt.org.
Versi ada untuk tahun yang berbeda menggunakan kombinasi beberapa sumber data. Basis wmt_translate memungkinkan Anda membuat konfigurasi sendiri untuk memilih pasangan data/bahasa Anda sendiri dengan membuat tfds.translate.wmt.WmtConfig khusus.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Deskripsi konfigurasi : Dataset tugas terjemahan WMT T2T EnDe.
Kode sumber :
tfds.translate.WmtT2tTranslateVersi :
-
1.0.0(default): Tidak ada catatan rilis.
-
Ukuran unduhan :
1.61 GiBUkuran dataset :
1.39 GiBInstruksi pengunduhan manual : Kumpulan data ini mengharuskan Anda mengunduh data sumber secara manual ke
download_config.manual_dir(default ke~/tensorflow_datasets/downloads/manual/):
Beberapa konfigurasi wmt di sini, memerlukan unduhan manual. Silakan lihat wmt.py untuk melihat jalur yang tepat (dan nama file) yang harus diunduh.Di-cache otomatis ( dokumentasi ): Tidak
Perpecahan :
| Membelah | Contoh |
|---|---|
'test' | 3.003 |
'train' | 4.592.289 |
'validation' | 3.000 |
- Struktur fitur :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Dokumentasi fitur :
| Fitur | Kelas | Membentuk | Dtype | Keterangan |
|---|---|---|---|---|
| Terjemahan | ||||
| de | Teks | rangkaian | ||
| en | Teks | rangkaian |
Kunci yang diawasi (Lihat
as_superviseddoc ):('de', 'en')Gambar ( tfds.show_examples ): Tidak didukung.
Contoh ( tfds.as_dataframe ):
- Kutipan :
@InProceedings{bojar-EtAl:2014:W14-33,
author = {Bojar, Ondrej and Buck, Christian and Federmann, Christian and Haddow, Barry and Koehn, Philipp and Leveling, Johannes and Monz, Christof and Pecina, Pavel and Post, Matt and Saint-Amand, Herve and Soricut, Radu and Specia, Lucia and Tamchyna, Ale
{s} },
title = {Findings of the 2014 Workshop on Statistical Machine Translation},
booktitle = {Proceedings of the Ninth Workshop on Statistical Machine Translation},
month = {June},
year = {2014},
address = {Baltimore, Maryland, USA},
publisher = {Association for Computational Linguistics},
pages = {12--58},
url = {http://www.aclweb.org/anthology/W/W14/W14-3302}
}