- توضیحات :
مجموعه داده را بر اساس داده های statmt.org ترجمه کنید.
نسخه ها برای سال های مختلف با استفاده از ترکیبی از چندین منبع داده وجود دارد. wmt_translate
پایه به شما امکان می دهد با ایجاد یک tfds.translate.wmt.WmtConfig
سفارشی، پیکربندی خود را ایجاد کنید تا جفت داده/زبان خود را انتخاب کنید.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
صفحه اصلی : http://www.statmt.org/wmt13/translation-task.html
کد منبع :
tfds.translate.Wmt13Translate
نسخه ها :
-
1.0.0
(پیش فرض): بدون یادداشت انتشار.
-
دستورالعملهای دانلود دستی : این مجموعه داده از شما میخواهد که دادههای منبع را به صورت دستی در
download_config.manual_dir
(پیشفرض~/tensorflow_datasets/downloads/manual/
):
برخی از تنظیمات wmt در اینجا نیاز به دانلود دستی دارند. لطفاً برای دیدن مسیر دقیق (و نام فایل) که باید دانلود شود، به wmt.py نگاه کنید.ذخیره خودکار ( اسناد ): خیر
شکل ( tfds.show_examples ): پشتیبانی نمی شود.
نقل قول :
@InProceedings{bojar-EtAl:2013:WMT,
author = {Bojar, Ondrej and Buck, Christian and Callison-Burch, Chris and Federmann, Christian and Haddow, Barry and Koehn, Philipp and Monz, Christof and Post, Matt and Soricut, Radu and Specia, Lucia},
title = {Findings of the 2013 {Workshop on Statistical Machine Translation} },
booktitle = {Proceedings of the Eighth Workshop on Statistical Machine Translation},
month = {August},
year = {2013},
address = {Sofia, Bulgaria},
publisher = {Association for Computational Linguistics},
pages = {1--44},
url = {http://www.aclweb.org/anthology/W13-2201}
}
wmt13_translate/cs-en (پیکربندی پیش فرض)
توضیحات پیکربندی : مجموعه داده وظایف ترجمه WMT 2013 cs-en.
حجم دانلود :
1.59 GiB
حجم مجموعه داده :
2.89 GiB
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 3000 |
'train' | 15,780,759 |
'validation' | 13,573 |
- ساختار ویژگی :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
cs | متن | رشته | ||
en | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('cs', 'en')
مثالها ( tfds.as_dataframe ):
wmt13_translate/de-en
توضیحات پیکربندی : مجموعه داده وظایف ترجمه WMT 2013 de-en.
حجم دانلود :
1.59 GiB
حجم مجموعه داده :
1.36 GiB
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 3000 |
'train' | 4,485,758 |
'validation' | 13,573 |
- ساختار ویژگی :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
de | متن | رشته | ||
en | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('de', 'en')
مثالها ( tfds.as_dataframe ):
wmt13_translate/fr-en
توضیحات پیکربندی : مجموعه داده وظایف ترجمه WMT 2013 fr-en.
حجم دانلود :
6.21 GiB
حجم مجموعه داده :
14.64 GiB
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 3000 |
'train' | 40,810,860 |
'validation' | 13,573 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
fr | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('fr', 'en')
مثالها ( tfds.as_dataframe ):
wmt13_translate/es-en
توضیحات پیکربندی : مجموعه داده وظایف ترجمه WMT 2013 es-en.
حجم دانلود :
3.79 GiB
حجم مجموعه داده :
5.24 GiB
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 3000 |
'train' | 15,176,790 |
'validation' | 13,573 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'es': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
es | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('es', 'en')
مثالها ( tfds.as_dataframe ):
wmt13_translate/ru-en
توضیحات پیکربندی : مجموعه داده وظایف ترجمه WMT 2013 ru-en.
حجم دانلود :
1010.20 MiB
حجم مجموعه داده :
833.67 MiB
تقسیم ها :
شکاف | مثال ها |
---|---|
'test' | 3000 |
'train' | 2,471,670 |
'validation' | 3003 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
ru | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('ru', 'en')
مثالها ( tfds.as_dataframe ):