- توضیحات :
مجموعه داده را بر اساس داده های statmt.org ترجمه کنید.
نسخه ها برای سال های مختلف با استفاده از ترکیبی از چندین منبع داده وجود دارد. wmt_translate
پایه به شما امکان می دهد با ایجاد یک tfds.translate.wmt.WmtConfig
سفارشی، پیکربندی خود را ایجاد کنید تا جفت داده/زبان خود را انتخاب کنید.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
صفحه اصلی : http://www.statmt.org/wmt19/translation-task.html
کد منبع :
tfds.translate.Wmt19Translate
نسخه ها :
-
1.0.0
(پیش فرض): بدون یادداشت انتشار.
-
دستورالعملهای دانلود دستی : این مجموعه داده از شما میخواهد که دادههای منبع را به صورت دستی در
download_config.manual_dir
(پیشفرض~/tensorflow_datasets/downloads/manual/
):
برخی از تنظیمات wmt در اینجا نیاز به دانلود دستی دارند. لطفاً برای دیدن مسیر دقیق (و نام فایل) که باید دانلود شود، به wmt.py نگاه کنید.شکل ( tfds.show_examples ): پشتیبانی نمی شود.
نقل قول :
@ONLINE {wmt19translate,
author = "Wikimedia Foundation",
title = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
url = "http://www.statmt.org/wmt19/translation-task.html"
}
wmt19_translate/cs-en (پیکربندی پیش فرض)
شرح پیکربندی : مجموعه داده وظایف ترجمه cs-en WMT 2019.
حجم دانلود :
1.88 GiB
حجم مجموعه داده :
3.64 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 20,246,548 |
'validation' | 2,983 |
- ساختار ویژگی :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
cs | متن | رشته | ||
en | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('cs', 'en')
مثالها ( tfds.as_dataframe ):
wmt19_translate/de-en
شرح پیکربندی : مجموعه داده وظایف ترجمه de-en WMT 2019.
حجم دانلود :
9.71 GiB
حجم مجموعه داده :
8.60 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 38,690,334 |
'validation' | 2998 |
- ساختار ویژگی :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
de | متن | رشته | ||
en | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('de', 'en')
مثالها ( tfds.as_dataframe ):
wmt19_translate/fi-en
توضیحات پیکربندی : مجموعه داده وظایف ترجمه WMT 2019 fi-en.
حجم دانلود :
959.46 MiB
حجم مجموعه داده :
1.46 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 6,587,448 |
'validation' | 3000 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
فی | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('fi', 'en')
مثالها ( tfds.as_dataframe ):
wmt19_translate/gu-en
توضیحات پیکربندی : مجموعه داده وظایف ترجمه WMT 2019 gu-en.
حجم دانلود :
37.03 MiB
حجم مجموعه داده :
1.55 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 11670 |
'validation' | 1998 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'gu': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
Gu | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('gu', 'en')
مثالها ( tfds.as_dataframe ):
wmt19_translate/kk-en
شرح پیکربندی : مجموعه داده وظایف ترجمه WMT 2019 kk-en.
حجم دانلود :
39.58 MiB
حجم مجموعه داده :
11.82 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 126583 |
'validation' | 2066 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'kk': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
kk | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('kk', 'en')
مثالها ( tfds.as_dataframe ):
wmt19_translate/lt-en
توضیحات پیکربندی : مجموعه داده وظایف ترجمه WMT 2019 lt-en.
حجم دانلود :
392.20 MiB
حجم مجموعه داده :
537.26 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 2,344,893 |
'validation' | 2000 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'lt': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
آن | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('lt', 'en')
مثالها ( tfds.as_dataframe ):
wmt19_translate/ru-en
شرح پیکربندی : مجموعه داده وظایف ترجمه WMT 2019 ru-en.
حجم دانلود :
1.57 GiB
حجم مجموعه داده :
13.95 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 38,492,126 |
'validation' | 3000 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
ru | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('ru', 'en')
مثالها ( tfds.as_dataframe ):
wmt19_translate/zh-en
توضیحات پیکربندی : مجموعه داده وظایف ترجمه zh-en WMT 2019.
حجم دانلود :
770.91 MiB
حجم مجموعه داده :
6.49 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 25,986,436 |
'validation' | 3,981 |
- ساختار ویژگی :
Translation({
'en': Text(shape=(), dtype=string),
'zh': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
en | متن | رشته | ||
zh | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('zh', 'en')
مثالها ( tfds.as_dataframe ):
wmt19_translate/fr-de
شرح پیکربندی : مجموعه داده وظایف ترجمه fr-de WMT 2019.
حجم دانلود :
722.20 MiB
حجم مجموعه داده :
2.39 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'train' | 9,824,476 |
'validation' | 1512 |
- ساختار ویژگی :
Translation({
'de': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
ترجمه | ||||
de | متن | رشته | ||
fr | متن | رشته |
کلیدهای نظارت شده (نگاه کنید به
as_supervised
doc ):('fr', 'de')
مثالها ( tfds.as_dataframe ):