- الوصف :
ترجمة مجموعة البيانات بناءً على البيانات من statmt.org.
توجد إصدارات لسنوات مختلفة باستخدام مجموعة من مصادر البيانات المتعددة. يسمح لك wmt_translate الأساسي بإنشاء التكوين الخاص بك لاختيار زوج البيانات / اللغة الخاص بك عن طريق إنشاء tfds.translate.wmt.WmtConfig مخصص.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
وصف التكوين : مجموعة بيانات مهمة ترجمة WMT T2T EnDe.
الصفحة الرئيسية : https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/data_generators/translate_ende.py
كود المصدر :
tfds.translate.WmtT2tTranslateإصدارات :
-
1.0.0(افتراضي): لا توجد ملاحظات حول الإصدار.
-
حجم التحميل :
1.61 GiBحجم مجموعة البيانات :
1.39 GiBإرشادات التنزيل اليدوي : تتطلب مجموعة البيانات هذه تنزيل بيانات المصدر يدويًا إلى
download_config.manual_dir(الإعدادات الافتراضية على~/tensorflow_datasets/downloads/manual/):
تتطلب بعض تكوينات wmt هنا تنزيلًا يدويًا. يرجى البحث في wmt.py لمعرفة المسار الدقيق (واسم الملف) الذي يجب تنزيله.التخزين المؤقت التلقائي ( التوثيق ): لا
الانقسامات :
| انشق، مزق | أمثلة |
|---|---|
'test' | 3003 |
'train' | 4،592،289 |
'validation' | 3000 |
- هيكل الميزة :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- وثائق الميزة :
| ميزة | فصل | شكل | نوع | وصف |
|---|---|---|---|---|
| ترجمة | ||||
| دي | نص | سلسلة | ||
| en | نص | سلسلة |
المفاتيح الخاضعة للإشراف (انظر
as_superviseddoc ):('de', 'en')الشكل ( tfds.show_examples ): غير مدعوم.
أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@InProceedings{bojar-EtAl:2014:W14-33,
author = {Bojar, Ondrej and Buck, Christian and Federmann, Christian and Haddow, Barry and Koehn, Philipp and Leveling, Johannes and Monz, Christof and Pecina, Pavel and Post, Matt and Saint-Amand, Herve and Soricut, Radu and Specia, Lucia and Tamchyna, Ale
{s} },
title = {Findings of the 2014 Workshop on Statistical Machine Translation},
booktitle = {Proceedings of the Ninth Workshop on Statistical Machine Translation},
month = {June},
year = {2014},
address = {Baltimore, Maryland, USA},
publisher = {Association for Computational Linguistics},
pages = {12--58},
url = {http://www.aclweb.org/anthology/W/W14/W14-3302}
}