wmt17_translate

  • คำอธิบาย :

แปลชุดข้อมูลตามข้อมูลจาก statmt.org

มีเวอร์ชันสำหรับปีต่างๆ โดยใช้แหล่งข้อมูลหลายแหล่งรวมกัน wmt_translate พื้นฐานช่วยให้คุณสร้างการกำหนดค่าของคุณเองเพื่อเลือกคู่ข้อมูล/ภาษาของคุณเองโดยสร้าง tfds.translate.wmt.WmtConfig แบบกำหนดเอง

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

  • หน้าแรก : http://www.statmt.org/wmt17/translation-task.html

  • รหัสที่มา : tfds.translate.Wmt17Translate

  • รุ่น :

    • 1.0.0 (ค่าเริ่มต้น): ไม่มีบันทึกประจำรุ่น

  • คำแนะนำในการดาวน์โหลดด้วยตนเอง : ชุดข้อมูลนี้กำหนดให้คุณต้องดาวน์โหลดแหล่งข้อมูลด้วยตนเองลงใน download_config.manual_dir (ค่าเริ่มต้นเป็น ~/tensorflow_datasets/downloads/manual/ ):
    การกำหนดค่า wmt บางส่วนที่นี่จำเป็นต้องดาวน์โหลดด้วยตนเอง โปรดดู wmt.py เพื่อดูเส้นทางที่แน่นอน (และชื่อไฟล์) ที่ต้องดาวน์โหลด

  • รูปภาพ ( tfds.show_examples ): ไม่รองรับ

  • การอ้างอิง :

@InProceedings{bojar-EtAl:2017:WMT1,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Graham, Yvette  and  Haddow, Barry  and  Huang, Shujian  and  Huck, Matthias  and  Koehn, Philipp  and  Liu, Qun  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Rubino, Raphael  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2017 Conference on Machine Translation (WMT17)},
  booktitle = {Proceedings of the Second Conference on Machine Translation, Volume 2: Shared Task Papers},
  month     = {September},
  year      = {2017},
  address   = {Copenhagen, Denmark},
  publisher = {Association for Computational Linguistics},
  pages     = {169--214},
  url       = {http://www.aclweb.org/anthology/W17-4717}
}

wmt17_translate/cs-en (การกำหนดค่าเริ่มต้น)

  • คำอธิบาย การกำหนดค่า: ชุดข้อมูลงานแปล WMT 2017 cs-en

  • ขนาดการดาวน์โหลด : 1.66 GiB

  • ขนาดชุดข้อมูล : 2.91 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'test' 3,005
'train' 15,851,649
'validation' 2,999
  • โครงสร้างคุณลักษณะ :
Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
แปล
ค ข้อความ สตริง
th ข้อความ สตริง

wmt17_translate/de-en

  • คำอธิบาย การกำหนดค่า : WMT 2017 de-en ชุดข้อมูลงานแปล

  • ขนาดการดาวน์โหลด : 1.81 GiB

  • ขนาดชุดข้อมูล : 1.73 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'test' 3,004
'train' 5,906,184
'validation' 2,999
  • โครงสร้างคุณลักษณะ :
Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
แปล
เดอ ข้อความ สตริง
th ข้อความ สตริง

wmt17_translate/fi-en

  • คำอธิบาย การกำหนดค่า: ชุดข้อมูลงานแปล WMT 2017 fi-en

  • ขนาดการดาวน์โหลด : 414.10 MiB

  • ขนาดชุดข้อมูล : 769.87 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'test' 6,004
'train' 2,656,542
'validation' 6,000
  • โครงสร้างคุณลักษณะ :
Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
แปล
th ข้อความ สตริง
ไฟ ข้อความ สตริง

wmt17_translate/lv-th

  • คำอธิบาย การกำหนดค่า: ชุดข้อมูลงานการแปล WMT 2017 lv-en

  • ขนาดการดาวน์โหลด : 161.69 MiB

  • ขนาดชุดข้อมูล : 562.26 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'test' 2,001
'train' 3,567,528
'validation' 2,003
  • โครงสร้างคุณลักษณะ :
Translation({
    'en': Text(shape=(), dtype=string),
    'lv': Text(shape=(), dtype=string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
แปล
th ข้อความ สตริง
เลเวล ข้อความ สตริง

wmt17_translate/ru-en

  • คำอธิบาย การกำหนดค่า: ชุดข้อมูลงานแปล WMT 2017 ru-en

  • ขนาดการดาวน์โหลด : 1.06 GiB

  • ขนาดชุดข้อมูล : 11.18 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'test' 3,001
'train' 25,782,720
'validation' 2,998
  • โครงสร้างคุณลักษณะ :
Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
แปล
th ข้อความ สตริง
รู ข้อความ สตริง

wmt17_translate/tr-th

  • คำอธิบาย การกำหนดค่า : ชุดข้อมูลงานแปล WMT 2017 tr-en

  • ขนาดการดาวน์โหลด : 59.32 MiB

  • ขนาดชุดข้อมูล : 63.74 MiB

  • แคชอัตโนมัติ ( เอกสาร ): ใช่

  • แยก :

แยก ตัวอย่าง
'test' 3,007
'train' 205,756
'validation' 3,000
  • โครงสร้างคุณลักษณะ :
Translation({
    'en': Text(shape=(), dtype=string),
    'tr': Text(shape=(), dtype=string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
แปล
th ข้อความ สตริง
ท ข้อความ สตริง

wmt17_translate/zh-th

  • คำอธิบาย การกำหนดค่า: ชุดข้อมูลงานแปล WMT 2017 zh-en

  • ขนาดการดาวน์โหลด : 884.32 MiB

  • ขนาดชุดข้อมูล : 6.43 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'test' 2,001
'train' 25,136,609
'validation' 2,002
  • โครงสร้างคุณลักษณะ :
Translation({
    'en': Text(shape=(), dtype=string),
    'zh': Text(shape=(), dtype=string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
แปล
th ข้อความ สตริง
จ ข้อความ สตริง