paws_x_wiki

  • คำอธิบาย :

ชุดข้อมูลนี้ประกอบด้วยคู่การประเมิน PAWS ที่แปลโดยมนุษย์ 23,659 คู่และคู่การฝึกอบรมที่แปลด้วยเครื่อง 296,406 คู่ในหกภาษาที่แตกต่างกันตามตัวอักษร:

  • ภาษาฝรั่งเศส
  • สเปน
  • เยอรมัน
  • ชาวจีน
  • ญี่ปุ่น
  • เกาหลี

สำหรับรายละเอียดเพิ่มเติม โปรดดูเอกสารประกอบ: PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification ที่ https://arxiv.org/abs/1908.11828

เช่นเดียวกับชุดข้อมูล PAWS ตัวอย่างจะแบ่งออกเป็นส่วนการฝึก/พัฒนา/ทดสอบ ไฟล์ทั้งหมดอยู่ในรูปแบบ tsv โดยมีสี่คอลัมน์:

id รหัสเฉพาะสำหรับแต่ละคู่ ประโยค1 ประโยคประโยคแรก2 ประโยคที่สอง (noisy_) ป้ายกำกับ (Noisy) สำหรับแต่ละคู่

แต่ละป้ายกำกับมีค่าที่เป็นไปได้สองค่า: 0 ระบุว่าทั้งคู่มีความหมายต่างกัน ในขณะที่ 1 ระบุว่าทั้งคู่เป็นการถอดความ

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
ฉลาก ClassLabel tf.int64
ประโยคที่ 1 ข้อความ tf.string
ประโยคที่2 ข้อความ tf.string
@InProceedings{pawsx2019emnlp,
  title = { {PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification} },
  author = {Yang, Yinfei and Zhang, Yuan and Tar, Chris and Baldridge, Jason},
  booktitle = {Proc. of EMNLP},
  year = {2019}
}

paws_x_wiki/de (การกำหนดค่าเริ่มต้น)

  • คำอธิบาย การกำหนดค่า : แปลเป็น de

  • ขนาดชุดข้อมูล : 15.27 MiB

  • แยก :

แยก ตัวอย่าง
'test' 2,000
'train' 49,380
'validation' 2,000

paws_x_wiki/th

  • คำอธิบาย การกำหนดค่า : แปลเป็น en

  • ขนาดชุดข้อมูล : 14.59 MiB

  • แยก :

แยก ตัวอย่าง
'test' 2,000
'train' 49,175
'validation' 2,000

paws_x_wiki/es

  • คำอธิบาย การกำหนดค่า : แปลเป็น es

  • ขนาดชุดข้อมูล : 15.27 MiB

  • แยก :

แยก ตัวอย่าง
'test' 2,000
'train' 49,401
'validation' 1,961

paws_x_wiki/fr

  • คำอธิบาย การกำหนดค่า : แปลเป็น fr

  • ขนาดชุดข้อมูล : 15.79 MiB

  • แยก :

แยก ตัวอย่าง
'test' 2,000
'train' 49,399
'validation' 1,988

paws_x_wiki/ja

  • คำอธิบาย การกำหนดค่า : แปลเป็น ja

  • ขนาดชุดข้อมูล : 17.77 MiB

  • แยก :

แยก ตัวอย่าง
'test' 2,000
'train' 49,401
'validation' 2,000

paws_x_wiki/ko

  • คำอธิบาย การกำหนดค่า : แปลเป็น ko

  • ขนาดชุดข้อมูล : 16.42 MiB

  • แยก :

แยก ตัวอย่าง
'test' 1,999
'train' 49,164
'validation' 2,000

paws_x_wiki/zh

  • คำอธิบาย การกำหนดค่า : แปลเป็น zh . แล้ว

  • ขนาดชุดข้อมูล : 13.20 MiB

  • แยก :

แยก ตัวอย่าง
'test' 2,000
'train' 49,401
'validation' 2,000