กาว

  • คำอธิบาย :

GLUE ซึ่งเป็นเกณฑ์มาตรฐานการประเมินความเข้าใจภาษาทั่วไป ( https://gluebenchmark.com/ ) คือชุดของแหล่งข้อมูลสำหรับการฝึกอบรม การประเมิน และการวิเคราะห์ระบบการทำความเข้าใจภาษาธรรมชาติ

  • ซอร์สโค้ด : tfds.text.Glue

  • รุ่น :

    • 1.0.0 : API แยกใหม่ ( https://tensorflow.org/datasets/splits )
    • 1.0.1 : อัปเดตลิงก์ URL ที่ตายแล้ว
    • 2.0.0 (ค่าเริ่มต้น): อัปเดตแหล่งข้อมูลสำหรับกาว/qqp
  • แคชอัตโนมัติ ( เอกสาร ): ใช่

  • คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

  • รูป ( tfds.show_examples ): ไม่รองรับ

กาว/โคล่า (การกำหนดค่าเริ่มต้น)

  • คำอธิบาย การกำหนดค่า : Corpus of Linguistic Acceptability ประกอบด้วยคำตัดสินการยอมรับภาษาอังกฤษที่ดึงมาจากหนังสือและบทความในวารสารเกี่ยวกับทฤษฎีภาษาศาสตร์ แต่ละตัวอย่างเป็นลำดับของคำที่มีคำอธิบายประกอบว่าเป็นประโยคภาษาอังกฤษตามหลักไวยากรณ์หรือไม่

  • หน้าแรก : https://nyu-mll.github.io/CoLA/

  • ขนาดดาวน์โหลด : 368.14 KiB

  • ขนาดชุดข้อมูล : 965.49 KiB

  • แยก :

แยก ตัวอย่าง
'test' 1,063
'train' 8,551
'validation' 1,043
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
ประโยค ข้อความ tf.string
  • อ้างอิง :
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/sst2

  • คำอธิบาย การกำหนดค่า : Stanford Sentiment Treebank ประกอบด้วยประโยคจากบทวิจารณ์ภาพยนตร์และคำอธิบายประกอบของมนุษย์เกี่ยวกับความรู้สึกของพวกเขา งานคือการทำนายความรู้สึกของประโยคที่กำหนด เราใช้การแบ่งคลาสแบบสองทาง (บวก/ลบ) และใช้ป้ายกำกับระดับประโยคเท่านั้น

  • หน้าแรก : https://nlp.stanford.edu/sentiment/index.html

  • ขนาดดาวน์โหลด : 7.09 MiB

  • ขนาดชุดข้อมูล : 7.22 MiB

  • แยก :

แยก ตัวอย่าง
'test' 1,821
'train' 67,349
'validation' 872
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
ประโยค ข้อความ tf.string
  • อ้างอิง :
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/mrpc

  • คำอธิบาย การกำหนดค่า : Microsoft Research Paraphrase Corpus (Dolan & Brockett, 2005) เป็นคลังข้อมูลของคู่ประโยคที่ดึงมาจากแหล่งข่าวออนไลน์โดยอัตโนมัติ พร้อมคำอธิบายประกอบโดยมนุษย์ว่าประโยคในคู่มีความหมายเท่ากันหรือไม่

  • หน้าแรก : https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • ขนาดดาวน์โหลด : 1.43 MiB

  • ขนาดชุดข้อมูล : 1.74 MiB

  • แยก :

แยก ตัวอย่าง
'test' 1,725
'train' 3,668
'validation' 408
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
ประโยคที่1 ข้อความ tf.string
ประโยคที่2 ข้อความ tf.string
  • อ้างอิง :
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/qqp

  • คำอธิบาย การกำหนดค่า : ชุดข้อมูล Quora Question Pairs2 คือชุดของคู่คำถามจากเว็บไซต์ตอบคำถามชุมชน Quora ภารกิจคือการพิจารณาว่าคำถามคู่หนึ่งมีความหมายเท่ากันหรือไม่

  • หน้าแรก : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • ขนาดดาวน์โหลด : 39.76 MiB

  • ขนาดชุดข้อมูล : 150.37 MiB

  • แยก :

แยก ตัวอย่าง
'test' 390,965
'train' 363,846
'validation' 40,430
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question1': Text(shape=(), dtype=tf.string),
    'question2': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
คำถามที่ 1 ข้อความ tf.string
คำถาม2 ข้อความ tf.string
  • อ้างอิง :
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/stsb

  • คำอธิบาย การกำหนดค่า : เกณฑ์มาตรฐานความคล้ายคลึงข้อความเชิงความหมาย (Cer et al., 2017) คือชุดของคู่ประโยคที่ดึงมาจากพาดหัวข่าว คำบรรยายวิดีโอและรูปภาพ และข้อมูลการอนุมานภาษาธรรมชาติ แต่ละคู่มีคำอธิบายประกอบโดยมนุษย์โดยมีคะแนนความคล้ายคลึงกันตั้งแต่ 0 ถึง 5

  • หน้าแรก : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • ขนาดดาวน์โหลด : 784.05 KiB

  • ขนาดชุดข้อมูล : 1.58 MiB

  • แยก :

แยก ตัวอย่าง
'test' 1,379
'train' 5,749
'validation' 1,500
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'idx': tf.int32,
    'label': tf.float32,
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
idx เทนเซอร์ tf.int32
ฉลาก เทนเซอร์ tf.float32
ประโยคที่1 ข้อความ tf.string
ประโยคที่2 ข้อความ tf.string
  • อ้างอิง :
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/mnli

  • คำอธิบาย การกำหนดค่า : Multi-Genre Natural Language Inference Corpus เป็นคอลเลกชั่นที่รวบรวมคู่ประโยคพร้อมคำอธิบายประกอบที่เป็นข้อความ เมื่อพิจารณาจากประโยคสมมติฐานและประโยคสมมติฐาน ภารกิจคือการทำนายว่าสมมติฐานนั้นเกี่ยวข้องกับสมมติฐาน (ความเกี่ยวข้อง) ขัดแย้งกับสมมติฐาน (ความขัดแย้ง) หรือไม่ (เป็นกลาง) ประโยคเบื้องต้นรวบรวมจากแหล่งต่าง ๆ สิบแห่ง รวมทั้งคำพูด นิยาย และรายงานของรัฐบาล เราใช้ชุดทดสอบมาตรฐาน ซึ่งเราได้รับป้ายกำกับส่วนตัวจากผู้เขียน และประเมินทั้งในส่วนที่ตรงกัน (ในโดเมน) และไม่ตรงกัน (ข้ามโดเมน) เรายังใช้และแนะนำคลังข้อมูล SNLI เป็นตัวอย่างข้อมูลการฝึกเสริมจำนวน 550k

  • หน้าแรก : http://www.nyu.edu/projects/bowman/multinli/

  • ขนาดดาวน์โหลด : 298.29 MiB

  • ขนาดชุดข้อมูล : 100.56 MiB

  • แยก :

แยก ตัวอย่าง
'test_matched' 9,796
'test_mismatched' 9,847
'train' 392,702
'validation_matched' 9,815
'validation_mismatched' 9,832
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
สมมติฐาน ข้อความ tf.string
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
หลักฐาน ข้อความ tf.string
  • อ้างอิง :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/mnli_mismatched

  • คำอธิบาย การกำหนดค่า : การตรวจสอบและการทดสอบไม่ตรงกันแยกจาก MNLI ดู "mnli" BuilderConfig สำหรับข้อมูลเพิ่มเติม

  • หน้าแรก : http://www.nyu.edu/projects/bowman/multinli/

  • ขนาดดาวน์โหลด : 298.29 MiB

  • ขนาดชุดข้อมูล : 4.79 MiB

  • แยก :

แยก ตัวอย่าง
'test' 9,847
'validation' 9,832
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
สมมติฐาน ข้อความ tf.string
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
หลักฐาน ข้อความ tf.string
  • อ้างอิง :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/mnli_matched

  • คำอธิบาย การกำหนดค่า : การตรวจสอบและการทดสอบที่ตรงกันแยกจาก MNLI ดู "mnli" BuilderConfig สำหรับข้อมูลเพิ่มเติม

  • หน้าแรก : http://www.nyu.edu/projects/bowman/multinli/

  • ขนาดดาวน์โหลด : 298.29 MiB

  • ขนาดชุดข้อมูล : 4.58 MiB

  • แยก :

แยก ตัวอย่าง
'test' 9,796
'validation' 9,815
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
สมมติฐาน ข้อความ tf.string
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
หลักฐาน ข้อความ tf.string
  • อ้างอิง :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/qnli

  • คำอธิบาย การกำหนดค่า : ชุดข้อมูลการตอบคำถามสแตนฟอร์ดเป็นชุดข้อมูลการตอบคำถามที่ประกอบด้วยคู่วรรคคำถาม โดยที่หนึ่งในประโยคในย่อหน้า (ดึงมาจาก Wikipedia) มีคำตอบของคำถามที่เกี่ยวข้อง (เขียนโดยผู้ใส่คำอธิบายประกอบ) เราแปลงงานเป็นการจำแนกคู่ประโยคโดยสร้างคู่ระหว่างคำถามแต่ละข้อและแต่ละประโยคในบริบทที่สอดคล้องกัน และกรองคู่ที่มีการทับซ้อนของคำศัพท์ต่ำระหว่างคำถามและประโยคบริบท งานคือการพิจารณาว่าประโยคบริบทมีคำตอบสำหรับคำถามหรือไม่ งานต้นฉบับที่แก้ไขแล้วนี้จะลบข้อกำหนดที่แบบจำลองเลือกคำตอบที่แน่นอน แต่ยังลบข้อสันนิษฐานที่ทำให้เข้าใจง่ายว่าคำตอบมีอยู่ในอินพุตเสมอและการทับซ้อนของคำศัพท์นั้นเป็นสัญญาณที่เชื่อถือได้

  • โฮมเพจ : https://rajpurkar.github.io/SQuAD-explorer/

  • ขนาดดาวน์โหลด : 10.14 MiB

  • ขนาดชุดข้อมูล : 32.99 MiB

  • แยก :

แยก ตัวอย่าง
'test' 5,463
'train' 104,743
'validation' 5,463
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question': Text(shape=(), dtype=tf.string),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
คำถาม ข้อความ tf.string
ประโยค ข้อความ tf.string
  • อ้างอิง :
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/rte

  • คำอธิบาย การกำหนดค่า : ชุดข้อมูล Recognizing Textual Entailment (RTE) มาจากชุดของความท้าทายด้านข้อความประจำปี เรารวมข้อมูลจาก RTE1 (Dagan et al., 2006), RTE2 (Bar Haim et al., 2006), RTE3 (Giampiccolo et al., 2007) และ RTE5 (Bentivogli et al., 2009)4 ตัวอย่างคือ สร้างขึ้นจากข่าวและข้อความวิกิพีเดีย เราแปลงชุดข้อมูลทั้งหมดเป็นแบบแบ่งสองคลาส โดยสำหรับชุดข้อมูลสามคลาส เราจะยุบค่ากลางและความขัดแย้งให้กลายเป็นไม่เกี่ยวข้อง เพื่อความสอดคล้องกัน

  • หน้าแรก : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • ขนาดดาวน์โหลด : 680.81 KiB

  • ขนาดชุดข้อมูล : 2.15 MiB

  • แยก :

แยก ตัวอย่าง
'test' 3,000
'train' 2,490
'validation' 277
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
ประโยคที่1 ข้อความ tf.string
ประโยคที่2 ข้อความ tf.string
  • อ้างอิง :
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/wnli

  • คำอธิบาย การกำหนดค่า : Winograd Schema Challenge (Levesque et al., 2011) เป็นงานเพื่อความเข้าใจในการอ่าน ซึ่งระบบจะต้องอ่านประโยคที่มีสรรพนามและเลือกการอ้างอิงของสรรพนามนั้นจากรายการตัวเลือก ตัวอย่างถูกสร้างขึ้นด้วยตนเองเพื่อทำลายวิธีการทางสถิติอย่างง่าย: แต่ละรายการขึ้นอยู่กับข้อมูลตามบริบทที่จัดเตรียมโดยคำหรือวลีเดียวในประโยค ในการแปลงปัญหาเป็นการจำแนกคู่ประโยค เราสร้างคู่ประโยคโดยแทนที่คำสรรพนามที่คลุมเครือด้วยการอ้างอิงที่เป็นไปได้ ภารกิจคือการทำนายว่าประโยคที่มีคำสรรพนามแทนนั้นเกี่ยวข้องกับประโยคเดิมหรือไม่ เราใช้ชุดประเมินผลขนาดเล็กที่ประกอบด้วยตัวอย่างใหม่ๆ ที่ได้มาจากหนังสือนิยายที่ผู้เขียนของคลังข้อมูลดั้งเดิมแบ่งปันเป็นการส่วนตัว แม้ว่าชุดการฝึกที่รวมไว้จะมีความสมดุลระหว่างสองคลาส แต่ชุดทดสอบนั้นไม่สมดุลระหว่างพวกเขา (65% ไม่มีการบังคับ) นอกจากนี้ เนื่องจากความโกลาหลของข้อมูล ชุดการพัฒนาจึงเป็นปฏิปักษ์กัน: บางครั้งมีการแบ่งปันสมมติฐานระหว่างตัวอย่างการฝึกอบรมและการพัฒนา ดังนั้นหากแบบจำลองจดจำตัวอย่างการฝึกอบรม พวกเขาจะคาดการณ์ป้ายกำกับที่ไม่ถูกต้องบนตัวอย่างชุดการพัฒนาที่สอดคล้องกัน เช่นเดียวกับ QNLI แต่ละตัวอย่างจะได้รับการประเมินแยกกัน ดังนั้นจึงไม่มีความสอดคล้องกันอย่างเป็นระบบระหว่างคะแนนของแบบจำลองในงานนี้กับคะแนนในงานต้นฉบับที่ไม่ได้แปลง เราเรียกชุดข้อมูลที่แปลงแล้ว WNLI (Winograd NLI)

  • หน้าแรก : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • ขนาดดาวน์โหลด : 28.32 KiB

  • ขนาดชุดข้อมูล : 198.88 KiB

  • แยก :

แยก ตัวอย่าง
'test' 146
'train' 635
'validation' 71
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
ประโยคที่1 ข้อความ tf.string
ประโยคที่2 ข้อความ tf.string
  • อ้างอิง :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

กาว/ขวาน

  • คำอธิบาย การกำหนดค่า : ชุดข้อมูลการประเมินที่จัดการด้วยตนเองสำหรับการวิเคราะห์แบบละเอียดของประสิทธิภาพของระบบในปรากฏการณ์ทางภาษาที่หลากหลาย ชุดข้อมูลนี้ประเมินความเข้าใจประโยคผ่านปัญหาการอนุมานภาษาธรรมชาติ (NLI) ใช้แบบจำลองที่ได้รับการฝึกอบรมเกี่ยวกับ MulitNLI เพื่อสร้างการคาดการณ์สำหรับชุดข้อมูลนี้

  • หน้าแรก : https://gluebenchmark.com/diagnostics

  • ขนาดดาวน์โหลด : 217.05 KiB

  • ขนาดชุดข้อมูล : 299.16 KiB

  • แยก :

แยก ตัวอย่าง
'test' 1,104
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dtype คำอธิบาย
คุณสมบัติDict
สมมติฐาน ข้อความ tf.string
idx เทนเซอร์ tf.int32
ฉลาก ClassLabel tf.int64
หลักฐาน ข้อความ tf.string
  • อ้างอิง :
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.