story_cloze

  • คำอธิบาย :

การทดสอบ Story Cloze เป็นกรอบการให้เหตุผลแบบสามัญสำนึกแบบใหม่สำหรับการประเมินความเข้าใจในเรื่องราว การสร้างเรื่องราว และการเรียนรู้สคริปต์ การทดสอบนี้ต้องการให้ระบบเลือกตอนจบที่ถูกต้องของเรื่องราวสี่ประโยค

  • เอกสารประกอบเพิ่มเติม : สำรวจเอกสารด้วยรหัส

  • คำอธิบายการ กำหนดค่า: ปี 2018

  • หน้าแรก : https://www.cs.rochester.edu/nlp/rocstories/

  • รหัสแหล่งที่มา : tfds.datasets.story_cloze.Builder

  • รุ่น :

    • 1.0.0 (ค่าเริ่มต้น): การเปิดตัวครั้งแรก

  • ขนาดการดาวน์โหลด : Unknown size

  • คำแนะนำในการดาวน์โหลดด้วยตนเอง : ชุดข้อมูลนี้กำหนดให้คุณต้องดาวน์โหลดแหล่งข้อมูลด้วยตนเองลงใน download_config.manual_dir (ค่าเริ่มต้นเป็น ~/tensorflow_datasets/downloads/manual/ ):
    ไปที่ https://www.cs.rochester.edu/nlp/rocstories/ และกรอกแบบฟอร์ม Google เพื่อรับชุดข้อมูล คุณจะได้รับอีเมลพร้อมลิงก์สำหรับดาวน์โหลดชุดข้อมูล สำหรับข้อมูลปี 2016 ไฟล์การตรวจสอบความถูกต้องและการทดสอบจำเป็นต้องเปลี่ยนชื่อเป็น cloze_test val _spring2016.csv และ cloze_test test _spring2016.csv ตามลำดับ สำหรับเวอร์ชัน 2018 จะต้องเปลี่ยนชื่อไฟล์การตรวจสอบและทดสอบเป็น cloze_test val _winter2018.csv และ cloze_test test _winter2018.csv ตามลำดับ ย้ายไฟล์ทั้งสองนี้ไปยังไดเร็กทอรีด้วยตนเอง

  • แคชอัตโนมัติ ( เอกสาร ): ใช่

  • โครงสร้างคุณลักษณะ :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
คุณสมบัติDict
บริบท ข้อความ สตริง
ตอนจบ ลำดับ (ข้อความ) (ไม่มี,) สตริง
ฉลาก เทนเซอร์ int32

  • คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

  • รูปภาพ ( tfds.show_examples ): ไม่รองรับ

  • การอ้างอิง :

@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016 (การกำหนดค่าเริ่มต้น)

  • ขนาดชุดข้อมูล : 1.15 MiB

  • แยก :

แยก ตัวอย่าง
'test' 1,871
'validation' 1,871

story_cloze/2018

  • ขนาดชุดข้อมูล : 1015.04 KiB

  • แยก :

แยก ตัวอย่าง
'test' 1,571
'validation' 1,571