قصة_كلوز

  • الوصف :

يعد Story Cloze Test إطارًا جديدًا للمنطق المنطقي لتقييم فهم القصة وتوليد القصة وتعلم النص. يتطلب هذا الاختبار نظامًا لاختيار النهاية الصحيحة لقصة من أربع جمل.

  • وثائق إضافية : استكشف في الأوراق باستخدام الرمز

  • وصف التكوين : 2018 سنة

  • الصفحة الرئيسية : https://www.cs.rochester.edu/nlp/rocstories/

  • كود المصدر : tfds.datasets.story_cloze.Builder

  • إصدارات :

    • 1.0.0 (افتراضي): الإصدار الأولي.

  • حجم التنزيل : Unknown size

  • إرشادات التنزيل اليدوي : تتطلب مجموعة البيانات هذه تنزيل بيانات المصدر يدويًا إلى download_config.manual_dir (الإعدادات الافتراضية على ~/tensorflow_datasets/downloads/manual/ ):
    قم بزيارة https://www.cs.rochester.edu/nlp/rocstories/ واملأ نموذج google للحصول على مجموعات البيانات. ستتلقى رسالة بريد إلكتروني تحتوي على رابط لتنزيل مجموعات البيانات. بالنسبة لبيانات 2016 ، يجب إعادة تسمية ملف التحقق والاختبار إلى cloze_test val _spring2016.csv و cloze_test test _spring2016.csv على التوالي. بالنسبة لإصدار 2018 ، يجب إعادة تسمية ملف التحقق والاختبار إلى cloze_test val _winter2018.csv وإلى cloze_test test _winter2018.csv على التوالي. انقل كلا الملفين إلى الدليل اليدوي.

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • هيكل الميزة :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
سياق الكلام نص سلسلة
النهايات تسلسل (نص) (لا أحد،) سلسلة
ضع الكلمة المناسبة موتر int32
@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze / 2016 (التكوين الافتراضي)

  • حجم مجموعة البيانات : 1.15 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 1871
'validation' 1871

Story_cloze / 2018

  • حجم مجموعة البيانات : 1015.04 KiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،571
'validation' 1،571