story_cloze

  • توضیحات :

Story Cloze Test یک چارچوب استدلال عقل سلیم جدید برای ارزیابی درک داستان، تولید داستان و یادگیری فیلمنامه است. این آزمون به سیستمی نیاز دارد تا پایان صحیح داستان چهار جمله ای را انتخاب کند.

  • اسناد اضافی : کاوش در کاغذها با کد

  • توضیحات پیکربندی : سال 2018

  • صفحه اصلی : https://www.cs.rochester.edu/nlp/rocstories/

  • کد منبع : tfds.datasets.story_cloze.Builder

  • نسخه ها :

    • 1.0.0 (پیش فرض): انتشار اولیه.

  • اندازه دانلود : Unknown size

  • دستورالعمل‌های دانلود دستی : این مجموعه داده از شما می‌خواهد که داده‌های منبع را به صورت دستی در download_config.manual_dir (پیش‌فرض ~/tensorflow_datasets/downloads/manual/ ):
    از https://www.cs.rochester.edu/nlp/rocstories/ دیدن کنید و فرم گوگل را برای به دست آوردن مجموعه داده ها پر کنید. یک ایمیل با لینک دانلود مجموعه داده ها دریافت خواهید کرد. برای داده‌های 2016، فایل اعتبارسنجی و آزمایش باید به ترتیب به cloze_test val _spring2016.csv و cloze_test test _spring2016.csv تغییر نام دهد. برای نسخه 2018، فایل اعتبار سنجی و آزمایش باید به ترتیب به cloze_test val _winter2018.csv و به cloze_test test _winter2018.csv تغییر نام دهد. هر دو فایل را به دایرکتوری دستی منتقل کنید.

  • ذخیره خودکار ( اسناد ): بله

  • ساختار ویژگی :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
متن نوشته متن رشته
پایان ها دنباله (متن) (هیچ یک،) رشته
برچسب تانسور int32
@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016 (پیکربندی پیش فرض)

  • حجم مجموعه داده : 1.15 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 1,871
'validation' 1,871

story_cloze/2018

  • اندازه مجموعه داده : 1015.04 KiB

  • تقسیم ها :

شکاف مثال ها
'test' 1571
'validation' 1571