story_cloze

  • Mô tả :

Story Cloze Test là một khung lý luận hợp lý mới để đánh giá sự hiểu biết về câu chuyện, cách tạo câu chuyện và học tập kịch bản. Bài kiểm tra này yêu cầu một hệ thống chọn kết thúc đúng cho một câu chuyện dài bốn câu.

  • Tài liệu bổ sung : Khám phá trên giấy tờ với mã

  • Mô tả cấu hình : Năm 2018

  • Trang chủ : https://www.cs.rochester.edu/nlp/rocstories/

  • Mã nguồn : tfds.datasets.story_cloze.Builder

  • Phiên bản :

    • 1.0.0 (mặc định): Bản phát hành đầu tiên.

  • Kích thước tải xuống : Unknown size

  • Hướng dẫn tải xuống thủ công : Bộ dữ liệu này yêu cầu bạn tải xuống dữ liệu nguồn theo cách thủ công vào download_config.manual_dir (mặc định là ~/tensorflow_datasets/downloads/manual/ ):
    Truy cập https://www.cs.rochester.edu/nlp/rocstories/ và điền vào biểu mẫu google để lấy bộ dữ liệu. Bạn sẽ nhận được email có liên kết để tải xuống bộ dữ liệu. Đối với dữ liệu năm 2016, tệp kiểm tra và xác thực cần được đổi tên thành cloze_test val _spring2016.csv và cloze_test test _spring2016.csv tương ứng. Đối với phiên bản 2018, tệp kiểm tra và xác thực cần được đổi tên thành cloze_test val _winter2018.csv và thành cloze_test test _winter2018.csv tương ứng. Di chuyển cả hai tệp này vào thư mục thủ công.

  • Tự động lưu vào bộ đệm ( tài liệu ): Có

  • Cấu trúc tính năng :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})
  • Tài liệu tính năng :
Đặc tính Tầng lớp Hình dạng Dtype Sự miêu tả
Tính năngDict
định nghĩa bài văn Chữ chuỗi
kết thúc Trình tự (Văn bản) (Không có,) chuỗi
nhãn tenxơ int32
@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016 (cấu hình mặc định)

  • Kích thước tập dữ liệu : 1.15 MiB

  • Chia tách :

Tách ra ví dụ
'test' 1.871
'validation' 1.871

story_cloze/2018

  • Kích thước tập dữ liệu : 1015.04 KiB

  • Chia tách :

Tách ra ví dụ
'test' 1.571
'validation' 1.571