story_cloze

  • opis :

Story Cloze Test to nowa, zdroworozsądkowa struktura rozumowania do oceny zrozumienia historii, tworzenia historii i uczenia się scenariusza. Ten test wymaga od systemu wybrania poprawnego zakończenia czterozdaniowej historii.

  • Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na

  • Opis konfiguracji : rok 2018

  • Strona główna : https://www.cs.rochester.edu/nlp/rocstories/

  • Kod źródłowy : tfds.datasets.story_cloze.Builder

  • Wersje :

    • 1.0.0 (domyślnie): Wersja początkowa.

  • Rozmiar pliku do pobrania : Unknown size

  • Instrukcje ręcznego pobierania : ten zestaw danych wymaga ręcznego pobrania danych źródłowych do katalogu download_config.manual_dir (domyślnie ~/tensorflow_datasets/downloads/manual/ ):
    Odwiedź https://www.cs.rochester.edu/nlp/rocstories/ i wypełnij formularz Google, aby uzyskać zestawy danych. Otrzymasz wiadomość e-mail z linkiem do pobrania zestawów danych. W przypadku danych z 2016 r. nazwę pliku walidacji i pliku testowego należy zmienić odpowiednio na cloze_test val _spring2016.csv i cloze_test test _spring2016.csv. W przypadku wersji 2018 należy zmienić nazwę pliku walidacji i pliku testowego odpowiednio na cloze_test val _winter2018.csv i cloze_test test _winter2018.csv. Przenieś oba te pliki do katalogu ręcznego.

  • Automatyczne buforowanie ( dokumentacja ): Tak

  • Struktura funkcji :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
kontekst Tekst strunowy
zakończenia Sekwencja (tekst) (Nic,) strunowy
etykieta Napinacz int32
@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016 (domyślna konfiguracja)

  • Rozmiar zestawu danych : 1.15 MiB

  • Podziały :

Podział Przykłady
'test' 1871
'validation' 1871

story_cloze/2018

  • Rozmiar zbioru danych : 1015.04 KiB

  • Podziały :

Podział Przykłady
'test' 1571
'validation' 1571