story_cloze

  • Descrizione :

Story Cloze Test è un nuovo framework di ragionamento di buon senso per valutare la comprensione della storia, la generazione della storia e l'apprendimento della sceneggiatura. Questo test richiede un sistema per scegliere il finale corretto di una storia di quattro frasi.

  • Documentazione aggiuntiva : Esplora documenti con codice

  • Descrizione della configurazione : anno 2018

  • Pagina iniziale : https://www.cs.rochester.edu/nlp/rocstories/

  • Codice sorgente : tfds.datasets.story_cloze.Builder

  • Versioni :

    • 1.0.0 (impostazione predefinita): versione iniziale.

  • Dimensioni del download : Unknown size

  • Istruzioni per il download manuale : questo set di dati richiede di scaricare manualmente i dati di origine in download_config.manual_dir (il valore predefinito ~/tensorflow_datasets/downloads/manual/ ):
    Visita https://www.cs.rochester.edu/nlp/rocstories/ e compila il modulo di Google per ottenere i set di dati. Riceverai un'e-mail con il link per scaricare i set di dati. Per i dati del 2016, il file di convalida e test deve essere rinominato rispettivamente in cloze_test val _spring2016.csv e cloze_test test _spring2016.csv. Per la versione 2018, il file di convalida e test deve essere rinominato rispettivamente in cloze_test val _winter2018.csv e in cloze_test test _winter2018.csv. Sposta entrambi questi file nella directory manuale.

  • Auto-cache ( documentazione ): Sì

  • Struttura delle caratteristiche :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
contesto Testo corda
finali Sequenza(Testo) (Nessuno,) corda
etichetta Tensore int32
@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016 (configurazione predefinita)

  • Dimensione del set di dati : 1.15 MiB

  • Divisioni :

Diviso Esempi
'test' 1.871
'validation' 1.871

story_cloze/2018

  • Dimensione del set di dati: 1015.04 KiB

  • Divisioni :

Diviso Esempi
'test' 1.571
'validation' 1.571