histoire_cloze

  • Descriptif :

Story Cloze Test est un nouveau cadre de raisonnement de bon sens pour évaluer la compréhension de l'histoire, la génération de l'histoire et l'apprentissage du scénario. Ce test nécessite un système pour choisir la fin correcte d'une histoire de quatre phrases.

  • Documentation complémentaire : Explorer sur Papers With Code

  • Description de la configuration : année 2018

  • Page d' accueil : https://www.cs.rochester.edu/nlp/rocstories/

  • Code source : tfds.datasets.story_cloze.Builder

  • Versions :

    • 1.0.0 (par défaut) : version initiale.

  • Taille du téléchargement : Unknown size

  • Instructions de téléchargement manuel : cet ensemble de données nécessite que vous téléchargiez manuellement les données sources dans download_config.manual_dir (par défaut ~/tensorflow_datasets/downloads/manual/ ) :
    Visitez https://www.cs.rochester.edu/nlp/rocstories/ et remplissez le formulaire Google pour obtenir les ensembles de données. Vous recevrez un e-mail avec le lien pour télécharger les jeux de données. Pour les données de 2016, le fichier de validation et de test doit être renommé respectivement en cloze_test val _spring2016.csv et cloze_test test _spring2016.csv. Pour la version 2018, le fichier de validation et de test doit être renommé respectivement en cloze_test val _winter2018.csv et en cloze_test test _winter2018.csv. Déplacez ces deux fichiers dans le répertoire manuel.

  • Mise en cache automatique ( documentation ): Oui

  • Structure des fonctionnalités :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})
  • Documentation des fonctionnalités :
Caractéristique Classer Forme Dtype La description
FonctionnalitésDict
le contexte Texte chaîne
terminaisons Séquence (texte) (Aucun,) chaîne
étiquette Tenseur int32
@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016 (configuration par défaut)

  • Taille du jeu de données : 1.15 MiB

  • Fractionnements :

Diviser Exemples
'test' 1 871
'validation' 1 871

story_cloze/2018

  • Taille du jeu de données : 1015.04 KiB

  • Fractionnements :

Diviser Exemples
'test' 1 571
'validation' 1 571