story_cloze

  • Descrição :

O Story Cloze Test é uma nova estrutura de raciocínio de senso comum para avaliar a compreensão da história, a geração da história e o aprendizado do roteiro. Este teste requer um sistema para escolher o final correto para uma história de quatro frases.

  • Documentação Adicional : Explore em Papers With Code

  • Descrição da configuração : 2018 ano

  • Página inicial : https://www.cs.rochester.edu/nlp/rocstories/

  • Código -fonte: tfds.datasets.story_cloze.Builder

  • Versões :

    • 1.0.0 (padrão): versão inicial.

  • Tamanho do download : Unknown size

  • Instruções de download manual : este conjunto de dados exige que você baixe os dados de origem manualmente em download_config.manual_dir (o padrão é ~/tensorflow_datasets/downloads/manual/ ):
    Visite https://www.cs.rochester.edu/nlp/rocstories/ e preencha o formulário do Google para obter os conjuntos de dados. Você receberá um e-mail com o link para baixar os conjuntos de dados. Para os dados de 2016, o arquivo de validação e teste precisa ser renomeado para cloze_test val _spring2016.csv e cloze_test test _spring2016.csv, respectivamente. Para a versão 2018, o arquivo de validação e teste precisa ser renomeado para cloze_test val _winter2018.csv e para cloze_test test _winter2018.csv, respectivamente. Mova esses dois arquivos para o diretório manual.

  • Cache automático ( documentação ): Sim

  • Estrutura de recursos :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
RecursosDict
contexto Texto corda
terminações Sequência (Texto) (Nenhum,) corda
rótulo tensor int32
@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016 (configuração padrão)

  • Tamanho do conjunto de dados : 1.15 MiB

  • Divisões :

Dividir Exemplos
'test' 1.871
'validation' 1.871

story_cloze/2018

  • Tamanho do conjunto de dados : 1015.04 KiB

  • Divisões :

Dividir Exemplos
'test' 1.571
'validation' 1.571