derrubar

Descrição :

Com o desempenho do sistema em benchmarks de compreensão de leitura existentes se aproximando ou superando o desempenho humano, precisamos de um novo conjunto de dados rígido que melhore as capacidades dos sistemas para realmente ler parágrafos de texto. O DROP é um benchmark de 96 mil perguntas criado por adversários, no qual um sistema deve resolver referências em uma pergunta, talvez para várias posições de entrada, e executar operações discretas sobre elas (como adição, contagem ou classificação). Essas operações exigem uma compreensão muito mais abrangente do conteúdo dos parágrafos do que o necessário para conjuntos de dados anteriores.

Documentação Adicional : Explore em Papers With Code
Página inicial : https://allennlp.org/drop
Código -fonte: tfds.text.drop.Drop
Versões :
- 1.0.0 : versão inicial.
- 2.0.0 (padrão): Adicione todas as opções para as respostas.
Tamanho do download : 7.92 MiB
Tamanho do conjunto de dados : 116.24 MiB
Cache automático ( documentação ): Sim
Divisões :

Dividir	Exemplos
`'dev'`	9.536
`'train'`	77.409

Estrutura de recursos :

FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})

Documentação do recurso:

Característica	Classe	Forma	Tipo D
	RecursosDict
responda	Texto		corda
passagem	Texto		corda
query_id	Texto		corda
pergunta	Texto		corda
respostas_validadas	Sequência (Texto)	(Nenhum,)	corda

Chaves supervisionadas (Consulte as_supervised doc ): None
Figura ( tfds.show_examples ): Não suportado.
Exemplos ( tfds.as_dataframe ):

Citação :

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}