resposta_equivalência

• Descrição :

O conjunto de dados de equivalência de resposta contém classificações humanas em previsões de modelo de vários modelos no conjunto de dados SQuAD. As avaliações estabelecem se a resposta prevista é 'equivalente' à resposta de ouro (levando em consideração a pergunta e o contexto).

Mais especificamente, por 'equivalente' queremos dizer que a resposta prevista contém pelo menos as mesmas informações que a resposta de ouro e não adiciona informações supérfluas. O conjunto de dados contém anotações para: * previsões de BiDAF em SQuAD dev * previsões de XLNet em SQuAD dev * previsões de Luke em SQuAD dev * previsões de Albert em exemplos de treinamento, desenvolvimento e teste de SQuAD

• Página inicial : https://github.com/google-research-datasets/answer-equivalence-dataset

• Código -fonte: tfds.datasets.answer_equivalence.Builder

• Versões :

  • 1.0.0 (padrão): versão inicial.

• Tamanho do download : 45.86 MiB

• Tamanho do conjunto de dados : 47.24 MiB

• Cache automático ( documentação ): Sim

• Divisões :

Dividir	Exemplos
'ae_dev'	4.446
'ae_test'	9.724
'dev_bidaf'	7.522
'dev_luke'	4.590
'dev_xlnet'	7.932
'train'	9.090

• Estrutura de recursos :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• Documentação do recurso:

Característica	Classe	Forma	Tipo D	Descrição
	RecursosDict
candidato	Texto		corda
contexto	Texto		corda
gold_index	tensor		int32
qid	Texto		corda
pergunta	Texto		corda
questão 1	ClassLabel		int64
Questão 2	ClassLabel		int64
Questão 3	ClassLabel		int64
question_4	ClassLabel		int64
referência	Texto		corda
pontuação	tensor		float32

• Chaves supervisionadas (Consulte as_supervised doc ): None

• Figura ( tfds.show_examples ): Não suportado.

• Exemplos ( tfds.as_dataframe ):

• Citação :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}