risposta_equivalenza

• Descrizione :

Il set di dati sull'equivalenza delle risposte contiene valutazioni umane sulle previsioni del modello da diversi modelli nel set di dati SQuAD. Le valutazioni stabiliscono se la risposta prevista è "equivalente" alla risposta oro (tenendo conto sia della domanda che del contesto).

Più specificamente, per "equivalente" intendiamo che la risposta prevista contiene almeno le stesse informazioni della risposta oro e non aggiunge informazioni superflue. Il set di dati contiene annotazioni per: * previsioni da BiDAF su SQuAD dev * previsioni da XLNet su SQuAD dev * previsioni da Luke su SQuAD dev * previsioni da Albert su SQuAD training, dev ed esempi di test

• Home page : https://github.com/google-research-datasets/answer-equivalence-dataset

• Codice sorgente : tfds.datasets.answer_equivalence.Builder

• Versioni :

  • 1.0.0 (impostazione predefinita): versione iniziale.

• Dimensione del download : 45.86 MiB

• Dimensione del set di dati: 47.24 MiB

• Auto-cache ( documentazione ): Sì

• Divisioni :

Diviso	Esempi
'ae_dev'	4.446
'ae_test'	9.724
'dev_bidaf'	7.522
'dev_luke'	4.590
'dev_xlnet'	7.932
'train'	9.090

• Struttura delle caratteristiche :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• Documentazione delle funzionalità :

Caratteristica	Classe	Forma	Tipo D	Descrizione
	CaratteristicheDict
candidato	Testo		corda
contesto	Testo		corda
indice_oro	Tensore		int32
qid	Testo		corda
domanda	Testo		corda
domanda 1	ClassLabel		int64
Domanda 2	ClassLabel		int64
Domanda 3	ClassLabel		int64
domanda_4	ClassLabel		int64
riferimento	Testo		corda
punto	Tensore		galleggiante32

• Chiavi supervisionate (Vedi as_supervised doc ): None

• Figura ( tfds.show_examples ): non supportato.

• Esempi ( tfds.as_dataframe ):

• Citazione :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}