उत्तर_समतुल्यता

• विवरण :

उत्तर तुल्यता डेटासेट में SQuAD डेटासेट पर कई मॉडलों से मॉडल भविष्यवाणियों पर मानव रेटिंग शामिल हैं। रेटिंग यह स्थापित करती हैं कि अनुमानित उत्तर सोने के उत्तर के 'समतुल्य' है (प्रश्न और संदर्भ दोनों को ध्यान में रखते हुए)।

अधिक विशेष रूप से, 'समतुल्य' से हमारा मतलब है कि अनुमानित उत्तर में कम से कम वही जानकारी होती है जो सोने के उत्तर में होती है और इसमें अनावश्यक जानकारी नहीं होती है। डेटासेट में निम्नलिखित के लिए एनोटेशन शामिल हैं: * SQuAD देव पर BiDAF से भविष्यवाणियां * SQuAD देव पर XLNet से भविष्यवाणियां * SQuAD देव पर ल्यूक से भविष्यवाणियां * SQuAD प्रशिक्षण, देव और परीक्षण उदाहरणों पर अल्बर्ट से भविष्यवाणियां

• मुखपृष्ठ : https://github.com/google-research-datasets/answer-equivalence-dataset

• स्रोत कोड : tfds.datasets.answer_equivalence.Builder

• संस्करण :

  • 1.0.0 (डिफ़ॉल्ट): प्रारंभिक रिलीज़।

• डाउनलोड आकार : 45.86 MiB

• डेटासेट का आकार : 47.24 MiB

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ

• विभाजन :

विभाजित करना	उदाहरण
'ae_dev'	4,446
'ae_test'	9,724
'dev_bidaf'	7,522
'dev_luke'	4,590
'dev_xlnet'	7,932
'train'	9,090

• फ़ीचर संरचना :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• फ़ीचर दस्तावेज़ीकरण :

विशेषता	कक्षा	आकार	डीटाइप	विवरण
	विशेषताएं डिक्ट
उम्मीदवार	मूलपाठ		डोरी
संदर्भ	मूलपाठ		डोरी
gold_index	टेन्सर		int32
qid	मूलपाठ		डोरी
प्रश्न	मूलपाठ		डोरी
प्रश्न 1	क्लासलेबल		int64
प्रश्न 2	क्लासलेबल		int64
प्रश्न 3	क्लासलेबल		int64
प्रश्न_4	क्लासलेबल		int64
संदर्भ	मूलपाठ		डोरी
अंक	टेन्सर		फ्लोट32

• पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

• चित्र ( tfds.show_examples ): समर्थित नहीं है।

• उदाहरण ( tfds.as_dataframe ):

• उद्धरण :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}