ai2_arc

  • विवरण :

उन्नत प्रश्न-उत्तर में अनुसंधान को प्रोत्साहित करने के लिए 7,787 वास्तविक ग्रेड-स्कूल स्तर, बहुविकल्पीय विज्ञान प्रश्नों का एक नया डेटासेट इकट्ठा किया गया। डेटासेट को एक चुनौती सेट और एक आसान सेट में विभाजित किया गया है, जहां पूर्व में केवल पुनर्प्राप्ति-आधारित एल्गोरिदम और शब्द सह-घटना एल्गोरिदम दोनों द्वारा गलत उत्तर दिए गए प्रश्न शामिल हैं। हम कार्य के लिए प्रासंगिक 14 मिलियन से अधिक विज्ञान वाक्यों का संग्रह भी शामिल कर रहे हैं, और इस डेटासेट के लिए तीन न्यूरल बेसलाइन मॉडल का कार्यान्वयन कर रहे हैं। हम ARC को समुदाय के लिए एक चुनौती के रूप में पेश करते हैं।

FeaturesDict({
    'answerKey': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'choices': Sequence({
        'label': ClassLabel(shape=(), dtype=int64, num_classes=5),
        'text': Text(shape=(), dtype=string),
    }),
    'id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीटाइप विवरण
विशेषताएं डिक्ट
उत्तर कुंजी क्लासलेबल int64
विकल्प क्रम
विकल्प / लेबल क्लासलेबल int64
विकल्प / पाठ मूलपाठ डोरी
पहचान मूलपाठ डोरी
प्रश्न मूलपाठ डोरी

  • पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

  • चित्र ( tfds.show_examples ): समर्थित नहीं है।

  • उद्धरण :

@article{allenai:arc,
      author    = {Peter Clark  and Isaac Cowhey and Oren Etzioni and Tushar Khot and
                    Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
      title     = {Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge},
      journal   = {arXiv:1803.05457v1},
      year      = {2018},
}

ai2_arc/ARC-Challenge (डिफ़ॉल्ट कॉन्फ़िगरेशन)

  • कॉन्फिग विवरण : 2590 "कठिन" प्रश्नों का चैलेंज सेट (वे जो पुनर्प्राप्ति और सह-घटना विधि दोनों सही उत्तर देने में विफल होते हैं)

  • डेटासेट का आकार : 939.91 KiB

  • विभाजन :

विभाजित करना उदाहरण
'test' 1,172
'train' 1,119
'validation' 299

ai2_arc/ARC-Easy

  • कॉन्फिग विवरण : एआरसी चैलेंज के लिए 5197 प्रश्नों का आसान सेट।

  • डेटासेट का आकार : 1.63 MiB

  • विभाजन :

विभाजित करना उदाहरण
'test' 2,376
'train' 2,251
'validation' 570