piqa

  • Descrizione :

Physical IQa: Physical Interaction QA, un nuovo benchmark di QA di buon senso per il ragionamento fisico ingenuo incentrato su come interagiamo con gli oggetti quotidiani nelle situazioni quotidiane. Questo set di dati si concentra sull'affordance degli oggetti, ovvero quali azioni offre ciascun oggetto fisico (ad esempio, è possibile utilizzare una scarpa come fermaporta) e quali interazioni fisiche permette un gruppo di oggetti (ad esempio, è possibile posizionare una mela sopra un libro, ma non viceversa). Il set di dati richiede un ragionamento sia sull'uso prototipico degli oggetti (ad esempio, le scarpe sono usate per camminare) sia sull'uso non prototipo ma praticamente plausibile degli oggetti (ad esempio, le scarpe possono essere usate come fermaporta). Il set di dati include 20.000 coppie QA che sono domande a scelta multipla o vero/falso.

Diviso Esempi
'train' 16.113
'validation' 1.838
  • Caratteristiche :
FeaturesDict({
    'goal': Text(shape=(), dtype=tf.string),
    'id': Text(shape=(), dtype=tf.string),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sol1': Text(shape=(), dtype=tf.string),
    'sol2': Text(shape=(), dtype=tf.string),
})
  • Citazione :
@inproceedings{Bisk2020,
  author = {Yonatan Bisk and Rowan Zellers and
            Ronan Le Bras and Jianfeng Gao
            and Yejin Choi},
  title = {PIQA: Reasoning about Physical Commonsense in
           Natural Language},
  booktitle = {Thirty-Fourth AAAI Conference on
               Artificial Intelligence},
  year = {2020},
}