piqa

  • Beschreibung:

Physical IQa: Physical Interaction QA, ein neuer, vernünftiger QA-Benchmark für naive physikalische Argumentation, der sich darauf konzentriert, wie wir mit Alltagsgegenständen in Alltagssituationen interagieren. Dieser Datensatz konzentriert sich auf die Affordanzen von Objekten, dh welche Aktionen jedes physische Objekt bietet (z auf einem Buch, aber nicht umgekehrt). Der Datensatz erfordert eine Begründung sowohl über die prototypische Verwendung von Objekten (zB Schuhe werden zum Gehen verwendet) als auch über die nicht prototypische, aber praktisch plausible Verwendung von Objekten (zB Schuhe können als Türstopper verwendet werden). Der Datensatz enthält 20.000 QA-Paare, die entweder Multiple-Choice- oder Richtig/Falsch-Fragen sind.

Teilt Beispiele
'train' 16.113
'validation' 1.838
  • Eigenschaften:
FeaturesDict({
    'goal': Text(shape=(), dtype=tf.string),
    'id': Text(shape=(), dtype=tf.string),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sol1': Text(shape=(), dtype=tf.string),
    'sol2': Text(shape=(), dtype=tf.string),
})
  • Zitat:
@inproceedings{Bisk2020,
  author = {Yonatan Bisk and Rowan Zellers and
            Ronan Le Bras and Jianfeng Gao
            and Yejin Choi},
  title = {PIQA: Reasoning about Physical Commonsense in
           Natural Language},
  booktitle = {Thirty-Fourth AAAI Conference on
               Artificial Intelligence},
  year = {2020},
}