отвлеченные рассуждения

l10n-placeholder1 обозначает набор типов отношений (последовательность, исключающее ИЛИ, ИЛИ, И, согласованное объединение), \\(O\\) обозначает типы объектов (форма, линия), а \\(A\\) обозначает типы атрибутов (размер, цвет, положение, номер). Структура матрицы, \\(S\\), представляет собой набор троек \\(S={[r, o, a]}\\) , которые определяют задачу, поставленную конкретной матрицей. Чтобы использовать этот набор данных: ```python import tensorflow_datasets as tfds ds = tfds.load('abstract_reasoning', split='train') for ex in ds.take(4): print(ex) ``` См. [руководство ](https://www.tensorflow.org/datasets/overview) для получения дополнительной информации о [tensorflow_datasets](https://www.tensorflow.org/datasets). " />
  • Описание :

Данные процедурно сгенерированных матриц (PGM) из статьи Measuring Abstract Reasoning in Neural Networks, Barrett, Hill, Santoro et al. 2018. Цель состоит в том, чтобы вывести правильный ответ из контекстных панелей на основе абстрактных рассуждений.

Чтобы использовать этот набор данных, загрузите все файлы *.tar.gz со страницы набора данных и поместите их в ~/tensorflow_datasets/abstract_reasoning/.

\(R\) обозначает набор типов отношений (последовательность, исключающее ИЛИ, ИЛИ, И, согласованное объединение), \(O\) обозначает типы объектов (форма, линия), а \(A\) обозначает типы атрибутов (размер, цвет, положение, количество). Структура матрицы\(S\)представляет собой набор троек \(S={[r, o, a]}\) , которые определяют задачу, создаваемую конкретной матрицей.

Расколоть Примеры
'test' 200 000
'train' 1 200 000
'validation' 20 000
  • Структура функции :
FeaturesDict({
    'answers': Video(Image(shape=(160, 160, 1), dtype=uint8)),
    'context': Video(Image(shape=(160, 160, 1), dtype=uint8)),
    'filename': Text(shape=(), dtype=string),
    'meta_target': Tensor(shape=(12,), dtype=int64),
    'relation_structure_encoded': Tensor(shape=(4, 12), dtype=int64),
    'target': ClassLabel(shape=(), dtype=int64, num_classes=8),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
ответы Видео (изображение) (8, 160, 160, 1) uint8
контекст Видео (изображение) (8, 160, 160, 1) uint8
имя файла Текст нить
мета_цель Тензор (12,) int64
отношение_структура_закодировано Тензор (4, 12) int64
цель Метка класса int64
@InProceedings{pmlr-v80-barrett18a,
  title =    {Measuring abstract reasoning in neural networks},
  author =   {Barrett, David and Hill, Felix and Santoro, Adam and Morcos, Ari and Lillicrap, Timothy},
  booktitle =    {Proceedings of the 35th International Conference on Machine Learning},
  pages =    {511--520},
  year =     {2018},
  editor =   {Dy, Jennifer and Krause, Andreas},
  volume =   {80},
  series =   {Proceedings of Machine Learning Research},
  address =      {Stockholmsmassan, Stockholm Sweden},
  month =    {10--15 Jul},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v80/barrett18a/barrett18a.pdf},
  url =      {http://proceedings.mlr.press/v80/barrett18a.html},
  abstract =     {Whether neural networks can learn abstract reasoning or whetherthey merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation 'regimes' in which the training data and test questions differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.}
}

abstract_reasoning/нейтральный (конфигурация по умолчанию)

  • Описание конфигурации : структуры, кодирующие матрицы как в
    наборы для обучения и тестирования содержат любые тройки \([r, o, a]\) для \(r \\in R\),
    \(o \\in O\)и \(a \\in A\). Обучающая и тестовая выборки не пересекаются, т.е.
    разделение, происходящее на уровне входных переменных (т.е.
    проявления).

  • Размер набора данных : 42.02 GiB

  • Примеры ( tfds.as_dataframe ):

abstract_reasoning/интерполяция

  • Описание конфига : Как и в нейтральном сплите, \(S\) состоял из любых
    тройки \([r, o, a]\). Для интерполяции в обучающей выборке, когда
    атрибутом был «цвет» или «размер» (т. е. упорядоченные атрибуты), значения
    атрибуты были ограничены членами дискретного набора с четным индексом,
    тогда как в тестовом наборе допускались только значения с нечетным индексом. Обратите внимание, что все
    \(S\) содержит тройку \([r, o, a]\) с атрибутом color или size.
    Таким образом, для каждого вопроса в наборе тестов требуется обобщение.

  • Размер набора данных : 37.09 GiB

  • Примеры ( tfds.as_dataframe ):

abstract_reasoning/экстраполяция

  • Описание конфигурации : То же, что и при интерполяции, но значения
    атрибуты были ограничены нижней половиной дискретного набора во время
    обучении, тогда как в тестовой выборке они принимали значения в верхней половине.

  • Размер набора данных : 35.91 GiB

  • Примеры ( tfds.as_dataframe ):

abstract_reasoning/attr.rel.pairs

  • Описание конфига: Все \(S\) содержали как минимум две тройки,
    \(([r_1,o_1,a_1],[r_2,o_2,a_2]) = (t_1, t_2)\), из которых 400 жизнеспособны. Мы
    случайным образом распределили 360 для обучающего набора и 40 для тестового набора. Члены
    \((t_1, t_2)\) из 40 пропущенных пар не встречались вместе в структурах\(S\)
    в обучающей выборке, и все структуры \(S\) имели хотя бы одну такую ​​пару
    \((t_1, t_2)\) как подмножество.

  • Размер набора данных : 41.07 GiB

  • Примеры ( tfds.as_dataframe ):

abstract_reasoning/attr.rels

  • Описание конфигурации : в нашем наборе данных есть 29 возможных уникальных
    тройки \([r,o,a]\). Мы случайным образом выделили семь из них для тестовой выборки.
    но так, чтобы каждый из атрибутов был представлен ровно один раз в этом наборе.
    Эти протянутые тройки никогда не встречались в вопросах обучающей выборки, и
    каждый \(S\) в тестовом наборе содержал по крайней мере один из них.

  • Размер набора данных : 41.45 GiB

  • Примеры ( tfds.as_dataframe ):

abstract_reasoning/attrs.pairs

  • Описание конфига: \(S\) содержал как минимум две тройки. Есть 20
    (неупорядоченные) жизнеспособные пары атрибутов \((a_1, a_2)\) такие, что для некоторых
    \(r_i, o_i, ([r_1,o_1,a_1],[r_2,o_2,a_2])\) — жизнеспособная тройная пара
    \(([r_1,o_1,a_1],[r_2,o_2,a_2]) = (t_1, t_2)\). Мы выделили 16 таких пар.
    для обучения и четыре для тестирования. Для пары \((a_1, a_2)\) в тестовом наборе
    \(S\) в обучающем наборе содержал тройки с \(a_1\) или \(a_2\). В тесте
    set все \(S\) содержали триплеты с \(a_1\) и \(a_2\).

  • Размер набора данных : 40.98 GiB

  • Примеры ( tfds.as_dataframe ):

abstract_reasoning/attrs.shape.color

  • Описание конфигурации : Цвет вытянутого атрибута. \(S\)
    обучающий набор не содержал троек с \(o\)= shape и \(a\)= color.
    Все структуры, управляющие головоломками в тестовом наборе, содержали как минимум одну тройку.
    с \(o\)= форма и \(a\)= цвет.

  • Размер набора данных : 41.21 GiB

  • Примеры ( tfds.as_dataframe ):

abstract_reasoning/attrs.line.type

  • Описание конфигурации : тип строки атрибута вытянутой руки. \(S\)
    обучающая выборка не содержала троек с \(o\)=line и \(a\)=type.
    Все структуры, управляющие головоломками в тестовом наборе, содержали как минимум одну тройку.
    с \(o\)= строка и \(a\)= тип.

  • Размер набора данных : 41.40 GiB

  • Примеры ( tfds.as_dataframe ):