- Descrição :
Dados de matrizes geradas processualmente (PGM) do artigo Measuring Abstract Reasoning in Neural Networks, Barrett, Hill, Santoro et al. 2018. O objetivo é inferir a resposta correta dos painéis de contexto com base no raciocínio abstrato.
Para usar este conjunto de dados, faça o download de todos os arquivos *.tar.gz da página do conjunto de dados e coloque-os em ~/tensorflow_datasets/abstract_reasoning/.
\(R\) denota o conjunto de tipos de relação (progressão, XOR, OR, AND, união consistente), \(O\) denota os tipos de objeto (forma, linha) e \(A\) denota os tipos de atributo (tamanho, cor, posição, número). A estrutura de uma matriz,\(S\), é o conjunto de triplos \(S={[r, o, a]}\) que determinam o desafio colocado por uma determinada matriz.
Documentação Adicional : Explore em Papers With Code
Página inicial : https://github.com/deepmind/abstract-reasoning-matrices
Código -fonte:
tfds.datasets.abstract_reasoning.Builder
Versões :
-
1.0.0
(padrão): sem notas de versão.
-
Tamanho do download :
Unknown size
Instruções de download manual : este conjunto de dados exige que você baixe os dados de origem manualmente em
download_config.manual_dir
(o padrão é~/tensorflow_datasets/downloads/manual/
):
Os dados podem ser baixados em https://console.cloud.google.com/storage/browser/ravens-matrices Por favor, coloque todos os arquivos tar.gz em manual_dir.Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'test' | 200.000 |
'train' | 1.200.000 |
'validation' | 20.000 |
- Estrutura de recursos :
FeaturesDict({
'answers': Video(Image(shape=(160, 160, 1), dtype=uint8)),
'context': Video(Image(shape=(160, 160, 1), dtype=uint8)),
'filename': Text(shape=(), dtype=string),
'meta_target': Tensor(shape=(12,), dtype=int64),
'relation_structure_encoded': Tensor(shape=(4, 12), dtype=int64),
'target': ClassLabel(shape=(), dtype=int64, num_classes=8),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
RecursosDict | ||||
respostas | Vídeo(Imagem) | (8, 160, 160, 1) | uint8 | |
contexto | Vídeo(Imagem) | (8, 160, 160, 1) | uint8 | |
nome do arquivo | Texto | corda | ||
meta_target | tensor | (12,) | int64 | |
relacional_estrutura_encoded | tensor | (4, 12) | int64 | |
alvo | ClassLabel | int64 |
Chaves supervisionadas (Consulte
as_supervised
doc ):None
Figura ( tfds.show_examples ): Não suportado.
Citação :
@InProceedings{pmlr-v80-barrett18a,
title = {Measuring abstract reasoning in neural networks},
author = {Barrett, David and Hill, Felix and Santoro, Adam and Morcos, Ari and Lillicrap, Timothy},
booktitle = {Proceedings of the 35th International Conference on Machine Learning},
pages = {511--520},
year = {2018},
editor = {Dy, Jennifer and Krause, Andreas},
volume = {80},
series = {Proceedings of Machine Learning Research},
address = {Stockholmsmassan, Stockholm Sweden},
month = {10--15 Jul},
publisher = {PMLR},
pdf = {http://proceedings.mlr.press/v80/barrett18a/barrett18a.pdf},
url = {http://proceedings.mlr.press/v80/barrett18a.html},
abstract = {Whether neural networks can learn abstract reasoning or whetherthey merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation 'regimes' in which the training data and test questions differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.}
}
abstract_reasoning/neutral (configuração padrão)
Descrição da configuração : As estruturas que codificam as matrizes em ambos os
os conjuntos de treinamento e teste contêm quaisquer triplos \([r, o, a]\) para \(r \\in R\),
\(o \\in O\)e \(a \\in A\). Conjuntos de treinamento e teste são disjuntos, com
separação ocorrendo no nível das variáveis de entrada (ou seja, pixel
manifestações).Tamanho do conjunto de dados :
42.02 GiB
Exemplos ( tfds.as_dataframe ):
resumo_raciocínio/interpolação
Descrição da configuração : como na divisão neutra, \(S\) consistia em qualquer
tripla \([r, o, a]\). Para interpolação, no conjunto de treinamento, quando o
atributo era "cor" ou "tamanho" (ou seja, os atributos ordenados), os valores de
os atributos eram restritos a membros indexados pares de um conjunto discreto,
enquanto no conjunto de teste apenas valores indexados ímpares eram permitidos. Observe que todos
\(S\) continha algum triplo \([r, o, a]\) com o atributo color ou size .
Assim, a generalização é necessária para cada pergunta no conjunto de teste.Tamanho do conjunto de dados :
37.09 GiB
Exemplos ( tfds.as_dataframe ):
resumo_raciocínio/extrapolação
Descrição da configuração : Igual à interpolação, mas os valores de
os atributos foram restritos à metade inferior do conjunto discreto durante
treinamento, enquanto no conjunto de teste eles assumiram valores na metade superior.Tamanho do conjunto de dados :
35.91 GiB
Exemplos ( tfds.as_dataframe ):
abstract_reasoning/attr.rel.pairs
Descrição da configuração : Todos os \(S\) continham pelo menos dois triplos,
\(([r_1,o_1,a_1],[r_2,o_2,a_2]) = (t_1, t_2)\), dos quais 400 são viáveis. Nós
alocados aleatoriamente 360 para o conjunto de treinamento e 40 para o conjunto de teste. Membros
\((t_1, t_2)\) dos 40 pares retidos não ocorreram juntos em estruturas\(S\)
no conjunto de treinamento, e todas as estruturas \(S\) tinham pelo menos um desses pares
\((t_1, t_2)\) como um subconjunto.Tamanho do conjunto de dados :
41.07 GiB
Exemplos ( tfds.as_dataframe ):
abstract_reasoning/attr.rels
Descrição da configuração : em nosso conjunto de dados, existem 29 possíveis
triplica \([r,o,a]\). Alocamos sete deles para o conjunto de teste, aleatoriamente,
mas tal que cada um dos atributos foi representado exatamente uma vez neste conjunto.
Esses triplos estendidos nunca ocorreram em perguntas no conjunto de treinamento e
cada \(S\) no conjunto de teste continha pelo menos um deles.Tamanho do conjunto de dados :
41.45 GiB
Exemplos ( tfds.as_dataframe ):
abstract_reasoning/attrs.pairs
Descrição da configuração : \(S\) continha pelo menos dois triplos. existem 20
pares viáveis (não ordenados) de atributos \((a_1, a_2)\) modo que para alguns
\(r_i, o_i, ([r_1,o_1,a_1],[r_2,o_2,a_2])\) é um par triplo viável
\(([r_1,o_1,a_1],[r_2,o_2,a_2]) = (t_1, t_2)\). Alocamos 16 desses pares
para treinamento e quatro para teste. Para um par \((a_1, a_2)\) no conjunto de teste,
\(S\) no conjunto de treinamento continha triplos com \(a_1\) ou \(a_2\). no teste
definido, todos os \(S\) continham triplos com \(a_1\) e \(a_2\).Tamanho do conjunto de dados :
40.98 GiB
Exemplos ( tfds.as_dataframe ):
abstract_reasoning/attrs.shape.color
Descrição da configuração : Forma e cor do atributo retido. \(S\) em
o conjunto de treinamento não continha triplos com \(o\)=forma e \(a\)=cor.
Todas as estruturas que regem os quebra-cabeças no conjunto de teste continham pelo menos um triplo
com \(o\)=forma e \(a\)=cor.Tamanho do conjunto de dados :
41.21 GiB
Exemplos ( tfds.as_dataframe ):
abstract_reasoning/attrs.line.type
Descrição da configuração : tipo de linha de atributo retido. \(S\) em
o conjunto de treinamento não continha triplas com \(o\)=line e \(a\)=type.
Todas as estruturas que regem os quebra-cabeças no conjunto de teste continham pelo menos um triplo
com \(o\)=linha e \(a\)=tipo.Tamanho do conjunto de dados :
41.40 GiB
Exemplos ( tfds.as_dataframe ):