cfq

  • Descrição :

O conjunto de dados CFQ (e suas divisões) para medir a generalização composicional.

Consulte https://arxiv.org/abs/1912.09713.pdf para obter informações básicas.

Uma observação sobre o conjunto de validação: como ele tem a mesma distribuição que o conjunto de teste e estamos interessados ​​em medir a generalização composicional de um modelo em relação a uma distribuição de teste desconhecida , sugerimos que qualquer ajuste seja feito em um subconjunto do trem definido apenas (consulte a seção 5.1 do documento).

Exemplo de uso:

data = tfds.load('cfq/mcd1')

FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
RecursosDict
consulta Texto corda
pergunta Texto corda
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (configuração padrão)

  • Tamanho do conjunto de dados : 49.75 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd2

  • Tamanho do conjunto de dados : 51.39 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd3

  • Tamanho do conjunto de dados : 50.22 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/question_complexity_split

  • Tamanho do conjunto de dados : 52.81 MiB

  • Divisões :

Dividir Exemplos
'test' 10.340
'train' 98.999
'validation' 10.339

cfq/question_pattern_split

  • Tamanho do conjunto de dados : 52.81 MiB

  • Divisões :

Dividir Exemplos
'test' 11.909
'train' 95.654
'validation' 12.115

cfq/query_complexity_split

  • Tamanho do conjunto de dados : 52.81 MiB

  • Divisões :

Dividir Exemplos
'test' 9.512
'train' 100.654
'validation' 9.512

cfq/query_pattern_split

  • Tamanho do conjunto de dados : 52.81 MiB

  • Divisões :

Dividir Exemplos
'test' 12.589
'train' 94.600
'validation' 12.489

cfq/random_split

  • Tamanho do conjunto de dados : 52.81 MiB

  • Divisões :

Dividir Exemplos
'test' 11.967
'train' 95.744
'validation' 11.967

cfq/cd0_r1

  • Tamanho do conjunto de dados : 49.72 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r2

  • Tamanho do conjunto de dados : 49.45 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r3

  • Tamanho do conjunto de dados : 49.76 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r4

  • Tamanho do conjunto de dados : 50.04 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r5

  • Tamanho do conjunto de dados : 49.36 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r6

  • Tamanho do conjunto de dados : 49.36 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r7

  • Tamanho do conjunto de dados : 49.93 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r8

  • Tamanho do conjunto de dados : 48.58 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r9

  • Tamanho do conjunto de dados : 49.23 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r1

  • Tamanho do conjunto de dados : 51.54 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r2

  • Tamanho do conjunto de dados : 48.18 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r3

  • Tamanho do conjunto de dados : 49.23 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r4

  • Tamanho do conjunto de dados : 49.76 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r5

  • Tamanho do conjunto de dados : 49.10 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r6

  • Tamanho do conjunto de dados : 49.10 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r7

  • Tamanho do conjunto de dados : 48.02 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r8

  • Tamanho do conjunto de dados : 48.13 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r9

  • Tamanho do conjunto de dados : 48.44 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r1

  • Tamanho do conjunto de dados : 50.90 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r2

  • Tamanho do conjunto de dados : 49.12 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r3

  • Tamanho do conjunto de dados : 50.68 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r4

  • Tamanho do conjunto de dados : 52.61 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r5

  • Tamanho do conjunto de dados : 50.63 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r6

  • Tamanho do conjunto de dados : 50.63 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r7

  • Tamanho do conjunto de dados : 52.39 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r8

  • Tamanho do conjunto de dados : 50.53 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r9

  • Tamanho do conjunto de dados : 50.64 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r1

  • Tamanho do conjunto de dados : 52.08 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r2

  • Tamanho do conjunto de dados : 52.11 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r3

  • Tamanho do conjunto de dados : 51.25 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r4

  • Tamanho do conjunto de dados : 49.94 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r5

  • Tamanho do conjunto de dados : 49.71 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r6

  • Tamanho do conjunto de dados : 49.71 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r7

  • Tamanho do conjunto de dados : 50.86 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r8

  • Tamanho do conjunto de dados : 49.43 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r9

  • Tamanho do conjunto de dados : 50.32 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r1

  • Tamanho do conjunto de dados : 48.52 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r2

  • Tamanho do conjunto de dados : 47.40 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r3

  • Tamanho do conjunto de dados : 49.18 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r4

  • Tamanho do conjunto de dados : 47.86 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r5

  • Tamanho do conjunto de dados : 49.01 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r6

  • Tamanho do conjunto de dados : 49.01 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r7

  • Tamanho do conjunto de dados : 51.70 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r8

  • Tamanho do conjunto de dados : 50.94 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r9

  • Tamanho do conjunto de dados : 51.98 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r1

  • Tamanho do conjunto de dados : 51.00 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r2

  • Tamanho do conjunto de dados : 49.91 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r3

  • Tamanho do conjunto de dados : 51.26 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r4

  • Tamanho do conjunto de dados : 51.27 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r5

  • Tamanho do conjunto de dados : 51.87 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r6

  • Tamanho do conjunto de dados : 51.87 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r7

  • Tamanho do conjunto de dados : 48.52 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r8

  • Tamanho do conjunto de dados : 48.62 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r9

  • Tamanho do conjunto de dados : 48.48 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r1

  • Tamanho do conjunto de dados : 49.32 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r2

  • Tamanho do conjunto de dados : 49.36 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r3

  • Tamanho do conjunto de dados : 49.85 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r4

  • Tamanho do conjunto de dados : 50.07 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r5

  • Tamanho do conjunto de dados : 49.86 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r6

  • Tamanho do conjunto de dados : 49.86 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r7

  • Tamanho do conjunto de dados : 49.42 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r8

  • Tamanho do conjunto de dados : 48.52 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r9

  • Tamanho do conjunto de dados : 49.54 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r1

  • Tamanho do conjunto de dados : 49.75 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r2

  • Tamanho do conjunto de dados : 49.07 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r3

  • Tamanho do conjunto de dados : 50.22 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r4

  • Tamanho do conjunto de dados : 49.12 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r5

  • Tamanho do conjunto de dados : 48.80 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r6

  • Tamanho do conjunto de dados : 48.80 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r7

  • Tamanho do conjunto de dados : 50.69 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r8

  • Tamanho do conjunto de dados : 51.39 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r9

  • Tamanho do conjunto de dados : 49.94 MiB

  • Divisões :

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968