cfq

  • Descripción :

El conjunto de datos CFQ (y sus divisiones) para medir la generalización de la composición.

Consulte https://arxiv.org/abs/1912.09713.pdf para conocer los antecedentes.

Una nota sobre el conjunto de validación: dado que tiene la misma distribución que el conjunto de prueba y estamos interesados ​​en medir la generalización de la composición de un modelo con respecto a una distribución de prueba desconocida , sugerimos que cualquier ajuste se realice en un subconjunto del tren. set solamente (ver sección 5.1 del documento).

Ejemplo de uso:

data = tfds.load('cfq/mcd1')
FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
consulta Texto cuerda
pregunta Texto cuerda
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (configuración predeterminada)

  • Tamaño del conjunto de datos : 49.75 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/mcd2

  • Tamaño del conjunto de datos : 51.39 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/mcd3

  • Tamaño del conjunto de datos : 50.22 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/question_complexity_split

  • Tamaño del conjunto de datos : 52.81 MiB

  • Divisiones :

Separar Ejemplos
'test' 10,340
'train' 98,999
'validation' 10,339

cfq/cuestion_pattern_split

  • Tamaño del conjunto de datos : 52.81 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,909
'train' 95,654
'validation' 12,115

cfq/query_complexity_split

  • Tamaño del conjunto de datos : 52.81 MiB

  • Divisiones :

Separar Ejemplos
'test' 9,512
'train' 100,654
'validation' 9,512

cfq/query_pattern_split

  • Tamaño del conjunto de datos : 52.81 MiB

  • Divisiones :

Separar Ejemplos
'test' 12,589
'train' 94,600
'validation' 12,489

cfq/random_split

  • Tamaño del conjunto de datos : 52.81 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,967
'train' 95,744
'validation' 11,967

cfq/cd0_r1

  • Tamaño del conjunto de datos : 49.72 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r2

  • Tamaño del conjunto de datos : 49.45 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r3

  • Tamaño del conjunto de datos : 49.76 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r4

  • Tamaño del conjunto de datos : 50.04 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r5

  • Tamaño del conjunto de datos : 49.36 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r6

  • Tamaño del conjunto de datos : 49.36 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r7

  • Tamaño del conjunto de datos : 49.93 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r8

  • Tamaño del conjunto de datos : 48.58 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r9

  • Tamaño del conjunto de datos : 49.23 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r1

  • Tamaño del conjunto de datos : 51.54 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r2

  • Tamaño del conjunto de datos : 48.18 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r3

  • Tamaño del conjunto de datos : 49.23 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r4

  • Tamaño del conjunto de datos : 49.76 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r5

  • Tamaño del conjunto de datos : 49.10 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r6

  • Tamaño del conjunto de datos : 49.10 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r7

  • Tamaño del conjunto de datos : 48.02 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r8

  • Tamaño del conjunto de datos : 48.13 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r9

  • Tamaño del conjunto de datos : 48.44 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r1

  • Tamaño del conjunto de datos : 50.90 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r2

  • Tamaño del conjunto de datos : 49.12 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r3

  • Tamaño del conjunto de datos : 50.68 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r4

  • Tamaño del conjunto de datos : 52.61 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r5

  • Tamaño del conjunto de datos : 50.63 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r6

  • Tamaño del conjunto de datos : 50.63 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r7

  • Tamaño del conjunto de datos : 52.39 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r8

  • Tamaño del conjunto de datos : 50.53 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r9

  • Tamaño del conjunto de datos : 50.64 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r1

  • Tamaño del conjunto de datos : 52.08 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r2

  • Tamaño del conjunto de datos : 52.11 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r3

  • Tamaño del conjunto de datos : 51.25 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r4

  • Tamaño del conjunto de datos : 49.94 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r5

  • Tamaño del conjunto de datos : 49.71 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r6

  • Tamaño del conjunto de datos : 49.71 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r7

  • Tamaño del conjunto de datos : 50.86 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r8

  • Tamaño del conjunto de datos : 49.43 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r9

  • Tamaño del conjunto de datos : 50.32 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r1

  • Tamaño del conjunto de datos : 48.52 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r2

  • Tamaño del conjunto de datos : 47.40 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r3

  • Tamaño del conjunto de datos : 49.18 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r4

  • Tamaño del conjunto de datos : 47.86 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r5

  • Tamaño del conjunto de datos : 49.01 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r6

  • Tamaño del conjunto de datos : 49.01 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r7

  • Tamaño del conjunto de datos : 51.70 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r8

  • Tamaño del conjunto de datos : 50.94 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r9

  • Tamaño del conjunto de datos : 51.98 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r1

  • Tamaño del conjunto de datos : 51.00 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r2

  • Tamaño del conjunto de datos : 49.91 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r3

  • Tamaño del conjunto de datos : 51.26 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r4

  • Tamaño del conjunto de datos : 51.27 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r5

  • Tamaño del conjunto de datos : 51.87 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r6

  • Tamaño del conjunto de datos : 51.87 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r7

  • Tamaño del conjunto de datos : 48.52 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r8

  • Tamaño del conjunto de datos : 48.62 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r9

  • Tamaño del conjunto de datos : 48.48 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r1

  • Tamaño del conjunto de datos : 49.32 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r2

  • Tamaño del conjunto de datos : 49.36 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r3

  • Tamaño del conjunto de datos : 49.85 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r4

  • Tamaño del conjunto de datos : 50.07 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r5

  • Tamaño del conjunto de datos : 49.86 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r6

  • Tamaño del conjunto de datos : 49.86 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r7

  • Tamaño del conjunto de datos : 49.42 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r8

  • Tamaño del conjunto de datos : 48.52 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r9

  • Tamaño del conjunto de datos : 49.54 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r1

  • Tamaño del conjunto de datos : 49.75 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r2

  • Tamaño del conjunto de datos : 49.07 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r3

  • Tamaño del conjunto de datos : 50.22 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r4

  • Tamaño del conjunto de datos : 49.12 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r5

  • Tamaño del conjunto de datos : 48.80 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r6

  • Tamaño del conjunto de datos : 48.80 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r7

  • Tamaño del conjunto de datos : 50.69 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r8

  • Tamaño del conjunto de datos : 51.39 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r9

  • Tamaño del conjunto de datos : 49.94 MiB

  • Divisiones :

Separar Ejemplos
'test' 11,968
'train' 95,743
'validation' 11,968