cfq

  • Descriptif :

L'ensemble de données CFQ (et ses fractionnements) pour mesurer la généralisation de la composition.

Voir https://arxiv.org/abs/1912.09713.pdf pour le contexte.

Une note sur l'ensemble de validation : puisqu'il a la même distribution que l'ensemble de test et que nous sommes intéressés à mesurer la généralisation compositionnelle d'un modèle par rapport à une distribution de test inconnue , nous suggérons que tout réglage soit effectué sur un sous-ensemble du train ensemble uniquement (voir la section 5.1 du document).

Exemple d'utilisation :

data = tfds.load('cfq/mcd1')

FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Documentation des fonctionnalités :
Caractéristique Classer Forme Dtype La description
FonctionnalitésDict
requête Texte chaîne de caractères
question Texte chaîne de caractères
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (configuration par défaut)

  • Taille du jeu de données : 49.75 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/mcd2

  • Taille du jeu de données : 51.39 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/mcd3

  • Taille du jeu de données : 50.22 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/question_complexity_split

  • Taille du jeu de données : 52.81 MiB

  • Fractionnements :

Diviser Exemples
'test' 10 340
'train' 98 999
'validation' 10 339

cfq/question_pattern_split

  • Taille du jeu de données : 52.81 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 909
'train' 95 654
'validation' 12 115

cfq/query_complexity_split

  • Taille du jeu de données : 52.81 MiB

  • Fractionnements :

Diviser Exemples
'test' 9 512
'train' 100 654
'validation' 9 512

cfq/query_pattern_split

  • Taille du jeu de données : 52.81 MiB

  • Fractionnements :

Diviser Exemples
'test' 12 589
'train' 94 600
'validation' 12 489

cfq/random_split

  • Taille du jeu de données : 52.81 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 967
'train' 95 744
'validation' 11 967

cfq/cd0_r1

  • Taille du jeu de données : 49.72 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r2

  • Taille du jeu de données : 49.45 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r3

  • Taille du jeu de données : 49.76 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r4

  • Taille du jeu de données : 50.04 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r5

  • Taille du jeu de données : 49.36 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r6

  • Taille du jeu de données : 49.36 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r7

  • Taille du jeu de données : 49.93 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r8

  • Taille du jeu de données : 48.58 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r9

  • Taille du jeu de données : 49.23 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r1

  • Taille du jeu de données : 51.54 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r2

  • Taille du jeu de données : 48.18 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r3

  • Taille du jeu de données : 49.23 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r4

  • Taille du jeu de données : 49.76 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r5

  • Taille du jeu de données : 49.10 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r6

  • Taille du jeu de données : 49.10 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r7

  • Taille du jeu de données : 48.02 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r8

  • Taille du jeu de données : 48.13 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r9

  • Taille du jeu de données : 48.44 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r1

  • Taille du jeu de données : 50.90 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r2

  • Taille du jeu de données : 49.12 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r3

  • Taille du jeu de données : 50.68 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r4

  • Taille du jeu de données : 52.61 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r5

  • Taille du jeu de données : 50.63 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r6

  • Taille du jeu de données : 50.63 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r7

  • Taille du jeu de données : 52.39 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r8

  • Taille du jeu de données : 50.53 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r9

  • Taille du jeu de données : 50.64 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r1

  • Taille du jeu de données : 52.08 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r2

  • Taille du jeu de données : 52.11 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r3

  • Taille du jeu de données : 51.25 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r4

  • Taille du jeu de données : 49.94 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r5

  • Taille du jeu de données : 49.71 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r6

  • Taille du jeu de données : 49.71 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r7

  • Taille du jeu de données : 50.86 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r8

  • Taille du jeu de données : 49.43 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r9

  • Taille du jeu de données : 50.32 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r1

  • Taille du jeu de données : 48.52 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r2

  • Taille du jeu de données : 47.40 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r3

  • Taille du jeu de données : 49.18 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r4

  • Taille du jeu de données : 47.86 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r5

  • Taille du jeu de données : 49.01 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r6

  • Taille du jeu de données : 49.01 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r7

  • Taille du jeu de données : 51.70 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r8

  • Taille du jeu de données : 50.94 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r9

  • Taille du jeu de données : 51.98 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r1

  • Taille du jeu de données : 51.00 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r2

  • Taille du jeu de données : 49.91 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r3

  • Taille du jeu de données : 51.26 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r4

  • Taille du jeu de données : 51.27 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r5

  • Taille du jeu de données : 51.87 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r6

  • Taille du jeu de données : 51.87 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r7

  • Taille du jeu de données : 48.52 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r8

  • Taille du jeu de données : 48.62 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r9

  • Taille du jeu de données : 48.48 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r1

  • Taille du jeu de données : 49.32 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r2

  • Taille du jeu de données : 49.36 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r3

  • Taille du jeu de données : 49.85 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r4

  • Taille du jeu de données : 50.07 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r5

  • Taille du jeu de données : 49.86 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r6

  • Taille du jeu de données : 49.86 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r7

  • Taille du jeu de données : 49.42 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r8

  • Taille du jeu de données : 48.52 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r9

  • Taille du jeu de données : 49.54 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r1

  • Taille du jeu de données : 49.75 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r2

  • Taille du jeu de données : 49.07 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r3

  • Taille du jeu de données : 50.22 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r4

  • Taille du jeu de données : 49.12 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r5

  • Taille du jeu de données : 48.80 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r6

  • Taille du jeu de données : 48.80 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r7

  • Taille du jeu de données : 50.69 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r8

  • Taille du jeu de données : 51.39 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r9

  • Taille du jeu de données : 49.94 MiB

  • Fractionnements :

Diviser Exemples
'test' 11 968
'train' 95 743
'validation' 11 968