cfr

  • Descrizione :

Il set di dati CFQ (e le sue divisioni) per misurare la generalizzazione compositiva.

Vedere https://arxiv.org/abs/1912.09713.pdf per lo sfondo.

Una nota sul set di validazione: poiché ha la stessa distribuzione del set di test e siamo interessati a misurare la generalizzazione compositiva di un modello rispetto a una distribuzione di test sconosciuta , suggeriamo che qualsiasi messa a punto dovrebbe essere eseguita su un sottoinsieme del treno solo impostato (vedere la sezione 5.1 del documento).

Esempio di utilizzo:

data = tfds.load('cfq/mcd1')

FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
domanda Testo corda
domanda Testo corda
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (configurazione predefinita)

  • Dimensione del set di dati: 49.75 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd2

  • Dimensione del set di dati: 51.39 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd3

  • Dimensione del set di dati: 50.22 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/question_complexity_split

  • Dimensione del set di dati: 52.81 MiB

  • Divisioni :

Diviso Esempi
'test' 10.340
'train' 98.999
'validation' 10.339

cfq/question_pattern_split

  • Dimensione del set di dati: 52.81 MiB

  • Divisioni :

Diviso Esempi
'test' 11.909
'train' 95.654
'validation' 12.115

cfq/query_complexity_split

  • Dimensione del set di dati: 52.81 MiB

  • Divisioni :

Diviso Esempi
'test' 9.512
'train' 100.654
'validation' 9.512

cfq/query_pattern_split

  • Dimensione del set di dati: 52.81 MiB

  • Divisioni :

Diviso Esempi
'test' 12.589
'train' 94.600
'validation' 12.489

cfq/split_casuale

  • Dimensione del set di dati: 52.81 MiB

  • Divisioni :

Diviso Esempi
'test' 11.967
'train' 95.744
'validation' 11.967

cfq/cd0_r1

  • Dimensione del set di dati: 49.72 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r2

  • Dimensione del set di dati: 49.45 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r3

  • Dimensione del set di dati: 49.76 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r4

  • Dimensione del set di dati: 50.04 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r5

  • Dimensione del set di dati: 49.36 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r6

  • Dimensione del set di dati: 49.36 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r7

  • Dimensione del set di dati: 49.93 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r8

  • Dimensione del set di dati: 48.58 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r9

  • Dimensione del set di dati: 49.23 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r1

  • Dimensione del set di dati: 51.54 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r2

  • Dimensione del set di dati: 48.18 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r3

  • Dimensione del set di dati: 49.23 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r4

  • Dimensione del set di dati: 49.76 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r5

  • Dimensione del set di dati: 49.10 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r6

  • Dimensione del set di dati: 49.10 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r7

  • Dimensione del set di dati: 48.02 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r8

  • Dimensione del set di dati: 48.13 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r9

  • Dimensione del set di dati: 48.44 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r1

  • Dimensione del set di dati: 50.90 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r2

  • Dimensione del set di dati: 49.12 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r3

  • Dimensione del set di dati: 50.68 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r4

  • Dimensione del set di dati: 52.61 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r5

  • Dimensione del set di dati: 50.63 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r6

  • Dimensione del set di dati: 50.63 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r7

  • Dimensione del set di dati: 52.39 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r8

  • Dimensione del set di dati: 50.53 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r9

  • Dimensione del set di dati: 50.64 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r1

  • Dimensione del set di dati: 52.08 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r2

  • Dimensione del set di dati: 52.11 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r3

  • Dimensione del set di dati: 51.25 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r4

  • Dimensione del set di dati: 49.94 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r5

  • Dimensione del set di dati: 49.71 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r6

  • Dimensione del set di dati: 49.71 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r7

  • Dimensione del set di dati: 50.86 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r8

  • Dimensione del set di dati: 49.43 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r9

  • Dimensione del set di dati: 50.32 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r1

  • Dimensione del set di dati: 48.52 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r2

  • Dimensione del set di dati: 47.40 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r3

  • Dimensione del set di dati: 49.18 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r4

  • Dimensione del set di dati: 47.86 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r5

  • Dimensione del set di dati: 49.01 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r6

  • Dimensione del set di dati: 49.01 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r7

  • Dimensione del set di dati: 51.70 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r8

  • Dimensione del set di dati: 50.94 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r9

  • Dimensione del set di dati: 51.98 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r1

  • Dimensione del set di dati: 51.00 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r2

  • Dimensione del set di dati: 49.91 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r3

  • Dimensione del set di dati: 51.26 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r4

  • Dimensione del set di dati: 51.27 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r5

  • Dimensione del set di dati: 51.87 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r6

  • Dimensione del set di dati: 51.87 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r7

  • Dimensione del set di dati: 48.52 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r8

  • Dimensione del set di dati: 48.62 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r9

  • Dimensione del set di dati: 48.48 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r1

  • Dimensione del set di dati: 49.32 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r2

  • Dimensione del set di dati: 49.36 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r3

  • Dimensione del set di dati: 49.85 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r4

  • Dimensione del set di dati: 50.07 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r5

  • Dimensione del set di dati: 49.86 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r6

  • Dimensione del set di dati: 49.86 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r7

  • Dimensione del set di dati: 49.42 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r8

  • Dimensione del set di dati: 48.52 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r9

  • Dimensione del set di dati: 49.54 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r1

  • Dimensione del set di dati: 49.75 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r2

  • Dimensione del set di dati: 49.07 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r3

  • Dimensione del set di dati: 50.22 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r4

  • Dimensione del set di dati: 49.12 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r5

  • Dimensione del set di dati: 48.80 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r6

  • Dimensione del set di dati: 48.80 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r7

  • Dimensione del set di dati: 50.69 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r8

  • Dimensione del set di dati: 51.39 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r9

  • Dimensione del set di dati: 49.94 MiB

  • Divisioni :

Diviso Esempi
'test' 11.968
'train' 95.743
'validation' 11.968