cfq

  • Açıklama :

Bileşimsel genellemeyi ölçmek için CFQ veri kümesi (ve böler).

Arka plan için https://arxiv.org/abs/1912.09713.pdf adresine bakın.

Doğrulama seti hakkında bir not: Test seti ile aynı dağılıma sahip olduğundan ve bilinmeyen bir test dağılımına göre bir modelin bileşimsel genellemesini ölçmekle ilgilendiğimizden, herhangi bir ayarlamanın trenin bir alt kümesinde yapılmasını öneriyoruz. yalnızca ayarlayın (kağıdın 5.1 bölümüne bakın).

Örnek kullanım:

data = tfds.load('cfq/mcd1')

FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
sorgu Metin sicim
soru Metin sicim
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (varsayılan yapılandırma)

  • Veri kümesi boyutu : 49.75 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd2

  • Veri kümesi boyutu : 51.39 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd3

  • Veri kümesi boyutu : 50.22 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/question_complexity_split

  • Veri kümesi boyutu : 52.81 MiB

  • bölmeler :

Bölmek örnekler
'test' 10.340
'train' 98.999
'validation' 10.339

cfq/question_pattern_split

  • Veri kümesi boyutu : 52.81 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.909
'train' 95.654
'validation' 12.115

cfq/query_complexity_split

  • Veri kümesi boyutu : 52.81 MiB

  • bölmeler :

Bölmek örnekler
'test' 9.512
'train' 100.654
'validation' 9.512

cfq/query_pattern_split

  • Veri kümesi boyutu : 52.81 MiB

  • bölmeler :

Bölmek örnekler
'test' 12.589
'train' 94.600
'validation' 12.489

cfq/random_split

  • Veri kümesi boyutu : 52.81 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.967
'train' 95.744
'validation' 11.967

cfq/cd0_r1

  • Veri kümesi boyutu : 49.72 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r2

  • Veri kümesi boyutu : 49.45 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r3

  • Veri kümesi boyutu : 49.76 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r4

  • Veri kümesi boyutu : 50.04 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r5

  • Veri kümesi boyutu : 49.36 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r6

  • Veri kümesi boyutu : 49.36 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r7

  • Veri kümesi boyutu : 49.93 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r8

  • Veri kümesi boyutu : 48.58 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r9

  • Veri kümesi boyutu : 49.23 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r1

  • Veri kümesi boyutu : 51.54 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r2

  • Veri kümesi boyutu : 48.18 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r3

  • Veri kümesi boyutu : 49.23 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r4

  • Veri kümesi boyutu : 49.76 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r5

  • Veri kümesi boyutu : 49.10 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r6

  • Veri kümesi boyutu : 49.10 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r7

  • Veri kümesi boyutu : 48.02 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r8

  • Veri kümesi boyutu : 48.13 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r9

  • Veri kümesi boyutu : 48.44 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r1

  • Veri kümesi boyutu : 50.90 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r2

  • Veri kümesi boyutu : 49.12 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r3

  • Veri kümesi boyutu : 50.68 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r4

  • Veri kümesi boyutu : 52.61 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r5

  • Veri kümesi boyutu : 50.63 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r6

  • Veri kümesi boyutu : 50.63 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r7

  • Veri kümesi boyutu : 52.39 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r8

  • Veri kümesi boyutu : 50.53 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r9

  • Veri kümesi boyutu : 50.64 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r1

  • Veri kümesi boyutu : 52.08 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r2

  • Veri kümesi boyutu : 52.11 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r3

  • Veri kümesi boyutu : 51.25 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r4

  • Veri kümesi boyutu : 49.94 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r5

  • Veri kümesi boyutu : 49.71 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r6

  • Veri kümesi boyutu : 49.71 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r7

  • Veri kümesi boyutu : 50.86 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r8

  • Veri kümesi boyutu : 49.43 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r9

  • Veri kümesi boyutu : 50.32 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r1

  • Veri kümesi boyutu : 48.52 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r2

  • Veri kümesi boyutu : 47.40 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r3

  • Veri kümesi boyutu : 49.18 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r4

  • Veri kümesi boyutu : 47.86 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r5

  • Veri kümesi boyutu : 49.01 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r6

  • Veri kümesi boyutu : 49.01 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r7

  • Veri kümesi boyutu : 51.70 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r8

  • Veri kümesi boyutu : 50.94 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r9

  • Veri kümesi boyutu : 51.98 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r1

  • Veri kümesi boyutu : 51.00 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r2

  • Veri kümesi boyutu : 49.91 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r3

  • Veri kümesi boyutu : 51.26 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r4

  • Veri kümesi boyutu : 51.27 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r5

  • Veri kümesi boyutu : 51.87 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r6

  • Veri kümesi boyutu : 51.87 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r7

  • Veri kümesi boyutu : 48.52 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r8

  • Veri kümesi boyutu : 48.62 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r9

  • Veri kümesi boyutu : 48.48 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r1

  • Veri kümesi boyutu : 49.32 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r2

  • Veri kümesi boyutu : 49.36 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r3

  • Veri kümesi boyutu : 49.85 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r4

  • Veri kümesi boyutu : 50.07 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r5

  • Veri kümesi boyutu : 49.86 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r6

  • Veri kümesi boyutu : 49.86 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r7

  • Veri kümesi boyutu : 49.42 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r8

  • Veri kümesi boyutu : 48.52 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r9

  • Veri kümesi boyutu : 49.54 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r1

  • Veri kümesi boyutu : 49.75 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r2

  • Veri kümesi boyutu : 49.07 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r3

  • Veri kümesi boyutu : 50.22 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r4

  • Veri kümesi boyutu : 49.12 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r5

  • Veri kümesi boyutu : 48.80 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r6

  • Veri kümesi boyutu : 48.80 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r7

  • Veri kümesi boyutu : 50.69 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r8

  • Veri kümesi boyutu : 51.39 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r9

  • Veri kümesi boyutu : 49.94 MiB

  • bölmeler :

Bölmek örnekler
'test' 11.968
'train' 95.743
'validation' 11.968