cfq

  • Deskripsi :

Kumpulan data CFQ (dan pemisahannya) untuk mengukur generalisasi komposisi.

Lihat https://arxiv.org/abs/1912.09713.pdf untuk latar belakang.

Catatan tentang set validasi: Karena set validasi memiliki distribusi yang sama dengan set tes dan kami tertarik untuk mengukur generalisasi komposisi model sehubungan dengan distribusi tes yang tidak diketahui , kami menyarankan agar setiap penyetelan harus dilakukan pada subset kereta atur saja (lihat bagian 5.1 makalah ini).

Contoh penggunaan:

data = tfds.load('cfq/mcd1')
FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Dtype Keterangan
fiturDict
pertanyaan Teks rangkaian
pertanyaan Teks rangkaian
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (konfigurasi default)

  • Ukuran dataset : 49.75 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd2

  • Ukuran dataset : 51.39 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd3

  • Ukuran dataset : 50.22 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/question_complexity_split

  • Ukuran dataset : 52.81 MiB

  • Perpecahan :

Membelah Contoh
'test' 10.340
'train' 98.999
'validation' 10.339

cfq/question_pattern_split

  • Ukuran dataset : 52.81 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.909
'train' 95.654
'validation' 12.115

cfq/query_complexity_split

  • Ukuran dataset : 52.81 MiB

  • Perpecahan :

Membelah Contoh
'test' 9.512
'train' 100.654
'validation' 9.512

cfq/query_pattern_split

  • Ukuran dataset : 52.81 MiB

  • Perpecahan :

Membelah Contoh
'test' 12.589
'train' 94.600
'validation' 12.489

cfq/random_split

  • Ukuran dataset : 52.81 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.967
'train' 95.744
'validation' 11.967

cfq/cd0_r1

  • Ukuran dataset : 49.72 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r2

  • Ukuran dataset : 49.45 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r3

  • Ukuran dataset : 49.76 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r4

  • Ukuran dataset : 50.04 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r5

  • Ukuran dataset : 49.36 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r6

  • Ukuran dataset : 49.36 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r7

  • Ukuran dataset : 49.93 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r8

  • Ukuran dataset : 48.58 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r9

  • Ukuran dataset : 49.23 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r1

  • Ukuran dataset : 51.54 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r2

  • Ukuran dataset : 48.18 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r3

  • Ukuran dataset : 49.23 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r4

  • Ukuran dataset : 49.76 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r5

  • Ukuran dataset : 49.10 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r6

  • Ukuran dataset : 49.10 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r7

  • Ukuran dataset : 48.02 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r8

  • Ukuran dataset : 48.13 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r9

  • Ukuran dataset : 48.44 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r1

  • Ukuran dataset : 50.90 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r2

  • Ukuran dataset : 49.12 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r3

  • Ukuran dataset : 50.68 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r4

  • Ukuran dataset : 52.61 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r5

  • Ukuran dataset : 50.63 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r6

  • Ukuran dataset : 50.63 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r7

  • Ukuran dataset : 52.39 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r8

  • Ukuran dataset : 50.53 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r9

  • Ukuran dataset : 50.64 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r1

  • Ukuran dataset : 52.08 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r2

  • Ukuran dataset : 52.11 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r3

  • Ukuran dataset : 51.25 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r4

  • Ukuran dataset : 49.94 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r5

  • Ukuran dataset : 49.71 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r6

  • Ukuran dataset : 49.71 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r7

  • Ukuran dataset : 50.86 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r8

  • Ukuran dataset : 49.43 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r9

  • Ukuran dataset : 50.32 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r1

  • Ukuran dataset : 48.52 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r2

  • Ukuran dataset : 47.40 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r3

  • Ukuran dataset : 49.18 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r4

  • Ukuran dataset : 47.86 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r5

  • Ukuran dataset : 49.01 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r6

  • Ukuran dataset : 49.01 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r7

  • Ukuran dataset : 51.70 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r8

  • Ukuran dataset : 50.94 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r9

  • Ukuran dataset : 51.98 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r1

  • Ukuran dataset : 51.00 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r2

  • Ukuran dataset : 49.91 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r3

  • Ukuran dataset : 51.26 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r4

  • Ukuran dataset : 51.27 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r5

  • Ukuran dataset : 51.87 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r6

  • Ukuran dataset : 51.87 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r7

  • Ukuran dataset : 48.52 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r8

  • Ukuran dataset : 48.62 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r9

  • Ukuran dataset : 48.48 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r1

  • Ukuran dataset : 49.32 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r2

  • Ukuran dataset : 49.36 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r3

  • Ukuran dataset : 49.85 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r4

  • Ukuran dataset : 50.07 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r5

  • Ukuran dataset : 49.86 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r6

  • Ukuran dataset : 49.86 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r7

  • Ukuran dataset : 49.42 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r8

  • Ukuran dataset : 48.52 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r9

  • Ukuran dataset : 49.54 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r1

  • Ukuran dataset : 49.75 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r2

  • Ukuran dataset : 49.07 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r3

  • Ukuran dataset : 50.22 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r4

  • Ukuran dataset : 49.12 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r5

  • Ukuran dataset : 48.80 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r6

  • Ukuran dataset : 48.80 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r7

  • Ukuran dataset : 50.69 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r8

  • Ukuran dataset : 51.39 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r9

  • Ukuran dataset : 49.94 MiB

  • Perpecahan :

Membelah Contoh
'test' 11.968
'train' 95.743
'validation' 11.968