cfq

  • תיאור :

מערך הנתונים של CFQ (והוא מפוצל) למדידת הכללה קומפוזיציונית.

ראה https://arxiv.org/abs/1912.09713.pdf לרקע.

הערה לגבי מערך האימות: מכיוון שיש לו התפלגות זהה למערך המבחן ואנו מעוניינים למדוד את ההכללה הקומפוזיונית של מודל ביחס להתפלגות מבחן לא ידועה , אנו מציעים שכל כוונון צריך להיעשות על תת-קבוצה של הרכבת סט בלבד (ראה סעיף 5.1 של הנייר).

שימוש לדוגמה:

data = tfds.load('cfq/mcd1')

FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
שאילתא טֶקסט חוּט
שְׁאֵלָה טֶקסט חוּט
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (תצורת ברירת המחדל)

  • גודל ערכת נתונים: 49.75 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/mcd2

  • גודל מערך נתונים : 51.39 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/mcd3

  • גודל מערך נתונים : 50.22 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/question_complexity_split

  • גודל ערכת נתונים: 52.81 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 10,340
'train' 98,999
'validation' 10,339

cfq/question_pattern_split

  • גודל ערכת נתונים: 52.81 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,909
'train' 95,654
'validation' 12,115

cfq/query_complexity_split

  • גודל ערכת נתונים: 52.81 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 9,512
'train' 100,654
'validation' 9,512

cfq/query_pattern_split

  • גודל ערכת נתונים: 52.81 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 12,589
'train' 94,600
'validation' 12,489

cfq/random_split

  • גודל ערכת נתונים: 52.81 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,967
'train' 95,744
'validation' 11,967

cfq/cd0_r1

  • גודל ערכת נתונים: 49.72 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r2

  • גודל מערך נתונים : 49.45 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r3

  • גודל מערך נתונים : 49.76 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r4

  • גודל מערך נתונים : 50.04 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r5

  • גודל ערכת נתונים: 49.36 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r6

  • גודל ערכת נתונים: 49.36 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r7

  • גודל ערכת נתונים: 49.93 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r8

  • גודל מערך נתונים : 48.58 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0_r9

  • גודל מערך נתונים : 49.23 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r1

  • גודל ערכת נתונים: 51.54 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r2

  • גודל מערך נתונים : 48.18 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r3

  • גודל מערך נתונים : 49.23 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r4

  • גודל מערך נתונים : 49.76 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r5

  • גודל ערכת נתונים : 49.10 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r6

  • גודל ערכת נתונים : 49.10 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r7

  • גודל מערך נתונים : 48.02 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r8

  • גודל מערך נתונים : 48.13 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.1_r9

  • גודל מערך נתונים : 48.44 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r1

  • גודל מערך נתונים : 50.90 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r2

  • גודל ערכת נתונים: 49.12 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r3

  • גודל מערך נתונים : 50.68 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r4

  • גודל מערך נתונים : 52.61 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r5

  • גודל ערכת נתונים: 50.63 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r6

  • גודל ערכת נתונים: 50.63 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r7

  • גודל מערך נתונים : 52.39 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r8

  • גודל מערך נתונים : 50.53 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.2_r9

  • גודל מערך נתונים : 50.64 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r1

  • גודל מערך נתונים : 52.08 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r2

  • גודל ערכת נתונים: 52.11 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r3

  • גודל מערך נתונים : 51.25 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r4

  • גודל מערך נתונים : 49.94 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r5

  • גודל ערכת נתונים: 49.71 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r6

  • גודל ערכת נתונים: 49.71 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r7

  • גודל מערך נתונים : 50.86 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r8

  • גודל מערך נתונים : 49.43 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.3_r9

  • גודל מערך נתונים : 50.32 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r1

  • גודל ערכת נתונים: 48.52 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r2

  • גודל מערך נתונים : 47.40 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r3

  • גודל ערכת נתונים: 49.18 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r4

  • גודל ערכת נתונים: 47.86 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r5

  • גודל ערכת נתונים: 49.01 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r6

  • גודל ערכת נתונים: 49.01 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r7

  • גודל מערך נתונים : 51.70 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r8

  • גודל מערך נתונים : 50.94 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.4_r9

  • גודל מערך נתונים : 51.98 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r1

  • גודל מערך נתונים : 51.00 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r2

  • גודל ערכת נתונים: 49.91 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r3

  • גודל מערך נתונים : 51.26 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r4

  • גודל מערך נתונים : 51.27 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r5

  • גודל מערך נתונים : 51.87 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r6

  • גודל מערך נתונים : 51.87 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r7

  • גודל ערכת נתונים: 48.52 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r8

  • גודל מערך נתונים : 48.62 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.5_r9

  • גודל ערכת נתונים: 48.48 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r1

  • גודל מערך נתונים : 49.32 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r2

  • גודל ערכת נתונים: 49.36 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r3

  • גודל ערכת נתונים: 49.85 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r4

  • גודל מערך נתונים : 50.07 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r5

  • גודל ערכת נתונים: 49.86 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r6

  • גודל ערכת נתונים: 49.86 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r7

  • גודל ערכת נתונים: 49.42 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r8

  • גודל ערכת נתונים: 48.52 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd0.6_r9

  • גודל מערך נתונים : 49.54 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r1

  • גודל ערכת נתונים: 49.75 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r2

  • גודל ערכת נתונים: 49.07 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r3

  • גודל מערך נתונים : 50.22 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r4

  • גודל ערכת נתונים: 49.12 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r5

  • גודל ערכת נתונים: 48.80 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r6

  • גודל ערכת נתונים: 48.80 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r7

  • גודל מערך נתונים : 50.69 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r8

  • גודל מערך נתונים : 51.39 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968

cfq/cd1_r9

  • גודל מערך נתונים : 49.94 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'test' 11,968
'train' 95,743
'validation' 11,968