לִסְרוֹק

• תיאור :

משימות סריקה עם פיצולים שונים.

SCAN הוא קבוצה של משימות ניווט פשוטות מונחות שפה ללימוד לימוד קומפוזיציה והכללה של אפס-shot.

רוב הפיצולים מתוארים בכתובת https://github.com/brendenlake/SCAN לפיצולים של MCD, ראה https://arxiv.org/abs/1912.09713.pdf

שימוש בסיסי:

data = tfds.load('scan/length')

דוגמה מתקדמת יותר:

import tensorflow_datasets as tfds
from tensorflow_datasets.datasets.scan import scan_dataset_builder

data = tfds.load(
    'scan',
    builder_kwargs=dict(
        config=scan_dataset_builder.ScanConfig(
            name='simple_p8', directory='simple_split/size_variations')))

• תיעוד נוסף : חקור על ניירות עם קוד

• דף הבית : https://github.com/brendenlake/SCAN

• קוד מקור : tfds.datasets.scan.Builder

• גרסאות :

  • 1.1.1 (ברירת מחדל): אין הערות שחרור.

• שמור אוטומטי במטמון ( תיעוד ): כן

• מבנה תכונה :

FeaturesDict({
    'actions': Text(shape=(), dtype=string),
    'commands': Text(shape=(), dtype=string),
})

• תיעוד תכונה :

תכונה	מעמד	צוּרָה	Dtype	תיאור
	FeaturesDict
פעולות	טֶקסט		חוּט
פקודות	טֶקסט		חוּט

• מפתחות בפיקוח (ראה as_supervised doc ): ('commands', 'actions')

• איור ( tfds.show_examples ): לא נתמך.

• ציטוט :

@inproceedings{Lake2018GeneralizationWS,
  title={Generalization without Systematicity: On the Compositional Skills of
         Sequence-to-Sequence Recurrent Networks},
  author={Brenden M. Lake and Marco Baroni},
  booktitle={ICML},
  year={2018},
  url={https://arxiv.org/pdf/1711.00350.pdf},
}
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch\"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  note={Additional citation for MCD splits},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

סריקה/פשוטה (תצורת ברירת המחדל)

• גודל הורדה : 17.82 MiB

• גודל ערכת נתונים : 4.47 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	4,182
'train'	16,728

• דוגמאות ( tfds.as_dataframe ):

scan/addprim_jump

• גודל הורדה : 17.82 MiB

• גודל ערכת נתונים : 4.53 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	7,706
'train'	14,670

• דוגמאות ( tfds.as_dataframe ):

scan/addprim_turn_left

• גודל הורדה : 17.82 MiB

• גודל ערכת נתונים : 4.58 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,208
'train'	21,890

• דוגמאות ( tfds.as_dataframe ):

scan/filler_num0

• גודל הורדה : 17.82 MiB

• גודל מערך נתונים : 3.20 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,173
'train'	15,225

• דוגמאות ( tfds.as_dataframe ):

scan/filler_num1

• גודל הורדה : 17.82 MiB

• גודל מערך נתונים : 3.51 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,173
'train'	16,290

• דוגמאות ( tfds.as_dataframe ):

scan/filler_num2

• גודל הורדה : 17.82 MiB

• גודל מערך נתונים : 3.84 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,173
'train'	17,391

• דוגמאות ( tfds.as_dataframe ):

scan/filler_num3

• גודל הורדה : 17.82 MiB

• גודל מערך נתונים : 4.17 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,173
'train'	18,528

• דוגמאות ( tfds.as_dataframe ):

סריקה/אורך

• גודל הורדה : 17.82 MiB

• גודל ערכת נתונים : 4.47 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	3,920
'train'	16,990

• דוגמאות ( tfds.as_dataframe ):

scan/template_around_right

• גודל הורדה : 17.82 MiB

• גודל מערך נתונים : 4.17 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	4,476
'train'	15,225

• דוגמאות ( tfds.as_dataframe ):

scan/template_jump_around_right

• גודל הורדה : 17.82 MiB

• גודל מערך נתונים : 4.17 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,173
'train'	18,528

• דוגמאות ( tfds.as_dataframe ):

סריקה/תבנית_מול_ימין

• גודל הורדה : 17.82 MiB

• גודל ערכת נתונים : 4.22 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	4,476
'train'	15,225

• דוגמאות ( tfds.as_dataframe ):

scan/template_right

• גודל הורדה : 17.82 MiB

• גודל ערכת נתונים : 4.26 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	4,476
'train'	15,225

• דוגמאות ( tfds.as_dataframe ):

סריקה/mcd1

• גודל הורדה : 17.89 MiB

• גודל מערך נתונים : 1.89 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,045
'train'	8,365

• דוגמאות ( tfds.as_dataframe ):

סריקה/mcd2

• גודל הורדה : 17.89 MiB

• גודל מערך נתונים : 1.84 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,045
'train'	8,365

• דוגמאות ( tfds.as_dataframe ):

סריקה/mcd3

• גודל הורדה : 17.89 MiB

• גודל ערכת נתונים : 1.87 MiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	1,045
'train'	8,365

• דוגמאות ( tfds.as_dataframe ):