сканирование

  • Описание :

SCAN задачи с различными разделениями.

SCAN — это набор простых языковых навигационных задач для изучения композиционного обучения и нулевого обобщения.

Большинство сплитов описаны на https://github.com/brendenlake/SCAN . Для сплитов MCD см. https://arxiv.org/abs/1912.09713.pdf .

Основное использование:

data = tfds.load('scan/length')

Более сложный пример:

data = tfds.load(
    'scan',
    builder_kwargs=dict(
        config=tfds.text.ScanConfig(
            name='simple_p8', directory='simple_split/size_variations')))
FeaturesDict({
    'actions': Text(shape=(), dtype=tf.string),
    'commands': Text(shape=(), dtype=tf.string),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
действия Текст tf.string
команды Текст tf.string
@inproceedings{Lake2018GeneralizationWS,
  title={Generalization without Systematicity: On the Compositional Skills of
         Sequence-to-Sequence Recurrent Networks},
  author={Brenden M. Lake and Marco Baroni},
  booktitle={ICML},
  year={2018},
  url={https://arxiv.org/pdf/1711.00350.pdf},
}
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  note={Additional citation for MCD splits},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

сканирование/простой (конфигурация по умолчанию)

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.47 MiB .

  • Сплиты :

Расколоть Примеры
'test' 4182
'train' 16 728

сканирование/добавитьprim_jump

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.53 MiB .

  • Сплиты :

Расколоть Примеры
'test' 7706
'train' 14 670

сканирование/добавитьprim_turn_left

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.58 MiB .

  • Сплиты :

Расколоть Примеры
'test' 1208
'train' 21 890

сканирование/filler_num0

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 3.20 MiB .

  • Сплиты :

Расколоть Примеры
'test' 1173
'train' 15 225

сканирование/filler_num1

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 3.51 MiB .

  • Сплиты :

Расколоть Примеры
'test' 1173
'train' 16 290

сканирование/filler_num2

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 3.84 MiB .

  • Сплиты :

Расколоть Примеры
'test' 1173
'train' 17 391

сканирование/filler_num3

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.17 MiB

  • Сплиты :

Расколоть Примеры
'test' 1173
'train' 18 528

скан/длина

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.47 MiB .

  • Сплиты :

Расколоть Примеры
'test' 3920
'train' 16 990

сканирование/template_around_right

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.17 MiB

  • Сплиты :

Расколоть Примеры
'test' 4476
'train' 15 225

сканирование/template_jump_around_right

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.17 MiB

  • Сплиты :

Расколоть Примеры
'test' 1173
'train' 18 528

сканирование/template_opposite_right

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.22 MiB .

  • Сплиты :

Расколоть Примеры
'test' 4476
'train' 15 225

скан/template_right

  • Размер загрузки : 17.82 MiB

  • Размер набора данных : 4.26 MiB .

  • Сплиты :

Расколоть Примеры
'test' 4476
'train' 15 225

сканирование/mcd1

  • Размер загрузки : 17.89 MiB

  • Размер набора данных : 1.89 MiB .

  • Сплиты :

Расколоть Примеры
'test' 1045
'train' 8365

сканирование/mcd2

  • Размер загрузки : 17.89 MiB

  • Размер набора данных : 1.84 MiB .

  • Сплиты :

Расколоть Примеры
'test' 1045
'train' 8365

сканирование/mcd3

  • Размер загрузки : 17.89 MiB

  • Размер набора данных : 1.87 MiB .

  • Сплиты :

Расколоть Примеры
'test' 1045
'train' 8365