Grounded_scan

  • Описание :

Grounded SCAN (gSCAN) — это синтетический набор данных для оценки композиционного обобщения в понимании ситуативного языка. gSCAN сочетает инструкции на естественном языке с последовательностями действий и требует, чтобы агент интерпретировал инструкции в контексте среды визуальной навигации на основе сетки.

Дополнительную информацию можно найти по адресу:

FeaturesDict({
    'command': Sequence(Text(shape=(), dtype=tf.string)),
    'manner': Text(shape=(), dtype=tf.string),
    'meaning': Sequence(Text(shape=(), dtype=tf.string)),
    'referred_target': Text(shape=(), dtype=tf.string),
    'situation': FeaturesDict({
        'agent_direction': tf.int32,
        'agent_position': FeaturesDict({
            'column': tf.int32,
            'row': tf.int32,
        }),
        'direction_to_target': Text(shape=(), dtype=tf.string),
        'distance_to_target': tf.int32,
        'grid_size': tf.int32,
        'placed_objects': Sequence({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=tf.string),
                'shape': Text(shape=(), dtype=tf.string),
                'size': tf.int32,
            }),
            'position': FeaturesDict({
                'column': tf.int32,
                'row': tf.int32,
            }),
            'vector': Text(shape=(), dtype=tf.string),
        }),
        'target_object': FeaturesDict({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=tf.string),
                'shape': Text(shape=(), dtype=tf.string),
                'size': tf.int32,
            }),
            'position': FeaturesDict({
                'column': tf.int32,
                'row': tf.int32,
            }),
            'vector': Text(shape=(), dtype=tf.string),
        }),
    }),
    'target_commands': Sequence(Text(shape=(), dtype=tf.string)),
    'verb_in_command': Text(shape=(), dtype=tf.string),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
команда Последовательность (текст) (Никто,) tf.string
манера Текст tf.string
значение Последовательность (текст) (Никто,) tf.string
refer_target Текст tf.string
ситуация ОсобенностиDict
ситуация/агент_направление Тензор tf.int32
ситуация/позиция_агента ОсобенностиDict
ситуация/позиция_агента/столбец Тензор tf.int32
ситуация/позиция_агента/строка Тензор tf.int32
ситуация/направление_к_цели Текст tf.string
ситуация/расстояние_до_цели Тензор tf.int32
ситуация/grid_size Тензор tf.int32
ситуация/размещенные_объекты Последовательность
ситуация/размещенные_объекты/объект ОсобенностиDict
ситуация/размещенные_объекты/объект/цвет Текст tf.string
ситуация/размещенные_объекты/объект/форма Текст tf.string
ситуация/размещенные_объекты/объект/размер Тензор tf.int32
ситуация/размещенные_объекты/позиция ОсобенностиDict
ситуация/размещенные_объекты/позиция/столбец Тензор tf.int32
ситуация/размещенные_объекты/позиция/ряд Тензор tf.int32
ситуация/размещенные_объекты/вектор Текст tf.string
ситуация/целевой_объект ОсобенностиDict
ситуация/целевой_объект/объект ОсобенностиDict
ситуация/целевой_объект/объект/цвет Текст tf.string
ситуация/целевой_объект/объект/форма Текст tf.string
ситуация/целевой_объект/объект/размер Тензор tf.int32
ситуация/целевой_объект/позиция ОсобенностиDict
ситуация/целевой_объект/позиция/столбец Тензор tf.int32
ситуация/целевой_объект/позиция/строка Тензор tf.int32
ситуация/целевой_объект/вектор Текст tf.string
target_commands Последовательность (текст) (Никто,) tf.string
глагол_в_команде Текст tf.string
@inproceedings{NEURIPS2020_e5a90182,
 author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
 pages = {19861--19872},
 publisher = {Curran Associates, Inc.},
 title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
 url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
 volume = {33},
 year = {2020}
}

@inproceedings{qiu-etal-2021-systematic,
    title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
    author = "Qiu, Linlu  and
      Hu, Hexiang  and
      Zhang, Bowen  and
      Shaw, Peter  and
      Sha, Fei",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.166",
    doi = "10.18653/v1/2021.emnlp-main.166",
    pages = "2180--2188",
}

Grounded_scan/compositional_splits (конфигурация по умолчанию)

  • Описание конфига : Примеры композиционного обобщения.

  • Размер загрузки : 82.10 MiB

  • Размер набора данных : 998.11 MiB .

  • Сплиты :

Расколоть Примеры
'adverb_1' 112 880
'adverb_2' 38 582
'contextual' 11 460
'dev' 3716
'situational_1' 88 642
'situational_2' 16 808
'test' 19 282
'train' 367 933
'visual' 37 436
'visual_easier' 18 718

Grounded_scan/target_length_split

  • Описание конфигурации : примеры обобщения на большие длины целей.

  • Размер загрузки : 53.41 MiB

  • Размер набора данных : 546.73 MiB .

  • Сплиты :

Расколоть Примеры
'dev' 1821
'target_lengths' 198 588
'test' 37 784
'train' 180 301

Grounded_scan/spatial_relation_splits

  • Описание конфигурации : примеры рассуждений о пространственных отношениях.

  • Размер загрузки : 89.59 MiB

  • Размер набора данных : 675.09 MiB .

  • Сплиты :

Расколоть Примеры
'dev' 2617
'referent' 30 492
'relation' 6285
'relative_position_1' 41 576
'relative_position_2' 41 529
'test' 28 526
'train' 259 088
'visual' 62 250