grounded_scan

  • Mô tả :

Grounded SCAN (gSCAN) là một tập dữ liệu tổng hợp để đánh giá sự tổng quát hóa thành phần trong sự hiểu biết ngôn ngữ định vị. gSCAN ghép nối các hướng dẫn bằng ngôn ngữ tự nhiên với các chuỗi hành động và yêu cầu tác nhân giải thích các hướng dẫn trong ngữ cảnh của môi trường điều hướng trực quan dựa trên lưới.

Thông tin thêm có thể được tìm thấy tại:

FeaturesDict({
    'command': Sequence(Text(shape=(), dtype=tf.string)),
    'manner': Text(shape=(), dtype=tf.string),
    'meaning': Sequence(Text(shape=(), dtype=tf.string)),
    'referred_target': Text(shape=(), dtype=tf.string),
    'situation': FeaturesDict({
        'agent_direction': tf.int32,
        'agent_position': FeaturesDict({
            'column': tf.int32,
            'row': tf.int32,
        }),
        'direction_to_target': Text(shape=(), dtype=tf.string),
        'distance_to_target': tf.int32,
        'grid_size': tf.int32,
        'placed_objects': Sequence({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=tf.string),
                'shape': Text(shape=(), dtype=tf.string),
                'size': tf.int32,
            }),
            'position': FeaturesDict({
                'column': tf.int32,
                'row': tf.int32,
            }),
            'vector': Text(shape=(), dtype=tf.string),
        }),
        'target_object': FeaturesDict({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=tf.string),
                'shape': Text(shape=(), dtype=tf.string),
                'size': tf.int32,
            }),
            'position': FeaturesDict({
                'column': tf.int32,
                'row': tf.int32,
            }),
            'vector': Text(shape=(), dtype=tf.string),
        }),
    }),
    'target_commands': Sequence(Text(shape=(), dtype=tf.string)),
    'verb_in_command': Text(shape=(), dtype=tf.string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Loại Sự mô tả
Các tính năng
yêu cầu Trình tự (Văn bản) (Không có,) tf.string
thái độ Chữ tf.string
Ý nghĩa Trình tự (Văn bản) (Không có,) tf.string
mục tiêu được giới thiệu Chữ tf.string
tình hình Các tính năng
tình huống / agent_direction Tensor tf.int32
tình huống / agent_position Các tính năng
tình huống / agent_position / column Tensor tf.int32
tình huống / agent_position / hàng Tensor tf.int32
tình huống / direction_to_target Chữ tf.string
tình huống / distance_to_target Tensor tf.int32
tình huống / grid_size Tensor tf.int32
tình huống / put_objects Sự phối hợp
tình huống / put_objects / object Các tính năng
tình huống / put_objects / object / color Chữ tf.string
tình huống / put_objects / object / shape Chữ tf.string
tình huống / put_objects / object / size Tensor tf.int32
tình huống / put_objects / vị trí Các tính năng
tình huống / put_objects / vị trí / cột Tensor tf.int32
tình huống / put_objects / vị trí / hàng Tensor tf.int32
tình huống / put_objects / vector Chữ tf.string
tình huống / target_object Các tính năng
tình huống / target_object / object Các tính năng
tình huống / target_object / object / color Chữ tf.string
tình huống / target_object / object / shape Chữ tf.string
tình huống / target_object / object / size Tensor tf.int32
tình huống / target_object / vị trí Các tính năng
tình huống / target_object / vị trí / cột Tensor tf.int32
tình huống / target_object / vị trí / hàng Tensor tf.int32
tình huống / target_object / vector Chữ tf.string
target_commands Trình tự (Văn bản) (Không có,) tf.string
verb_in_command Chữ tf.string
@inproceedings{NEURIPS2020_e5a90182,
 author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
 pages = {19861--19872},
 publisher = {Curran Associates, Inc.},
 title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
 url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
 volume = {33},
 year = {2020}
}

@inproceedings{qiu-etal-2021-systematic,
    title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
    author = "Qiu, Linlu  and
      Hu, Hexiang  and
      Zhang, Bowen  and
      Shaw, Peter  and
      Sha, Fei",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.166",
    doi = "10.18653/v1/2021.emnlp-main.166",
    pages = "2180--2188",
}

grounded_scan / compositional_splits (cấu hình mặc định)

  • Mô tả cấu hình : Các ví dụ để tổng quát hóa thành phần.

  • Kích thước tải xuống : 82.10 MiB

  • Kích thước tập dữ liệu: 998.11 MiB

  • Tách :

Tách ra Các ví dụ
'adverb_1' 112.880
'adverb_2' 38.582
'contextual' 11.460
'dev' 3.716
'situational_1' 88,642
'situational_2' 16.808
'test' 19.282
'train' 367,933
'visual' 37.436
'visual_easier' 18.718

grounded_scan / target_length_split

  • Mô tả cấu hình : Ví dụ để tổng quát hóa thành độ dài mục tiêu lớn hơn.

  • Kích thước tải xuống : 53.41 MiB

  • Kích thước tập dữ liệu: 546.73 MiB

  • Tách :

Tách ra Các ví dụ
'dev' 1.821
'target_lengths' 198.588
'test' 37.784
'train' 180.301

grounded_scan / spatial_relation_splits

  • Mô tả cấu hình : Ví dụ để lập luận quan hệ không gian.

  • Kích thước tải xuống : 89.59 MiB

  • Kích thước tập dữ liệu: 675.09 MiB

  • Tách :

Tách ra Các ví dụ
'dev' 2.617
'referent' 30.492
'relation' 6.285
'relative_position_1' 41.576
'relative_position_2' 41.529
'test' 28.526
'train' 259.088
'visual' 62.250