grounded_scan

  • 설명 :

Grounded SCAN(gSCAN)은 상황에 맞는 언어 이해에서 구성 일반화를 평가하기 위한 합성 데이터 세트입니다. gSCAN은 자연어 지침을 작업 시퀀스와 쌍으로 연결하고 에이전트가 그리드 기반 시각적 탐색 환경의 맥락 내에서 지침을 해석하도록 요구합니다.

자세한 내용은 다음에서 확인할 수 있습니다.

FeaturesDict({
    'command': Sequence(Text(shape=(), dtype=string)),
    'manner': Text(shape=(), dtype=string),
    'meaning': Sequence(Text(shape=(), dtype=string)),
    'referred_target': Text(shape=(), dtype=string),
    'situation': FeaturesDict({
        'agent_direction': int32,
        'agent_position': FeaturesDict({
            'column': int32,
            'row': int32,
        }),
        'direction_to_target': Text(shape=(), dtype=string),
        'distance_to_target': int32,
        'grid_size': int32,
        'placed_objects': Sequence({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=string),
                'shape': Text(shape=(), dtype=string),
                'size': int32,
            }),
            'position': FeaturesDict({
                'column': int32,
                'row': int32,
            }),
            'vector': Text(shape=(), dtype=string),
        }),
        'target_object': FeaturesDict({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=string),
                'shape': Text(shape=(), dtype=string),
                'size': int32,
            }),
            'position': FeaturesDict({
                'column': int32,
                'row': int32,
            }),
            'vector': Text(shape=(), dtype=string),
        }),
    }),
    'target_commands': Sequence(Text(shape=(), dtype=string)),
    'verb_in_command': Text(shape=(), dtype=string),
})
  • 기능 문서 :
특징 수업 모양 D타입 설명
풍모Dict
명령 시퀀스(텍스트) (없음,) 끈
방법 텍스트 끈
의미 시퀀스(텍스트) (없음,) 끈
refered_target 텍스트 끈
상황 풍모Dict
상황/에이전트_방향 텐서 int32
상황/에이전트_포지션 풍모Dict
상황/에이전트_위치/열 텐서 int32
상황/에이전트_위치/행 텐서 int32
상황/direction_to_target 텍스트 끈
상황/목표까지의 거리 텐서 int32
상황/grid_size 텐서 int32
상황/배치된_객체 순서
상황/배치된_객체/객체 풍모Dict
상황/배치된_객체/객체/색상 텍스트 끈
상황/배치된_객체/객체/모양 텍스트 끈
상황/배치된_객체/객체/크기 텐서 int32
상황/배치된_물체/위치 풍모Dict
상황/배치된_객체/위치/열 텐서 int32
상황/배치된_객체/위치/행 텐서 int32
상황/배치된_객체/벡터 텍스트 끈
상황/target_object 풍모Dict
상황/대상_객체/객체 풍모Dict
상황/target_object/객체/색상 텍스트 끈
상황/target_object/object/shape 텍스트 끈
상황/target_object/객체/크기 텐서 int32
상황/target_object/위치 풍모Dict
상황/target_object/위치/열 텐서 int32
상황/target_object/위치/행 텐서 int32
상황/target_object/벡터 텍스트 끈
target_commands 시퀀스(텍스트) (없음,) 끈
verb_in_command 텍스트 끈
@inproceedings{NEURIPS2020_e5a90182,
 author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
 pages = {19861--19872},
 publisher = {Curran Associates, Inc.},
 title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
 url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
 volume = {33},
 year = {2020}
}

@inproceedings{qiu-etal-2021-systematic,
    title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
    author = "Qiu, Linlu  and
      Hu, Hexiang  and
      Zhang, Bowen  and
      Shaw, Peter  and
      Sha, Fei",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.166",
    doi = "10.18653/v1/2021.emnlp-main.166",
    pages = "2180--2188",
}

grounded_scan/compositional_splits(기본 구성)

  • 구성 설명 : 컴포지션 일반화의 예입니다.

  • 다운로드 크기 : 82.10 MiB

  • 데이터 세트 크기 : 998.11 MiB

  • 분할 :

나뉘다 예
'adverb_1' 112,880
'adverb_2' 38,582
'contextual' 11,460
'dev' 3,716
'situational_1' 88,642
'situational_2' 16,808
'test' 19,282
'train' 367,933
'visual' 37,436
'visual_easier' 18,718

grounded_scan/target_length_split

  • 구성 설명 : 더 큰 대상 길이로 일반화하기 위한 예입니다.

  • 다운로드 크기 : 53.41 MiB

  • 데이터 세트 크기 : 546.73 MiB

  • 분할 :

나뉘다 예
'dev' 1,821
'target_lengths' 198,588
'test' 37,784
'train' 180,301

grounded_scan/spatial_relation_splits

  • 구성 설명 : 공간 관계 추론의 예입니다.

  • 다운로드 크기 : 89.59 MiB

  • 데이터 세트 크기 : 675.09 MiB

  • 분할 :

나뉘다 예
'dev' 2,617
'referent' 30,492
'relation' 6,285
'relative_position_1' 41,576
'relative_position_2' 41,529
'test' 28,526
'train' 259,088
'visual' 62,250