spoc_robot

Podział Przykłady
'train' 212043
'val' 21108
  • Struktura funkcji :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': string,
        'task_target_split': string,
        'task_type': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_instruction': string,
        'observation': FeaturesDict({
            'an_object_is_in_hand': Scalar(shape=(), dtype=bool),
            'house_index': Scalar(shape=(), dtype=int64),
            'hypothetical_task_success': Scalar(shape=(), dtype=bool),
            'image': Image(shape=(224, 384, 3), dtype=uint8),
            'image_manipulation': Image(shape=(224, 384, 3), dtype=uint8),
            'last_action_is_random': Scalar(shape=(), dtype=bool),
            'last_action_str': string,
            'last_action_success': Scalar(shape=(), dtype=bool),
            'last_agent_location': Tensor(shape=(6,), dtype=float32),
            'manip_object_bbox': Tensor(shape=(10,), dtype=float32),
            'minimum_l2_target_distance': Scalar(shape=(), dtype=float32),
            'minimum_visible_target_alignment': Scalar(shape=(), dtype=float32),
            'nav_object_bbox': Tensor(shape=(10,), dtype=float32),
            'relative_arm_location_metadata': Tensor(shape=(4,), dtype=float32),
            'room_current_seen': Scalar(shape=(), dtype=bool),
            'rooms_seen': Scalar(shape=(), dtype=int64),
            'visible_target_4m_count': Scalar(shape=(), dtype=int64),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDykt
metadane_odcinka FunkcjeDykt
metadane_odcinka/ścieżka_pliku Napinacz strunowy
metadata_odcinka/zadanie_target_split Napinacz strunowy
metadane_odcinka/typ_zadania Napinacz strunowy
kroki Zbiór danych
kroki/akcja Napinacz (9,) pływak32
kroki/rabat Skalarny pływak32
kroki/jest_pierwszy Napinacz bool
kroki/jest_ostatni Napinacz bool
kroki/is_terminal Napinacz bool
kroki/instrukcja_językowa Napinacz strunowy
kroki/obserwacje FunkcjeDykt
kroki/obserwacja/obiekt_jest_w_ręce Skalarny bool
kroki/obserwacja/indeks_domu Skalarny int64
kroki/obserwacja/hipotetyczny_sukces_zadania Skalarny bool
kroki/obserwacja/obraz Obraz (224, 384, 3) uint8
kroki/obserwacja/manipulacja_obrazem Obraz (224, 384, 3) uint8
kroki/obserwacja/ostatnia_akcja_jest_losowa Skalarny bool
kroki/obserwacja/last_action_str Napinacz strunowy
kroki/obserwacja/ostatni_sukces_akcji Skalarny bool
kroki/obserwacja/lokalizacja_ostatniego agenta Napinacz (6,) pływak32
kroki/obserwacja/manip_object_bbox Napinacz (10,) pływak32
kroki/obserwacja/minimum_l2_odległość_docelowa Skalarny pływak32
kroki/obserwacja/minimum_visible_target_alignment Skalarny pływak32
kroki/obserwacja/nav_object_bbox Napinacz (10,) pływak32
kroki/obserwacja/metadane_lokalizacji_relatywnej_ramienia Napinacz (4,) pływak32
kroki/obserwacja/pokoj_prąd_widziany Skalarny bool
kroki/obserwacja/pokoje_widziane Skalarny int64
kroki/obserwacja/widoczny_target_4m_count Skalarny int64
kroki/nagroda Skalarny pływak32
@article{spoc2023,
    author    = {Kiana Ehsani, Tanmay Gupta, Rose Hendrix, Jordi Salvador, Luca Weihs, Kuo-Hao Zeng, Kunal Pratap Singh, Yejin Kim, Winson Han, Alvaro Herrasti, Ranjay Krishna, Dustin Schwenk, Eli VanderBilt, Aniruddha Kembhavi},
    title     = {Imitating Shortest Paths in Simulation Enables Effective Navigation and Manipulation in the Real World},
    journal   = {arXiv},
    year      = {2023},
    eprint    = {2312.02976},
}