spoc_robot

Diviso Esempi
'train' 212.043
'val' 21.108
  • Struttura delle caratteristiche : 
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': string,
        'task_target_split': string,
        'task_type': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_instruction': string,
        'observation': FeaturesDict({
            'an_object_is_in_hand': Scalar(shape=(), dtype=bool),
            'house_index': Scalar(shape=(), dtype=int64),
            'hypothetical_task_success': Scalar(shape=(), dtype=bool),
            'image': Image(shape=(224, 384, 3), dtype=uint8),
            'image_manipulation': Image(shape=(224, 384, 3), dtype=uint8),
            'last_action_is_random': Scalar(shape=(), dtype=bool),
            'last_action_str': string,
            'last_action_success': Scalar(shape=(), dtype=bool),
            'last_agent_location': Tensor(shape=(6,), dtype=float32),
            'manip_object_bbox': Tensor(shape=(10,), dtype=float32),
            'minimum_l2_target_distance': Scalar(shape=(), dtype=float32),
            'minimum_visible_target_alignment': Scalar(shape=(), dtype=float32),
            'nav_object_bbox': Tensor(shape=(10,), dtype=float32),
            'relative_arm_location_metadata': Tensor(shape=(4,), dtype=float32),
            'room_current_seen': Scalar(shape=(), dtype=bool),
            'rooms_seen': Scalar(shape=(), dtype=int64),
            'visible_target_4m_count': Scalar(shape=(), dtype=int64),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
metadati_episodio CaratteristicheDict
metadati_episodio/percorso_file Tensore corda
Episode_metadata/task_target_split Tensore corda
metadati_episodio/tipo_attività Tensore corda
passi Set di dati
passi/azione Tensore (9,) float32
passi/sconto Scalare float32
passi/è_primo Tensore bool
passi/è_ultimo Tensore bool
passi/è_terminale Tensore bool
passi/lingua_istruzioni Tensore corda
passi/osservazione CaratteristicheDict
passi/osservazione/un_oggetto_è_in_mano Scalare bool
passi/osservazione/indice_casa Scalare int64
passi/osservazione/compito_ipotetico_successo Scalare bool
passi/osservazione/immagine Immagine (224, 384, 3) uint8
passi/osservazione/manipolazione_immagine Immagine (224, 384, 3) uint8
passi/osservazione/ultima_azione_è_casuale Scalare bool
passi/osservazione/last_action_str Tensore corda
passi/osservazione/ultima_azione_successo Scalare bool
passi/osservazione/last_agent_location Tensore (6,) float32
passi/osservazione/manip_object_bbox Tensore (10,) float32
passi/osservazione/minimum_l2_target_distanza Scalare float32
passi/osservazione/minimum_visible_target_alignment Scalare float32
passi/osservazione/nav_object_bbox Tensore (10,) float32
passi/osservazione/relative_arm_location_metadata Tensore (4,) float32
passi/osservazione/stanza_corrente_vista Scalare bool
passi/osservazione/stanze_viste Scalare int64
passi/osservazione/visible_target_4m_count Scalare int64
passi/ricompensa Scalare float32
  • Citazione : 
@article{spoc2023,
    author    = {Kiana Ehsani, Tanmay Gupta, Rose Hendrix, Jordi Salvador, Luca Weihs, Kuo-Hao Zeng, Kunal Pratap Singh, Yejin Kim, Winson Han, Alvaro Herrasti, Ranjay Krishna, Dustin Schwenk, Eli VanderBilt, Aniruddha Kembhavi},
    title     = {Imitating Shortest Paths in Simulation Enables Effective Navigation and Manipulation in the Real World},
    journal   = {arXiv},
    year      = {2023},
    eprint    = {2312.02976},
}