robomimic_mg

  • Descrição :

Os conjuntos de dados gerados pela máquina Robomimic foram coletados usando um agente Soft Actor Critic treinado com uma recompensa densa. Cada conjunto de dados consiste no buffer de reprodução do agente.

Cada tarefa possui duas versões: uma com observações de baixa dimensão ( low_dim ) e outra com imagens ( image ).

Os conjuntos de dados seguem o formato RLDS para representar etapas e episódios.

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (configuração padrão)

  • Tamanho do download : 18.04 GiB

  • Tamanho do conjunto de dados : 2.73 GiB

  • Armazenado em cache automaticamente ( documentação ): Não

  • Divisões :

Dividir Exemplos
'train' 1.500
  • Estrutura de recursos :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Documentação de recursos :
Recurso Aula Forma Tipo D Descrição
RecursosDict
episódio_id Tensor corda
horizonte Tensor int32
passos Conjunto de dados
etapas/ação Tensor (7,) float64
passos/desconto Tensor int32
passos/é_primeiro Tensor bool
passos/é_último Tensor bool
etapas/is_terminal Tensor bool
etapas/observação RecursosDict
etapas/observação/agentview_image Imagem (84, 84, 3) uint8
etapas/observação/objeto Tensor (10,) float64
etapas/observação/robot0_eef_pos Tensor (3,) float64 Posição do efetor final
etapas/observação/robot0_eef_quat Tensor (4,) float64 Orientação do efetor final
etapas/observação/robot0_eef_vel_ang Tensor (3,) float64 Velocidade angular do efetor final
etapas/observação/robot0_eef_vel_lin Tensor (3,) float64 Velocidade cartesiana do efetor final
etapas/observação/robot0_eye_in_hand_image Imagem (84, 84, 3) uint8
etapas/observação/robot0_gripper_qpos Tensor (2,) float64 Posição da pinça
etapas/observação/robot0_gripper_qvel Tensor (2,) float64 Velocidade da garra
etapas/observação/robot0_joint_pos Tensor (7,) float64 Posições conjuntas 7DOF
etapas/observação/robot0_joint_pos_cos Tensor (7,) float64
etapas/observação/robot0_joint_pos_sin Tensor (7,) float64
etapas/observação/robot0_joint_vel Tensor (7,) float64 Velocidades articulares 7DOF
passos/recompensa Tensor float64
etapas/estados Tensor (32,) float64

robomimic_mg/lift_mg_low_dim

  • Tamanho do download : 302.25 MiB

  • Tamanho do conjunto de dados : 195.10 MiB

  • Armazenado em cache automaticamente ( documentação ): somente quando shuffle_files=False (train)

  • Divisões :

Dividir Exemplos
'train' 1.500
  • Estrutura de recursos :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Documentação de recursos :
Recurso Aula Forma Tipo D Descrição
RecursosDict
episódio_id Tensor corda
horizonte Tensor int32
passos Conjunto de dados
etapas/ação Tensor (7,) float64
passos/desconto Tensor int32
passos/é_primeiro Tensor bool
passos/é_último Tensor bool
etapas/is_terminal Tensor bool
etapas/observação RecursosDict
etapas/observação/objeto Tensor (10,) float64
etapas/observação/robot0_eef_pos Tensor (3,) float64 Posição do efetor final
etapas/observação/robot0_eef_quat Tensor (4,) float64 Orientação do efetor final
etapas/observação/robot0_eef_vel_ang Tensor (3,) float64 Velocidade angular do efetor final
etapas/observação/robot0_eef_vel_lin Tensor (3,) float64 Velocidade cartesiana do efetor final
etapas/observação/robot0_gripper_qpos Tensor (2,) float64 Posição da pinça
etapas/observação/robot0_gripper_qvel Tensor (2,) float64 Velocidade da garra
etapas/observação/robot0_joint_pos Tensor (7,) float64 Posições conjuntas 7DOF
etapas/observação/robot0_joint_pos_cos Tensor (7,) float64
etapas/observação/robot0_joint_pos_sin Tensor (7,) float64
etapas/observação/robot0_joint_vel Tensor (7,) float64 Velocidades articulares 7DOF
passos/recompensa Tensor float64
etapas/estados Tensor (32,) float64

robomimic_mg/can_mg_image

  • Tamanho do download : 47.14 GiB

  • Tamanho do conjunto de dados : 11.15 GiB

  • Armazenado em cache automaticamente ( documentação ): Não

  • Divisões :

Dividir Exemplos
'train' 3.900
  • Estrutura de recursos :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Documentação de recursos :
Recurso Aula Forma Tipo D Descrição
RecursosDict
episódio_id Tensor corda
horizonte Tensor int32
passos Conjunto de dados
etapas/ação Tensor (7,) float64
passos/desconto Tensor int32
passos/é_primeiro Tensor bool
passos/é_último Tensor bool
etapas/is_terminal Tensor bool
etapas/observação RecursosDict
etapas/observação/agentview_image Imagem (84, 84, 3) uint8
etapas/observação/objeto Tensor (14,) float64
etapas/observação/robot0_eef_pos Tensor (3,) float64 Posição do efetor final
etapas/observação/robot0_eef_quat Tensor (4,) float64 Orientação do efetor final
etapas/observação/robot0_eef_vel_ang Tensor (3,) float64 Velocidade angular do efetor final
etapas/observação/robot0_eef_vel_lin Tensor (3,) float64 Velocidade cartesiana do efetor final
etapas/observação/robot0_eye_in_hand_image Imagem (84, 84, 3) uint8
etapas/observação/robot0_gripper_qpos Tensor (2,) float64 Posição da pinça
etapas/observação/robot0_gripper_qvel Tensor (2,) float64 Velocidade da garra
etapas/observação/robot0_joint_pos Tensor (7,) float64 Posições conjuntas 7DOF
etapas/observação/robot0_joint_pos_cos Tensor (7,) float64
etapas/observação/robot0_joint_pos_sin Tensor (7,) float64
etapas/observação/robot0_joint_vel Tensor (7,) float64 Velocidades articulares 7DOF
passos/recompensa Tensor float64
etapas/estados Tensor (71,) float64

robomimic_mg/can_mg_low_dim

  • Tamanho do download : 1.01 GiB

  • Tamanho do conjunto de dados : 697.71 MiB

  • Armazenado em cache automaticamente ( documentação ): Não

  • Divisões :

Dividir Exemplos
'train' 3.900
  • Estrutura de recursos :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Documentação de recursos :
Recurso Aula Forma Tipo D Descrição
RecursosDict
episódio_id Tensor corda
horizonte Tensor int32
passos Conjunto de dados
etapas/ação Tensor (7,) float64
passos/desconto Tensor int32
passos/é_primeiro Tensor bool
passos/é_último Tensor bool
etapas/is_terminal Tensor bool
etapas/observação RecursosDict
etapas/observação/objeto Tensor (14,) float64
etapas/observação/robot0_eef_pos Tensor (3,) float64 Posição do efetor final
etapas/observação/robot0_eef_quat Tensor (4,) float64 Orientação do efetor final
etapas/observação/robot0_eef_vel_ang Tensor (3,) float64 Velocidade angular do efetor final
etapas/observação/robot0_eef_vel_lin Tensor (3,) float64 Velocidade cartesiana do efetor final
etapas/observação/robot0_gripper_qpos Tensor (2,) float64 Posição da pinça
etapas/observação/robot0_gripper_qvel Tensor (2,) float64 Velocidade da garra
etapas/observação/robot0_joint_pos Tensor (7,) float64 Posições conjuntas 7DOF
etapas/observação/robot0_joint_pos_cos Tensor (7,) float64
etapas/observação/robot0_joint_pos_sin Tensor (7,) float64
etapas/observação/robot0_joint_vel Tensor (7,) float64 Velocidades articulares 7DOF
passos/recompensa Tensor float64
etapas/estados Tensor (71,) float64