robomimic_mg

• Descripción :

Los conjuntos de datos generados por la máquina Robomimic se recopilaron utilizando un agente Soft Actor Critic entrenado con una recompensa densa. Cada conjunto de datos consta del búfer de reproducción del agente.

Cada tarea tiene dos versiones: una con observaciones dimensionales bajas ( low_dim ) y otra con imágenes ( image ).

Los conjuntos de datos siguen el formato RLDS para representar pasos y episodios.

• Página de inicio : https://arise-initiative.github.io/robomimic-web/

• Código fuente : tfds.datasets.robomimic_mg.Builder

• Versiones :

  • 1.0.0 (predeterminado): versión inicial.

• Claves supervisadas (Ver as_supervised doc ): None

• Figura ( tfds.show_examples ): no compatible.

• Ejemplos ( tfds.as_dataframe ): Falta.

• Cita :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (configuración predeterminada)

• Tamaño de descarga : 18.04 GiB

• Tamaño del conjunto de datos : 2.73 GiB

• Almacenamiento automático en caché ( documentación ): No

• Divisiones :

Dividir	Ejemplos
'train'	1,500

• Estructura de características :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

• Documentación de características :

Característica	Clase	Forma	Tipo D	Descripción
	CaracterísticasDict
episodio_id	Tensor		cadena
horizonte	Tensor		int32
pasos	conjunto de datos
pasos/acción	Tensor	(7,)	flotar64
pasos/descuento	Tensor		int32
pasos/es_primero	Tensor		bool
pasos/es_último	Tensor		bool
pasos/es_terminal	Tensor		bool
pasos/observación	CaracterísticasDict
pasos/observación/agentview_image	Imagen	(84, 84, 3)	uint8
pasos/observación/objeto	Tensor	(10,)	flotar64
pasos/observación/robot0_eef_pos	Tensor	(3,)	flotar64	Posición del efector final
pasos/observación/robot0_eef_quat	Tensor	(4,)	flotar64	Orientación del efector final
pasos/observación/robot0_eef_vel_ang	Tensor	(3,)	flotar64	Velocidad angular del efector final
pasos/observación/robot0_eef_vel_lin	Tensor	(3,)	flotar64	Velocidad cartesiana del efector final
pasos/observación/robot0_ojo_en_mano_imagen	Imagen	(84, 84, 3)	uint8
pasos/observación/robot0_gripper_qpos	Tensor	(2,)	flotar64	Posición de la pinza
pasos/observación/robot0_gripper_qvel	Tensor	(2,)	flotar64	Velocidad de agarre
pasos/observación/robot0_joint_pos	Tensor	(7,)	flotar64	Posiciones conjuntas 7DOF
pasos/observación/robot0_joint_pos_cos	Tensor	(7,)	flotar64
pasos/observación/robot0_joint_pos_sin	Tensor	(7,)	flotar64
pasos/observación/robot0_joint_vel	Tensor	(7,)	flotar64	Velocidades conjuntas 7DOF
pasos/recompensa	Tensor		flotar64
pasos/estados	Tensor	(32,)	flotar64

robomimic_mg/lift_mg_low_dim

• Tamaño de la descarga : 302.25 MiB

• Tamaño del conjunto de datos : 195.10 MiB

• Auto-caché ( documentación ): Solo cuando shuffle_files=False (tren)

• Divisiones :

Dividir	Ejemplos
'train'	1,500

• Estructura de características :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

• Documentación de características :

Característica	Clase	Forma	Tipo D	Descripción
	CaracterísticasDict
episodio_id	Tensor		cadena
horizonte	Tensor		int32
pasos	conjunto de datos
pasos/acción	Tensor	(7,)	flotar64
pasos/descuento	Tensor		int32
pasos/es_primero	Tensor		bool
pasos/es_último	Tensor		bool
pasos/es_terminal	Tensor		bool
pasos/observación	CaracterísticasDict
pasos/observación/objeto	Tensor	(10,)	flotar64
pasos/observación/robot0_eef_pos	Tensor	(3,)	flotar64	Posición del efector final
pasos/observación/robot0_eef_quat	Tensor	(4,)	flotar64	Orientación del efector final
pasos/observación/robot0_eef_vel_ang	Tensor	(3,)	flotar64	Velocidad angular del efector final
pasos/observación/robot0_eef_vel_lin	Tensor	(3,)	flotar64	Velocidad cartesiana del efector final
pasos/observación/robot0_gripper_qpos	Tensor	(2,)	flotar64	Posición de la pinza
pasos/observación/robot0_gripper_qvel	Tensor	(2,)	flotar64	Velocidad de agarre
pasos/observación/robot0_joint_pos	Tensor	(7,)	flotar64	Posiciones conjuntas 7DOF
pasos/observación/robot0_joint_pos_cos	Tensor	(7,)	flotar64
pasos/observación/robot0_joint_pos_sin	Tensor	(7,)	flotar64
pasos/observación/robot0_joint_vel	Tensor	(7,)	flotar64	Velocidades conjuntas 7DOF
pasos/recompensa	Tensor		flotar64
pasos/estados	Tensor	(32,)	flotar64

robomimic_mg/can_mg_imagen

• Tamaño de descarga : 47.14 GiB

• Tamaño del conjunto de datos : 11.15 GiB

• Almacenamiento automático en caché ( documentación ): No

• Divisiones :

Dividir	Ejemplos
'train'	3,900

• Estructura de características :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

• Documentación de características :

Característica	Clase	Forma	Tipo D	Descripción
	CaracterísticasDict
episodio_id	Tensor		cadena
horizonte	Tensor		int32
pasos	conjunto de datos
pasos/acción	Tensor	(7,)	flotar64
pasos/descuento	Tensor		int32
pasos/es_primero	Tensor		bool
pasos/es_último	Tensor		bool
pasos/es_terminal	Tensor		bool
pasos/observación	CaracterísticasDict
pasos/observación/agentview_image	Imagen	(84, 84, 3)	uint8
pasos/observación/objeto	Tensor	(14,)	flotar64
pasos/observación/robot0_eef_pos	Tensor	(3,)	flotar64	Posición del efector final
pasos/observación/robot0_eef_quat	Tensor	(4,)	flotar64	Orientación del efector final
pasos/observación/robot0_eef_vel_ang	Tensor	(3,)	flotar64	Velocidad angular del efector final
pasos/observación/robot0_eef_vel_lin	Tensor	(3,)	flotar64	Velocidad cartesiana del efector final
pasos/observación/robot0_ojo_en_mano_imagen	Imagen	(84, 84, 3)	uint8
pasos/observación/robot0_gripper_qpos	Tensor	(2,)	flotar64	Posición de la pinza
pasos/observación/robot0_gripper_qvel	Tensor	(2,)	flotar64	Velocidad de agarre
pasos/observación/robot0_joint_pos	Tensor	(7,)	flotar64	Posiciones conjuntas 7DOF
pasos/observación/robot0_joint_pos_cos	Tensor	(7,)	flotar64
pasos/observación/robot0_joint_pos_sin	Tensor	(7,)	flotar64
pasos/observación/robot0_joint_vel	Tensor	(7,)	flotar64	Velocidades conjuntas 7DOF
pasos/recompensa	Tensor		flotar64
pasos/estados	Tensor	(71,)	flotar64

robomimic_mg/can_mg_low_dim

• Tamaño de descarga : 1.01 GiB

• Tamaño del conjunto de datos : 697.71 MiB

• Almacenamiento automático en caché ( documentación ): No

• Divisiones :

Dividir	Ejemplos
'train'	3,900

• Estructura de características :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

• Documentación de características :

Característica	Clase	Forma	Tipo D	Descripción
	CaracterísticasDict
episodio_id	Tensor		cadena
horizonte	Tensor		int32
pasos	conjunto de datos
pasos/acción	Tensor	(7,)	flotar64
pasos/descuento	Tensor		int32
pasos/es_primero	Tensor		bool
pasos/es_último	Tensor		bool
pasos/es_terminal	Tensor		bool
pasos/observación	CaracterísticasDict
pasos/observación/objeto	Tensor	(14,)	flotar64
pasos/observación/robot0_eef_pos	Tensor	(3,)	flotar64	Posición del efector final
pasos/observación/robot0_eef_quat	Tensor	(4,)	flotar64	Orientación del efector final
pasos/observación/robot0_eef_vel_ang	Tensor	(3,)	flotar64	Velocidad angular del efector final
pasos/observación/robot0_eef_vel_lin	Tensor	(3,)	flotar64	Velocidad cartesiana del efector final
pasos/observación/robot0_gripper_qpos	Tensor	(2,)	flotar64	Posición de la pinza
pasos/observación/robot0_gripper_qvel	Tensor	(2,)	flotar64	Velocidad de agarre
pasos/observación/robot0_joint_pos	Tensor	(7,)	flotar64	Posiciones conjuntas 7DOF
pasos/observación/robot0_joint_pos_cos	Tensor	(7,)	flotar64
pasos/observación/robot0_joint_pos_sin	Tensor	(7,)	flotar64
pasos/observación/robot0_joint_vel	Tensor	(7,)	flotar64	Velocidades conjuntas 7DOF
pasos/recompensa	Tensor		flotar64
pasos/estados	Tensor	(71,)	flotar64