imitar_jugar

  • Descripción :

Conjunto de datos reales de 14 tareas de manipulación de largo horizonte. Una combinación de datos de juego humano y datos de un solo brazo robótico que realiza las mismas tareas.

Dividir Ejemplos
'train' 378
  • Estructura de características :
FeaturesDict({
   
'episode_metadata': FeaturesDict({
       
'file_path': string,
   
}),
   
'steps': Dataset({
       
'action': Tensor(shape=(7,), dtype=float32),
       
'discount': Scalar(shape=(), dtype=float32),
       
'is_first': bool,
       
'is_last': bool,
       
'is_terminal': bool,
       
'language_embedding': Tensor(shape=(512,), dtype=float32),
       
'language_instruction': string,
       
'observation': FeaturesDict({
           
'image': FeaturesDict({
               
'front_image_1': Image(shape=(120, 120, 3), dtype=uint8),
               
'front_image_2': Image(shape=(120, 120, 3), dtype=uint8),
           
}),
           
'state': FeaturesDict({
               
'ee_pose': Tensor(shape=(7,), dtype=float32),
               
'gripper_position': float32,
               
'joint_positions': Tensor(shape=(7,), dtype=float32),
               
'joint_velocities': Tensor(shape=(7,), dtype=float32),
           
}),
           
'wrist_image': FeaturesDict({
               
'wrist_image': Image(shape=(120, 120, 3), dtype=uint8),
           
}),
       
}),
       
'reward': Scalar(shape=(), dtype=float32),
   
}),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
episodio_metadatos FuncionesDict
metadatos_episodio/ruta_archivo Tensor cadena
pasos Conjunto de datos
pasos/acción Tensor (7,) flotador32
pasos/descuento Escalar flotador32
pasos/es_primero Tensor booleano
pasos/es_último Tensor booleano
pasos/es_terminal Tensor booleano
pasos/idioma_incrustación Tensor (512,) flotador32
pasos/instrucción_idioma Tensor cadena
pasos/observación FuncionesDict
pasos/observación/imagen FuncionesDict
pasos/observación/imagen/front_image_1 Imagen (120, 120, 3) uint8
pasos/observación/imagen/front_image_2 Imagen (120, 120, 3) uint8
pasos/observación/estado FuncionesDict
pasos/observación/estado/ee_pose Tensor (7,) flotador32
pasos/observación/estado/posición_pinza Tensor flotador32
pasos/observación/estado/posiciones_conjuntas Tensor (7,) flotador32
pasos/observación/estado/velocidades_conjuntas Tensor (7,) flotador32
pasos/observación/imagen_muñeca FuncionesDict
pasos/observación/imagen_muñeca/imagen_muñeca Imagen (120, 120, 3) uint8
pasos/recompensa Escalar flotador32
  • Citación :
@article{wang2023mimicplay,title={Mimicplay: Long-horizon imitation learning by watching human play},author={Wang, Chen and Fan, Linxi and Sun, Jiankai and Zhang, Ruohan and Fei-Fei, Li and Xu, Danfei and Zhu, Yuke and Anandkumar, Anima},journal={arXiv preprint arXiv:2302.12422},year={2023} }