taco_play

  • Descripción :

Brazo de Franka interactuando con la cocina.

Dividir Ejemplos
'test' 361
'train' 3.242
  • Estructura de características : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
pasos Conjunto de datos
pasos/acción FuncionesDict
pasos/acción/acciones Tensor (7,) flotador32 valores absolutos deseados para la postura de la pinza (las primeras 6 dimensiones son x, y, z, guiñada, cabeceo, balanceo), la última dimensión es open_gripper (-1 es pinza abierta, 1 es cerrada)
pasos/acción/rel_actions_gripper Tensor (7,) flotador32 acciones relativas para la pose de la pinza en el marco de la cámara de la pinza (las primeras 6 dimensiones son x, y, z, guiñada, cabeceo, balanceo), la última dimensión es open_gripper (-1 es la pinza abierta, 1 está cerrada)
pasos/acción/rel_actions_world Tensor (7,) flotador32 acciones relativas para la postura de la pinza en el marco base del robot (las primeras 6 dimensiones son x, y, z, guiñada, cabeceo, balanceo), la última dimensión es open_gripper (-1 es la pinza abierta, 1 es cerrada)
pasos/acción/terminar_episodio Tensor flotador32
pasos/es_primero Tensor booleano
pasos/es_último Tensor booleano
pasos/es_terminal Tensor booleano
pasos/observación FuncionesDict
pasos/observación/profundidad_gripper Tensor (84, 84) flotador32
pasos/observación/profundidad_estática Tensor (150, 200) flotador32
pasos/observación/incrustación_del_lenguaje_natural Tensor (512,) flotador32
pasos/observación/instrucción_lenguaje_natural Tensor cadena La instrucción en lenguaje natural es una instrucción en lenguaje natural muestreada aleatoriamente en función de posibles sinónimos de tareas derivados de la tarea de lenguaje estructurado. Por ejemplo, "apagar la luz azul" puede corresponder a "apagar la luz de color azul".
pasos/observación/rgb_gripper Imagen (84, 84, 3) uint8
pasos/observación/rgb_static Imagen (150, 200, 3) uint8 Imagen estática RGB de forma. (150, 200, 3). Submuestreado de la imagen (200,200, 3).
pasos/observación/robot_obs Tensor (15,) flotador32 Posición EE (3), orientación EE en ángulos de Euler (3), ancho de la pinza (1), posiciones de las articulaciones (7), acción de la pinza (1)
pasos/observación/instrucción_lenguaje_estructurado Tensor cadena Una de las 25 posibles instrucciones en lenguaje estructurado; consulte la lista en https://arxiv.org/pdf/2210.01911.pdf Tabla 2.
pasos/recompensa Escalar flotador32
  • Cita : 
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}