viola

• Descripción :

Robot Franka interactuando con tareas de cocina estilizadas

• Página de inicio : https://ut-austin-rpl.github.io/VIOLA/

• Código fuente : tfds.robotics.rtx.Viola

• Versiones :

  • 0.1.0 (predeterminado): versión inicial.

• Tamaño de descarga : Unknown size

• Tamaño del conjunto de datos : 10.40 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

Dividir	Ejemplos
'test'	15
'train'	135

• Estructura de características :

FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'gripper_closedness_action': float32,
            'rotation_delta': Tensor(shape=(3,), dtype=float32),
            'terminate_episode': float32,
            'world_vector': Tensor(shape=(3,), dtype=float32),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_rgb': Image(shape=(224, 224, 3), dtype=uint8, description=RGB captured by workspace camera),
            'ee_states': Tensor(shape=(16,), dtype=float32, description=Pose of the end effector specified as a homogenous matrix.),
            'eye_in_hand_rgb': Image(shape=(224, 224, 3), dtype=uint8, description=RGB captured by in hand camera),
            'gripper_states': Tensor(shape=(1,), dtype=float32, description=gripper_states = 0 means the gripper is fully closed. The value represents the gripper width of Franka Panda Gripper.),
            'joint_states': Tensor(shape=(7,), dtype=float32, description=joint values),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})

• Documentación de funciones :

Característica	Clase	Forma	tipo D	Descripción
	FuncionesDict
pasos	Conjunto de datos
pasos/acción	FuncionesDict
pasos/acción/gripper_closedness_action	Tensor		flotador32
pasos/acción/rotation_delta	Tensor	(3,)	flotador32
pasos/acción/terminar_episodio	Tensor		flotador32
pasos/acción/world_vector	Tensor	(3,)	flotador32
pasos/es_primero	Tensor		booleano
pasos/es_último	Tensor		booleano
pasos/es_terminal	Tensor		booleano
pasos/observación	FuncionesDict
pasos/observación/agentview_rgb	Imagen	(224, 224, 3)	uint8	RGB capturado por la cámara del espacio de trabajo
pasos/observación/ee_states	Tensor	(16,)	flotador32	Pose del efector final especificado como una matriz homogénea.
pasos/observación/eye_in_hand_rgb	Imagen	(224, 224, 3)	uint8	RGB capturado por la cámara en la mano
pasos/observación/gripper_states	Tensor	(1,)	flotador32	gripper_states = 0 significa que la pinza está completamente cerrada. El valor representa el ancho de la pinza Franka Panda Gripper.
pasos/observación/estados_conjuntos	Tensor	(7,)	flotador32	valores conjuntos
pasos/observación/incrustación_del_lenguaje_natural	Tensor	(512,)	flotador32
pasos/observación/instrucción_lenguaje_natural	Tensor		cadena
pasos/recompensa	Escalar		flotador32

• Claves supervisadas (ver documento as_supervised ): None

• Figura ( tfds.show_examples ): no compatible.

• Ejemplos ( tfds.as_dataframe ):

• Cita :

@article{zhu2022viola,
  title={VIOLA: Imitation Learning for Vision-Based Manipulation with Object Proposal Priors},
  author={Zhu, Yifeng and Joshi, Abhishek and Stone, Peter and Zhu, Yuke},
  journal={6th Annual Conference on Robot Learning (CoRL)},
  year={2022}
}