fmb

  • Descrição :

Nosso conjunto de dados consiste em objetos em diversas aparências e geometrias. Requer habilidades motoras finas em vários estágios e multimodais para montar com sucesso os pinos em uma placa não fixa em uma cena aleatória. Coletamos um total de 22.550 trajetórias em duas tarefas diferentes em um braço do Franka Panda. Registramos as trajetórias de 2 visualizações globais e 2 visualizações de pulso. Cada visualização contém RGB e mapa de profundidade.

Dividir Exemplos
'train' 1.804
  • Estrutura de recursos :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Documentação de recursos :
Recurso Aula Forma Tipo D Descrição
RecursosDict
episódio_metadados RecursosDict
episódio_metadata/episódio_linguagem_embedding Tensor (512,) float32
episódio_metadados/episódio_linguagem_instrução Tensor corda
episódio_metadata/episode_task Tensor corda
episódio_metadados/caminho_do_arquivo Tensor corda
passos Conjunto de dados
etapas/ação Tensor (7,) float32
passos/desconto Escalar float32
passos/é_primeiro Tensor bool
passos/é_último Tensor bool
etapas/is_terminal Tensor bool
etapas/idioma_incorporação Tensor (512,) float32
etapas/instrução_idioma Tensor corda
etapas/observação RecursosDict
etapas/observação/color_id Escalar uint8
etapas/observação/eef_force Tensor (3,) float32
passos/observação/eef_pose Tensor (7,) float32
passos/observação/eef_torque Tensor (3,) float32
etapas/observação/eef_vel Tensor (6,) float32
etapas/observação/image_side_1 Imagem (256, 256, 3) uint8
etapas/observação/image_side_1_profundidade Tensor (256, 256) float32
etapas/observação/image_side_2 Imagem (256, 256, 3) uint8
etapas/observação/image_side_2_profundidade Tensor (256, 256) float32
etapas/observação/image_wrist_1 Imagem (256, 256, 3) uint8
etapas/observação/image_wrist_1_profundidade Tensor (256, 256) float32
passos/observação/image_wrist_2 Imagem (256, 256, 3) uint8
etapas/observação/image_wrist_2_profundidade Tensor (256, 256) float32
etapas/observação/joint_pos Tensor (7,) float32
etapas/observação/joint_vel Tensor (7,) float32
passos/observação/comprimento Tensor corda
etapas/observação/object_id Escalar uint8
passos/observação/primitivo Tensor corda
etapas/observação/shape_id Escalar uint8
passos/observação/tamanho Tensor corda
etapas/observação/state_gripper_pose Escalar float32
passos/recompensa Escalar float32
  • Citação :
https://doi.org/10.48550/arXiv.2401.08553