fmb

  • Description :

Notre ensemble de données se compose d’objets d’apparence et de géométrie diverses. Il faut une motricité fine en plusieurs étapes et multimodales pour réussir à assembler les chevilles sur une planche non fixée dans une scène aléatoire. Nous avons collecté un total de 22 550 trajectoires sur deux tâches différentes sur un bras Franka Panda. Nous enregistrons les trajectoires à partir de 2 vues globales et de 2 vues du poignet. Chaque vue contient à la fois une carte RVB et une carte de profondeur.

Diviser Exemples
'train' 1 804
  • Structure des fonctionnalités :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Documentation des fonctionnalités :
Fonctionnalité Classe Forme Type D Description
FonctionnalitésDict
épisode_métadonnées FonctionnalitésDict
épisode_metadata/episode_langue_embedding Tenseur (512,) flotteur32
épisode_métadonnées/episode_langue_instruction Tenseur chaîne
épisode_métadonnées/episode_task Tenseur chaîne
épisode_metadata/file_path Tenseur chaîne
pas Base de données
étapes/actions Tenseur (7,) flotteur32
étapes/remise Scalaire flotteur32
étapes/is_first Tenseur bouffon
étapes/est_dernier Tenseur bouffon
étapes/is_terminal Tenseur bouffon
étapes/langue_embedding Tenseur (512,) flotteur32
étapes/instruction_langue Tenseur chaîne
étapes/observation FonctionnalitésDict
étapes/observation/color_id Scalaire uint8
étapes/observation/eef_force Tenseur (3,) flotteur32
étapes/observation/eef_pose Tenseur (7,) flotteur32
étapes/observation/eef_torque Tenseur (3,) flotteur32
étapes/observation/eef_vel Tenseur (6,) flotteur32
étapes/observation/image_side_1 Image (256, 256, 3) uint8
étapes/observation/image_side_1_profondeur Tenseur (256, 256) flotteur32
étapes/observation/image_side_2 Image (256, 256, 3) uint8
étapes/observation/image_side_2_profondeur Tenseur (256, 256) flotteur32
étapes/observation/image_wrist_1 Image (256, 256, 3) uint8
étapes/observation/image_wrist_1_profondeur Tenseur (256, 256) flotteur32
étapes/observation/image_wrist_2 Image (256, 256, 3) uint8
étapes/observation/image_wrist_2_profondeur Tenseur (256, 256) flotteur32
étapes/observation/joint_pos Tenseur (7,) flotteur32
étapes/observation/joint_vel Tenseur (7,) flotteur32
étapes/observation/durée Tenseur chaîne
étapes/observation/object_id Scalaire uint8
étapes/observation/primitive Tenseur chaîne
étapes/observation/shape_id Scalaire uint8
marches/observation/taille Tenseur chaîne
étapes/observation/state_gripper_pose Scalaire flotteur32
étapes/récompense Scalaire flotteur32
  • Citation :
https://doi.org/10.48550/arXiv.2401.08553