fmb

  • 설명 :

우리의 데이터 세트는 다양한 모양과 기하학적 구조를 가진 개체로 구성됩니다. 무작위 장면에서 고정되지 않은 보드에 페그를 성공적으로 조립하려면 다단계 및 다중 모드 미세 운동 기술이 필요합니다. 우리는 Franka Panda 팔에 대한 두 가지 다른 작업에 걸쳐 총 22,550개의 궤적을 수집했습니다. 2개의 글로벌 보기와 2개의 손목 보기에서 궤적을 기록합니다. 각 뷰에는 RGB와 깊이 맵이 모두 포함되어 있습니다.

나뉘다 예
'train' 1,804
  • 기능 구조 :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
에피소드_메타데이터 특징Dict
에피소드_메타데이터/에피소드_언어_임베딩 텐서 (512,) float32
에피소드_메타데이터/에피소드_언어_명령 텐서 끈
Episode_metadata/episode_task 텐서 끈
에피소드_메타데이터/파일_경로 텐서 끈
단계 데이터세트
단계/작업 텐서 (7,) float32
걸음수/할인 스칼라 float32
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/언어_임베딩 텐서 (512,) float32
단계/언어_지시 텐서 끈
단계/관찰 특징Dict
단계/관찰/color_id 스칼라 uint8
단계/관찰/eef_force 텐서 (삼,) float32
단계/관찰/eef_pose 텐서 (7,) float32
단계/관찰/eef_torque 텐서 (삼,) float32
단계/관찰/eef_vel 텐서 (6,) float32
단계/관찰/image_side_1 영상 (256, 256, 3) uint8
단계/관찰/image_side_1_깊이 텐서 (256, 256) float32
단계/관찰/image_side_2 영상 (256, 256, 3) uint8
단계/관찰/image_side_2_깊이 텐서 (256, 256) float32
단계/관찰/image_wrist_1 영상 (256, 256, 3) uint8
걸음수/관찰/image_wrist_1_깊이 텐서 (256, 256) float32
걸음 수/관찰/image_wrist_2 영상 (256, 256, 3) uint8
걸음수/관찰/image_wrist_2_깊이 텐서 (256, 256) float32
단계/관찰/joint_pos 텐서 (7,) float32
단계/관찰/joint_vel 텐서 (7,) float32
걸음 수/관찰/길이 텐서 끈
단계/관찰/object_id 스칼라 uint8
단계/관찰/원시 텐서 끈
단계/관찰/shape_id 스칼라 uint8
단계/관찰/크기 텐서 끈
단계/관찰/state_gripper_pose 스칼라 float32
걸음수/보상 스칼라 float32
  • 인용 :
https://doi.org/10.48550/arXiv.2401.08553