fmb

  • Sự miêu tả :

Tập dữ liệu của chúng tôi bao gồm các đối tượng có hình dạng và hình học đa dạng. Nó đòi hỏi các kỹ năng vận động tinh đa giai đoạn và đa phương thức để lắp ráp thành công các chốt vào một tấm bảng không cố định trong một cảnh ngẫu nhiên. Chúng tôi đã thu thập tổng cộng 22.550 quỹ đạo qua hai nhiệm vụ khác nhau trên cánh tay Franka Panda. Chúng tôi ghi lại quỹ đạo từ 2 chế độ xem toàn cầu và 2 chế độ xem cổ tay. Mỗi chế độ xem chứa cả bản đồ RGB và độ sâu.

Tách ra Ví dụ
'train' 1.804
  • Cấu trúc tính năng :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp học Hình dạng loại D Sự miêu tả
Tính năngDict
tập_siêu dữ liệu Tính năngDict
tập_siêu dữ liệu/tập_ngôn ngữ_embedding Tenxơ (512,) phao32
tập_siêu dữ liệu/tập_ngôn ngữ_instruction Tenxơ sợi dây
tập_siêu dữ liệu/tập_task Tenxơ sợi dây
tập_siêu dữ liệu/file_path Tenxơ sợi dây
bước Tập dữ liệu
bước/hành động Tenxơ (7,) phao32
bước/giảm giá Vô hướng phao32
bước/is_first Tenxơ bool
bước/is_last Tenxơ bool
bước/is_terminal Tenxơ bool
các bước/ngôn ngữ_embedding Tenxơ (512,) phao32
các bước/ngôn ngữ_instruction Tenxơ sợi dây
bước/quan sát Tính năngDict
bước/quan sát/color_id Vô hướng uint8
bước/quan sát/eef_force Tenxơ (3,) phao32
bước/quan sát/eef_pose Tenxơ (7,) phao32
bước/quan sát/eef_torque Tenxơ (3,) phao32
bước/quan sát/eef_vel Tenxơ (6,) phao32
bước/quan sát/image_side_1 Hình ảnh (256, 256, 3) uint8
bước/quan sát/image_side_1_deep Tenxơ (256, 256) phao32
bước/quan sát/image_side_2 Hình ảnh (256, 256, 3) uint8
bước/quan sát/image_side_2_deep Tenxơ (256, 256) phao32
bước/quan sát/image_wrist_1 Hình ảnh (256, 256, 3) uint8
bước/quan sát/image_wrist_1_deep Tenxơ (256, 256) phao32
bước/quan sát/image_wrist_2 Hình ảnh (256, 256, 3) uint8
bước/quan sát/image_wrist_2_deep Tenxơ (256, 256) phao32
bước/quan sát/joint_pos Tenxơ (7,) phao32
bước/quan sát/joint_vel Tenxơ (7,) phao32
bước/quan sát/độ dài Tenxơ sợi dây
bước/quan sát/object_id Vô hướng uint8
bước/quan sát/nguyên thủy Tenxơ sợi dây
bước/quan sát/shape_id Vô hướng uint8
bước/quan sát/kích thước Tenxơ sợi dây
bước/quan sát/state_gripper_pose Vô hướng phao32
bước/phần thưởng Vô hướng phao32
  • Trích dẫn :
https://doi.org/10.48550/arXiv.2401.08553