fmb

  • Keterangan :

Kumpulan data kami terdiri dari objek dalam beragam tampilan dan geometri. Hal ini memerlukan keterampilan motorik halus multi-tahap dan multi-modal agar berhasil memasang pasak ke papan tidak tetap dalam adegan acak. Kami mengumpulkan total 22.550 lintasan di dua tugas berbeda di cabang Franka Panda. Kami mencatat lintasan dari 2 tampilan global dan 2 tampilan pergelangan tangan. Setiap tampilan berisi RGB dan peta kedalaman.

Membelah Contoh
'train' 1.804
  • Struktur fitur :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Tipe D Keterangan
FiturDict
episode_metadata FiturDict
episode_metadata/episode_bahasa_embedding Tensor (512,) float32
episode_metadata/episode_bahasa_instruksi Tensor rangkaian
episode_metadata/episode_task Tensor rangkaian
episode_metadata/file_path Tensor rangkaian
Langkah Himpunan data
langkah/tindakan Tensor (7,) float32
langkah/diskon Skalar float32
langkah/adalah_pertama Tensor bodoh
langkah/adalah_terakhir Tensor bodoh
langkah/is_terminal Tensor bodoh
langkah/bahasa_embedding Tensor (512,) float32
langkah/bahasa_instruksi Tensor rangkaian
langkah/pengamatan FiturDict
langkah/pengamatan/color_id Skalar uint8
langkah/pengamatan/eef_force Tensor (3,) float32
langkah/pengamatan/eef_pose Tensor (7,) float32
langkah/pengamatan/eef_torque Tensor (3,) float32
langkah/pengamatan/eef_vel Tensor (6,) float32
langkah/pengamatan/gambar_sisi_1 Gambar (256, 256, 3) uint8
langkah/pengamatan/gambar_sisi_1_kedalaman Tensor (256, 256) float32
langkah/pengamatan/gambar_sisi_2 Gambar (256, 256, 3) uint8
langkah/pengamatan/gambar_sisi_2_kedalaman Tensor (256, 256) float32
langkah/pengamatan/image_wrist_1 Gambar (256, 256, 3) uint8
langkah/pengamatan/gambar_pergelangan tangan_1_kedalaman Tensor (256, 256) float32
langkah/pengamatan/image_wrist_2 Gambar (256, 256, 3) uint8
langkah/pengamatan/gambar_pergelangan tangan_2_kedalaman Tensor (256, 256) float32
langkah/pengamatan/joint_pos Tensor (7,) float32
langkah/pengamatan/joint_vel Tensor (7,) float32
langkah/pengamatan/panjang Tensor rangkaian
langkah/pengamatan/object_id Skalar uint8
langkah/pengamatan/primitif Tensor rangkaian
langkah/pengamatan/shape_id Skalar uint8
langkah/pengamatan/ukuran Tensor rangkaian
langkah/pengamatan/state_gripper_pose Skalar float32
langkah/hadiah Skalar float32
  • Kutipan :
https://doi.org/10.48550/arXiv.2401.08553