- Keterangan :
Simulasi Franka melakukan berbagai tugas manipulasi
Beranda : https://github.com/haosulab/ManiSkill2
Kode sumber :
tfds.robotics.rtx.ManiskillDatasetConvertedExternallyToRlds
Versi :
-
0.1.0
(default): Rilis awal.
-
Ukuran unduhan :
Unknown size
Ukuran kumpulan data :
151.05 GiB
Cache otomatis ( dokumentasi ): Tidak
Perpecahan :
Membelah | Contoh |
---|---|
'train' | 30.213 |
- Struktur fitur :
FeaturesDict({
'episode_metadata': FeaturesDict({
'episode_id': Text(shape=(), dtype=string),
'file_path': Text(shape=(), dtype=string),
}),
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float32),
'discount': Scalar(shape=(), dtype=float32),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'language_embedding': Tensor(shape=(512,), dtype=float32),
'language_instruction': Text(shape=(), dtype=string),
'observation': FeaturesDict({
'base_pose': Tensor(shape=(7,), dtype=float32),
'depth': Image(shape=(256, 256, 1), dtype=uint16),
'image': Image(shape=(256, 256, 3), dtype=uint8),
'main_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
'main_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
'main_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
'state': Tensor(shape=(18,), dtype=float32),
'target_object_or_part_final_pose': Tensor(shape=(7,), dtype=float32),
'target_object_or_part_final_pose_valid': Tensor(shape=(7,), dtype=uint8),
'target_object_or_part_initial_pose': Tensor(shape=(7,), dtype=float32),
'target_object_or_part_initial_pose_valid': Tensor(shape=(7,), dtype=uint8),
'tcp_pose': Tensor(shape=(7,), dtype=float32),
'wrist_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
'wrist_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
'wrist_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
'wrist_depth': Image(shape=(256, 256, 1), dtype=uint16),
'wrist_image': Image(shape=(256, 256, 3), dtype=uint8),
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Dokumentasi fitur :
Fitur | Kelas | Membentuk | Tipe D | Keterangan |
---|---|---|---|---|
FiturDict | ||||
episode_metadata | FiturDict | |||
episode_metadata/episode_id | Teks | rangkaian | ID Episode. | |
episode_metadata/file_path | Teks | rangkaian | Jalur ke file data asli. | |
Langkah | Himpunan data | |||
langkah/tindakan | Tensor | (7,) | float32 | Aksi robot, terdiri dari [3x posisi target delta efektor ujung, 3x orientasi target delta efektor ujung dalam format sudut sumbu, 1x posisi target gripper (meniru dua jari)]. Untuk posisi target delta, aksi -1 peta terhadap pergerakan robot sebesar -0,1m, dan aksi 1 peta terhadap pergerakan 0,1m. Untuk orientasi target delta, sudut yang dikodekan dipetakan ke kisaran [-0.1rad, 0.1rad] untuk eksekusi robot. Misalnya, aksi [1, 0, 0] berarti memutar sepanjang sumbu x sebesar 0,1 rad. Untuk posisi target gripper, aksi -1 berarti tutup, dan aksi 1 berarti terbuka. |
langkah/diskon | Skalar | float32 | Diskon jika disediakan, defaultnya adalah 1. | |
langkah/adalah_pertama | Tensor | bodoh | ||
langkah/adalah_terakhir | Tensor | bodoh | ||
langkah/is_terminal | Tensor | bodoh | ||
langkah/bahasa_embedding | Tensor | (512,) | float32 | Penyematan bahasa Kona. Lihat https://tfhub.dev/google/universal-sentence-encoder-large/5 |
langkah/bahasa_instruksi | Teks | rangkaian | Instruksi Bahasa. | |
langkah/pengamatan | FiturDict | |||
langkah/pengamatan/base_pose | Tensor | (7,) | float32 | Pose dasar robot pada world frame, terdiri dari [x, y, z, qw, qx, qy, qz]. Tiga dimensi pertama mewakili posisi xyz dalam meter. Empat dimensi terakhir adalah representasi angka empat dari rotasi. |
langkah/pengamatan/kedalaman | Gambar | (256, 256, 1) | uint16 | Pengamatan kedalaman kamera utama. Bagilah nilai kedalaman dengan 2**10 untuk mendapatkan kedalaman dalam meter. |
langkah/pengamatan/gambar | Gambar | (256, 256, 3) | uint8 | Pengamatan RGB kamera utama. |
langkah/observasi/main_camera_cam2world_gl | Tensor | (4, 4) | float32 | Transformasi dari bingkai kamera utama ke bingkai dunia dalam konvensi OpenGL/Blender. |
langkah/pengamatan/main_camera_extrinsic_cv | Tensor | (4, 4) | float32 | Matriks ekstrinsik kamera utama dalam konvensi OpenCV. |
langkah/pengamatan/main_camera_intrinsic_cv | Tensor | (3, 3) | float32 | Matriks intrinsik kamera utama dalam konvensi OpenCV. |
langkah/pengamatan/keadaan | Tensor | (18,) | float32 | Keadaan robot, terdiri dari [7x sudut sambungan robot, 2x posisi gripper, 7x kecepatan sudut sambungan robot, 2x kecepatan gripper]. Sudut dalam radian, posisi dalam meter. |
langkah/pengamatan/target_object_or_part_final_pose | Tensor | (7,) | float32 | Pose terakhir yang objek targetnya atau bagian objeknya perlu dimanipulasi, terdiri dari [x, y, z, qw, qx, qy, qz]. Pose tersebut direpresentasikan dalam bingkai dunia. Sebuah episode dianggap berhasil jika objek target atau bagian objek dimanipulasi ke pose ini. |
langkah/pengamatan/target_object_or_part_final_pose_valid | Tensor | (7,) | uint8 | Apakah setiap dimensi target_object_or_part_final_pose valid di suatu lingkungan. 1 = sah; 0 = tidak valid (dalam hal ini seseorang harus mengabaikan dimensi terkait di target_object_or_part_final_pose). "Tidak valid" berarti tidak ada pemeriksaan keberhasilan pada pose akhir objek target atau bagian objek dalam dimensi yang sesuai. |
langkah/pengamatan/target_object_or_part_initial_pose | Tensor | (7,) | float32 | Pose awal objek sasaran atau bagian objek yang akan dimanipulasi, terdiri dari [x, y, z, qw, qx, qy, qz]. Pose tersebut direpresentasikan dalam bingkai dunia. Variabel ini digunakan untuk menentukan objek target atau bagian objek ketika ada beberapa objek atau bagian objek dalam suatu lingkungan |
langkah/pengamatan/target_object_or_part_initial_pose_valid | Tensor | (7,) | uint8 | Apakah setiap dimensi target_object_or_part_initial_pose valid di suatu lingkungan. 1 = sah; 0 = tidak valid (dalam hal ini seseorang harus mengabaikan dimensi terkait di target_object_or_part_initial_pose). |
langkah/pengamatan/tcp_pose | Tensor | (7,) | float32 | Pose titik tengah alat robot dalam bingkai dunia, terdiri dari [x, y, z, qw, qx, qy, qz]. Titik tengah alat adalah titik tengah di antara kedua jari penggenggam. |
langkah/pengamatan/wrist_camera_cam2world_gl | Tensor | (4, 4) | float32 | Transformasi dari bingkai kamera pergelangan tangan ke bingkai dunia dalam konvensi OpenGL/Blender. |
langkah/pengamatan/wrist_camera_extrinsic_cv | Tensor | (4, 4) | float32 | Matriks ekstrinsik kamera pergelangan tangan dalam konvensi OpenCV. |
langkah/pengamatan/wrist_camera_intrinsic_cv | Tensor | (3, 3) | float32 | Matriks intrinsik kamera pergelangan tangan dalam konvensi OpenCV. |
langkah/pengamatan/kedalaman pergelangan tangan | Gambar | (256, 256, 1) | uint16 | Pengamatan kedalaman kamera pergelangan tangan. Bagilah nilai kedalaman dengan 2**10 untuk mendapatkan kedalaman dalam meter. |
langkah/pengamatan/wrist_image | Gambar | (256, 256, 3) | uint8 | Pengamatan RGB kamera pergelangan tangan. |
langkah/hadiah | Skalar | float32 | Hadiah jika diberikan, 1 pada langkah terakhir untuk demo. |
Kunci yang diawasi (Lihat dokumen
as_supervised
):None
Gambar ( tfds.show_examples ): Tidak didukung.
Contoh ( tfds.as_dataframe ):
- Kutipan :
@inproceedings{gu2023maniskill2,
title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiang and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
booktitle={International Conference on Learning Representations},
year={2023}
}