maniskill_dataset_converted_externally_to_rlds

  • توضیحات :

Franka شبیه سازی شده در حال انجام وظایف دستکاری مختلف

تقسیم کنید نمونه ها
'train' 30,213
  • ساختار ویژگی :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_id': Text(shape=(), dtype=string),
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32, description=Robot action, consists of [3x end effector delta target position, 3x end effector delta target orientation in axis-angle format, 1x gripper target position (mimic for two fingers)]. For delta target position, an action of -1 maps to a robot movement of -0.1m, and action of 1 maps to a movement of 0.1m. For delta target orientation, its encoded angle is mapped to a range of [-0.1rad, 0.1rad] for robot execution. For example, an action of [1, 0, 0] means rotating along the x-axis by 0.1 rad. For gripper target position, an action of -1 means close, and an action of 1 means open.),
        'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'base_pose': Tensor(shape=(7,), dtype=float32, description=Robot base pose in the world frame, consists of [x, y, z, qw, qx, qy, qz]. The first three dimensions represent xyz positions in meters. The last four dimensions are the quaternion representation of rotation.),
            'depth': Image(shape=(256, 256, 1), dtype=uint16, description=Main camera Depth observation. Divide the depth value by 2**10 to get the depth in meters.),
            'image': Image(shape=(256, 256, 3), dtype=uint8, description=Main camera RGB observation.),
            'main_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32, description=Transformation from the main camera frame to the world frame in OpenGL/Blender convention.),
            'main_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32, description=Main camera extrinsic matrix in OpenCV convention.),
            'main_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32, description=Main camera intrinsic matrix in OpenCV convention.),
            'state': Tensor(shape=(18,), dtype=float32, description=Robot state, consists of [7x robot joint angles, 2x gripper position, 7x robot joint angle velocity, 2x gripper velocity]. Angle in radians, position in meters.),
            'target_object_or_part_final_pose': Tensor(shape=(7,), dtype=float32, description=The final pose towards which the target object or object part needs be manipulated, consists of [x, y, z, qw, qx, qy, qz]. The pose is represented in the world frame. An episode is considered successful if the target object or object part is manipulated to this pose.),
            'target_object_or_part_final_pose_valid': Tensor(shape=(7,), dtype=uint8, description=Whether each dimension of target_object_or_part_final_pose is valid in an environment. 1 = valid; 0 = invalid (in which case one should ignore the corresponding dimensions in target_object_or_part_final_pose). "Invalid" means that there is no success check on the final pose of target object or object part in the corresponding dimensions.),
            'target_object_or_part_initial_pose': Tensor(shape=(7,), dtype=float32, description=The initial pose of the target object or object part to be manipulated, consists of [x, y, z, qw, qx, qy, qz]. The pose is represented in the world frame. This variable is used to specify the target object or object part when multiple objects or object parts are present in an environment),
            'target_object_or_part_initial_pose_valid': Tensor(shape=(7,), dtype=uint8, description=Whether each dimension of target_object_or_part_initial_pose is valid in an environment. 1 = valid; 0 = invalid (in which case one should ignore the corresponding dimensions in target_object_or_part_initial_pose).),
            'tcp_pose': Tensor(shape=(7,), dtype=float32, description=Robot tool-center-point pose in the world frame, consists of [x, y, z, qw, qx, qy, qz]. Tool-center-point is the center between the two gripper fingers.),
            'wrist_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32, description=Transformation from the wrist camera frame to the world frame in OpenGL/Blender convention.),
            'wrist_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32, description=Wrist camera extrinsic matrix in OpenCV convention.),
            'wrist_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32, description=Wrist camera intrinsic matrix in OpenCV convention.),
            'wrist_depth': Image(shape=(256, 256, 1), dtype=uint16, description=Wrist camera Depth observation. Divide the depth value by 2**10 to get the depth in meters.),
            'wrist_image': Image(shape=(256, 256, 3), dtype=uint8, description=Wrist camera RGB observation.),
        }),
        'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
    }),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D توضیحات
FeaturesDict
قسمت_متاداده FeaturesDict
episode_metadata/episode_id متن رشته شناسه اپیزود.
episode_metadata/file_path متن رشته مسیر فایل داده اصلی
مراحل مجموعه داده
مراحل/عمل تانسور (7،) float32 عمل ربات، شامل [3 برابر موقعیت هدف افکتور انتهایی دلتا، 3 برابر جهت گیری هدف دلتای افکتور انتهایی در قالب زاویه محور، موقعیت هدف گیره 1 برابر (تقلید برای دو انگشت)] است. برای موقعیت هدف دلتا، یک حرکت -1 به حرکت ربات 0.1- متر و عمل 1 نقشه به حرکت 0.1 متر نشان می دهد. برای جهت گیری هدف دلتا، زاویه کدگذاری شده آن به محدوده [-0.1rad، 0.1rad] برای اجرای ربات نگاشت می شود. برای مثال، عمل [1، 0، 0] به معنای چرخش در امتداد محور x 0.1 راد است. برای موقعیت هدف گریپر، عمل 1- به معنای بسته و عمل 1 به معنای باز است.
مراحل/تخفیف اسکالر float32 تخفیف در صورت ارائه، پیش فرض 1 است.
Steps/is_first تانسور بوول
Steps/is_last تانسور بوول
Steps/is_terminal تانسور بوول
Steps/language_Embedding تانسور (512،) float32 تعبیه زبان Kona. به https://tfhub.dev/google/universal-sentence-encoder-large/5 مراجعه کنید
مراحل/زبان_آموزش متن رشته آموزش زبان.
مراحل / مشاهده FeaturesDict
steps/observation/base_pose تانسور (7،) float32 ژست پایه ربات در قاب جهان، شامل [x، y، z، qw، ​​qx، qy، qz] است. سه بعد اول موقعیت های xyz را بر حسب متر نشان می دهند. چهار بعد آخر نمایش چهارگانه چرخش است.
مراحل / مشاهده / عمق تصویر (256، 256، 1) uint16 مشاهده عمق دوربین اصلی مقدار عمق را بر 2**10 تقسیم کنید تا عمق را بر حسب متر بدست آورید.
مراحل / مشاهده / تصویر تصویر (256، 256، 3) uint8 دوربین اصلی رصد RGB.
Steps/observation/main_camera_cam2world_gl تانسور (4، 4) float32 تبدیل از قاب دوربین اصلی به قاب جهانی در کنوانسیون OpenGL/Blender.
steps/observation/main_camera_extrinsic_cv تانسور (4، 4) float32 ماتریس بیرونی دوربین اصلی در قرارداد OpenCV.
Steps/observation/main_camera_intrinsic_cv تانسور (3، 3) float32 ماتریس ذاتی دوربین اصلی در قرارداد OpenCV.
مراحل / مشاهده / حالت تانسور (18،) float32 حالت ربات، شامل [7x زاویه اتصال ربات، 2x موقعیت گیره، 7x سرعت زاویه مفصل ربات، 2x سرعت گیره] است. زاویه بر حسب رادیان، موقعیت بر حسب متر.
steps/observation/target_object_or_part_final_pose تانسور (7،) float32 حالت نهایی که شی مورد نظر یا قسمت شیء مورد نظر باید دستکاری شود، شامل [x، y، z، qw، ​​qx، qy، qz] است. ژست در قاب جهان نشان داده شده است. اگر شی مورد نظر یا قسمت شی در این حالت دستکاری شود، یک قسمت موفق در نظر گرفته می شود.
Steps/observation/target_object_or_part_final_pose_valid تانسور (7،) uint8 اینکه آیا هر بعد از target_object_or_part_final_pose در یک محیط معتبر است. 1 = معتبر 0 = نامعتبر (در این صورت باید ابعاد مربوطه را در target_object_or_part_final_pose نادیده گرفت). "نامعتبر" به این معنی است که هیچ بررسی موفقیت آمیزی در وضعیت نهایی شی هدف یا قسمت شی در ابعاد مربوطه وجود ندارد.
steps/observation/target_object_or_part_initial_pose تانسور (7،) float32 حالت اولیه شیء هدف یا قسمت شیء مورد دستکاری، شامل [x, y, z, qw, qx, qy, qz] است. ژست در قاب جهان نشان داده شده است. این متغیر برای تعیین شی یا قسمت شی مورد نظر زمانی که چندین شی یا قسمت شی در یک محیط وجود دارد استفاده می شود
Steps/observation/target_object_or_part_initial_pose_valid تانسور (7،) uint8 اینکه آیا هر بعد از target_object_or_part_initial_pose در یک محیط معتبر است. 1 = معتبر 0 = نامعتبر (در این صورت باید ابعاد مربوطه را در target_object_or_part_initial_pose نادیده گرفت).
steps/observation/tcp_pose تانسور (7،) float32 ژست ابزار-مرکز-نقطه ربات در قاب جهان، از [x، y، z، qw، ​​qx، qy، qz] تشکیل شده است. نقطه مرکز ابزار مرکز بین دو انگشت گیره است.
steps/observation/wrist_camera_cam2world_gl تانسور (4، 4) float32 تبدیل از قاب دوربین مچ به قاب جهانی در کنوانسیون OpenGL/Blender.
steps/observation/wrist_camera_extrinsic_cv تانسور (4، 4) float32 ماتریس بیرونی دوربین مچ دست در قرارداد OpenCV.
Steps/Observation/wrist_camera_intrinsic_cv تانسور (3، 3) float32 ماتریس ذاتی دوربین مچ دست در قرارداد OpenCV.
مراحل/مشاهده/عمق_مچ تصویر (256، 256، 1) uint16 مشاهده عمق دوربین مچ دست. مقدار عمق را بر 2**10 تقسیم کنید تا عمق را بر حسب متر بدست آورید.
مراحل/مشاهده/مچ_تصویر تصویر (256، 256، 3) uint8 مشاهده RGB دوربین مچ دست.
مراحل/پاداش اسکالر float32 در صورت ارائه پاداش، 1 در مرحله آخر برای دموها.
  • نقل قول :
@inproceedings{gu2023maniskill2,
  title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
  author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiang and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
  booktitle={International Conference on Learning Representations},
  year={2023}
}