मैनिस्किल_डेटासेट_कन्वर्टेड_एक्सटर्नली_टू_आरएलडीएस

  • विवरण :

नकली फ़्रैंका विभिन्न जोड़-तोड़ वाले कार्य कर रहा है

विभाजित करना उदाहरण
'train' 30,213
  • फ़ीचर संरचना :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_id': Text(shape=(), dtype=string),
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32, description=Robot action, consists of [3x end effector delta target position, 3x end effector delta target orientation in axis-angle format, 1x gripper target position (mimic for two fingers)]. For delta target position, an action of -1 maps to a robot movement of -0.1m, and action of 1 maps to a movement of 0.1m. For delta target orientation, its encoded angle is mapped to a range of [-0.1rad, 0.1rad] for robot execution. For example, an action of [1, 0, 0] means rotating along the x-axis by 0.1 rad. For gripper target position, an action of -1 means close, and an action of 1 means open.),
        'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'base_pose': Tensor(shape=(7,), dtype=float32, description=Robot base pose in the world frame, consists of [x, y, z, qw, qx, qy, qz]. The first three dimensions represent xyz positions in meters. The last four dimensions are the quaternion representation of rotation.),
            'depth': Image(shape=(256, 256, 1), dtype=uint16, description=Main camera Depth observation. Divide the depth value by 2**10 to get the depth in meters.),
            'image': Image(shape=(256, 256, 3), dtype=uint8, description=Main camera RGB observation.),
            'main_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32, description=Transformation from the main camera frame to the world frame in OpenGL/Blender convention.),
            'main_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32, description=Main camera extrinsic matrix in OpenCV convention.),
            'main_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32, description=Main camera intrinsic matrix in OpenCV convention.),
            'state': Tensor(shape=(18,), dtype=float32, description=Robot state, consists of [7x robot joint angles, 2x gripper position, 7x robot joint angle velocity, 2x gripper velocity]. Angle in radians, position in meters.),
            'target_object_or_part_final_pose': Tensor(shape=(7,), dtype=float32, description=The final pose towards which the target object or object part needs be manipulated, consists of [x, y, z, qw, qx, qy, qz]. The pose is represented in the world frame. An episode is considered successful if the target object or object part is manipulated to this pose.),
            'target_object_or_part_final_pose_valid': Tensor(shape=(7,), dtype=uint8, description=Whether each dimension of target_object_or_part_final_pose is valid in an environment. 1 = valid; 0 = invalid (in which case one should ignore the corresponding dimensions in target_object_or_part_final_pose). "Invalid" means that there is no success check on the final pose of target object or object part in the corresponding dimensions.),
            'target_object_or_part_initial_pose': Tensor(shape=(7,), dtype=float32, description=The initial pose of the target object or object part to be manipulated, consists of [x, y, z, qw, qx, qy, qz]. The pose is represented in the world frame. This variable is used to specify the target object or object part when multiple objects or object parts are present in an environment),
            'target_object_or_part_initial_pose_valid': Tensor(shape=(7,), dtype=uint8, description=Whether each dimension of target_object_or_part_initial_pose is valid in an environment. 1 = valid; 0 = invalid (in which case one should ignore the corresponding dimensions in target_object_or_part_initial_pose).),
            'tcp_pose': Tensor(shape=(7,), dtype=float32, description=Robot tool-center-point pose in the world frame, consists of [x, y, z, qw, qx, qy, qz]. Tool-center-point is the center between the two gripper fingers.),
            'wrist_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32, description=Transformation from the wrist camera frame to the world frame in OpenGL/Blender convention.),
            'wrist_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32, description=Wrist camera extrinsic matrix in OpenCV convention.),
            'wrist_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32, description=Wrist camera intrinsic matrix in OpenCV convention.),
            'wrist_depth': Image(shape=(256, 256, 1), dtype=uint16, description=Wrist camera Depth observation. Divide the depth value by 2**10 to get the depth in meters.),
            'wrist_image': Image(shape=(256, 256, 3), dtype=uint8, description=Wrist camera RGB observation.),
        }),
        'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
    }),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
एपिसोड_मेटाडेटा फीचर्सडिक्ट
एपिसोड_मेटाडेटा/एपिसोड_आईडी मूलपाठ डोरी एपिसोड आईडी.
एपिसोड_मेटाडेटा/फ़ाइल_पथ मूलपाठ डोरी मूल डेटा फ़ाइल का पथ.
कदम डेटासेट
कदम/कार्रवाई टेन्सर (7,) फ्लोट32 रोबोट कार्रवाई में [3x अंत प्रभावक डेल्टा लक्ष्य स्थिति, अक्ष-कोण प्रारूप में 3x अंत प्रभावक डेल्टा लक्ष्य अभिविन्यास, 1x ग्रिपर लक्ष्य स्थिति (दो उंगलियों के लिए नकल)] शामिल हैं। डेल्टा लक्ष्य स्थिति के लिए, -0.1 मीटर की रोबोट गति के लिए -1 मानचित्र की कार्रवाई, और 0.1 मीटर की गति के लिए 1 मानचित्र की कार्रवाई। डेल्टा लक्ष्य अभिविन्यास के लिए, इसके एन्कोडेड कोण को रोबोट निष्पादन के लिए [-0.1rad, 0.1rad] की सीमा पर मैप किया जाता है। उदाहरण के लिए, [1, 0, 0] की क्रिया का अर्थ है x-अक्ष के अनुदिश 0.1 रेड घूमना। ग्रिपर लक्ष्य स्थिति के लिए, -1 की क्रिया का अर्थ है बंद होना, और 1 की क्रिया का अर्थ है खुला होना।
कदम/छूट अदिश फ्लोट32 यदि छूट प्रदान की गई है, तो डिफ़ॉल्ट 1 है।
चरण/पहला है टेन्सर बूल
चरण/अंतिम है टेन्सर बूल
चरण/is_terminal टेन्सर बूल
चरण/भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32 कोना भाषा एम्बेडिंग. https://tfhub.dev/google/universal-sentence-encoder-large/5 देखें
चरण/भाषा_निर्देश मूलपाठ डोरी भाषा निर्देश.
चरण/अवलोकन फीचर्सडिक्ट
चरण/अवलोकन/आधार_पोज़ टेन्सर (7,) फ्लोट32 वर्ल्ड फ्रेम में रोबोट बेस पोज़ में [x, y, z, qw, qx, qy, qz] शामिल है। पहले तीन आयाम मीटर में xyz स्थिति दर्शाते हैं। अंतिम चार आयाम घूर्णन का चतुर्भुज प्रतिनिधित्व हैं।
चरण/अवलोकन/गहराई छवि (256, 256, 1) uint16 मुख्य कैमरा गहराई अवलोकन। मीटर में गहराई प्राप्त करने के लिए गहराई मान को 2**10 से विभाजित करें।
चरण/अवलोकन/छवि छवि (256, 256, 3) uint8 मुख्य कैमरा आरजीबी अवलोकन।
चरण/अवलोकन/main_camera_cam2world_gl टेन्सर (4,4) फ्लोट32 ओपनजीएल/ब्लेंडर कन्वेंशन में मुख्य कैमरा फ्रेम से विश्व फ्रेम में परिवर्तन।
चरण/अवलोकन/main_camera_extrinsic_cv टेन्सर (4,4) फ्लोट32 OpenCV कन्वेंशन में मुख्य कैमरा एक्सट्रिंसिक मैट्रिक्स।
चरण/अवलोकन/main_camera_intrinsic_cv टेन्सर (3,3) फ्लोट32 OpenCV कन्वेंशन में मुख्य कैमरा आंतरिक मैट्रिक्स।
चरण/अवलोकन/स्थिति टेन्सर (18,) फ्लोट32 रोबोट स्थिति में [7x रोबोट संयुक्त कोण, 2x ग्रिपर स्थिति, 7x रोबोट संयुक्त कोण वेग, 2x ग्रिपर वेग] शामिल हैं। कोण रेडियन में, स्थिति मीटर में।
चरण/अवलोकन/लक्ष्य_ऑब्जेक्ट_या_भाग_अंतिम_पोज़ टेन्सर (7,) फ्लोट32 अंतिम मुद्रा जिसके लिए लक्ष्य वस्तु या वस्तु भाग को हेरफेर करने की आवश्यकता होती है, उसमें [x, y, z, qw, qx, qy, qz] शामिल होता है। मुद्रा को विश्व फ्रेम में दर्शाया गया है। यदि लक्ष्य वस्तु या वस्तु भाग को इस मुद्रा में हेरफेर किया जाता है तो एक एपिसोड को सफल माना जाता है।
चरण/अवलोकन/target_object_or_part_final_pose_valid टेन्सर (7,) uint8 क्या target_object_or_part_final_pose का प्रत्येक आयाम किसी परिवेश में मान्य है। 1 = वैध; 0 = अमान्य (ऐसी स्थिति में किसी को target_object_or_part_final_pose में संबंधित आयामों को अनदेखा करना चाहिए)। "अमान्य" का अर्थ है कि संबंधित आयामों में लक्ष्य वस्तु या वस्तु भाग की अंतिम मुद्रा पर कोई सफलता जांच नहीं हुई है।
चरण/अवलोकन/target_object_or_part_initial_pose टेन्सर (7,) फ्लोट32 हेरफेर की जाने वाली लक्ष्य वस्तु या वस्तु भाग की प्रारंभिक मुद्रा में [x, y, z, qw, qx, qy, qz] शामिल हैं। मुद्रा को विश्व फ्रेम में दर्शाया गया है। इस वेरिएबल का उपयोग लक्ष्य ऑब्जेक्ट या ऑब्जेक्ट भाग को निर्दिष्ट करने के लिए किया जाता है जब एक वातावरण में कई ऑब्जेक्ट या ऑब्जेक्ट भाग मौजूद होते हैं
चरण/अवलोकन/target_object_or_part_initial_pose_valid टेन्सर (7,) uint8 क्या target_object_or_part_initial_pose का प्रत्येक आयाम किसी परिवेश में मान्य है। 1 = वैध; 0 = अमान्य (ऐसी स्थिति में किसी को target_object_or_part_initial_pose में संबंधित आयामों को अनदेखा करना चाहिए)।
चरण/अवलोकन/tcp_pose टेन्सर (7,) फ्लोट32 विश्व फ़्रेम में रोबोट टूल-सेंटर-पॉइंट पोज़, [x, y, z, qw, qx, qy, qz] से युक्त है। टूल-सेंटर-पॉइंट दो ग्रिपर उंगलियों के बीच का केंद्र है।
चरण/अवलोकन/कलाई_कैमरा_cam2world_gl टेन्सर (4,4) फ्लोट32 ओपनजीएल/ब्लेंडर कन्वेंशन में कलाई कैमरा फ्रेम से विश्व फ्रेम में परिवर्तन।
चरण/अवलोकन/कलाई_कैमरा_एक्सट्रिंसिक_सीवी टेन्सर (4,4) फ्लोट32 ओपनसीवी कन्वेंशन में कलाई कैमरा एक्सट्रिंसिक मैट्रिक्स।
चरण/अवलोकन/कलाई_कैमरा_इंट्रिन्सिक_सीवी टेन्सर (3,3) फ्लोट32 ओपनसीवी सम्मेलन में कलाई कैमरा आंतरिक मैट्रिक्स।
चरण/अवलोकन/कलाई_गहराई छवि (256, 256, 1) uint16 कलाई कैमरा गहराई अवलोकन. मीटर में गहराई प्राप्त करने के लिए गहराई मान को 2**10 से विभाजित करें।
चरण/अवलोकन/कलाई_छवि छवि (256, 256, 3) uint8 कलाई कैमरा आरजीबी अवलोकन।
कदम/इनाम अदिश फ्लोट32 यदि प्रदान किया गया तो इनाम, डेमो के लिए अंतिम चरण पर 1।
  • उद्धरण :
@inproceedings{gu2023maniskill2,
  title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
  author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiang and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
  booktitle={International Conference on Learning Representations},
  year={2023}
}