taco_play

  • توضیحات :

بازوی فرانکا در تعامل با آشپزخانه

تقسیم کنید نمونه ها
'test' 361
'train' 3,242
  • ساختار ویژگی :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D توضیحات
FeaturesDict
مراحل مجموعه داده
مراحل/عمل FeaturesDict
مراحل / اقدام / اقدامات تانسور (7،) float32 مقادیر مطلق مورد نظر برای حالت گیره (6 بعد اول x، y، z، انحراف، گام، رول)، بعد آخر open_gripper (-1 گیره باز، 1 نزدیک است)
Steps/action/rel_actions_gripper تانسور (7،) float32 اقدامات نسبی برای ژست گرفتن در قاب دوربین گیره (6 بعد اول x، y، z، انحراف، پیچ، رول)، بعد آخر open_gripper (-1 گیره باز، 1 نزدیک است)
steps/action/rel_actions_world تانسور (7،) float32 اقدامات نسبی برای ژست گرفتن در قاب پایه ربات (6 بعد اول x، y، z، انحراف، گام، رول)، بعد آخر open_gripper (-1 گیره باز، 1 نزدیک است)
مراحل/عمل/پایان_اپیزود تانسور float32
Steps/is_first تانسور بوول
Steps/is_last تانسور بوول
Steps/is_terminal تانسور بوول
مراحل / مشاهده FeaturesDict
steps/observation/depth_gripper تانسور (84، 84) float32
مراحل/مشاهده/عمق_استاتیک تانسور (150، 200) float32
steps/observation/natural_language_embedding تانسور (512،) float32
مراحل/مشاهده/آموزش_زبان_طبیعی تانسور رشته آموزش زبان طبیعی یک آموزش زبان طبیعی است که به طور تصادفی بر اساس مترادف های وظیفه بالقوه مشتق شده از تکلیف زبان ساختاریافته نمونه برداری شده است. به عنوان مثال، «نور آبی را خاموش کنید» ممکن است به «خاموش کردن نور رنگ آبی» نشان داده شود.
steps/observation/rgb_gripper تصویر (84، 84، 3) uint8
steps/observation/rgb_static تصویر (150، 200، 3) uint8 تصویر ثابت RGB از شکل. (150، 200، 3). نمونه فرعی از (200,200, 3) تصویر.
steps/observation/robot_obs تانسور (15،) float32 موقعیت EE (3)، جهت گیری EE در زوایای اویلر (3)، عرض گیره (1)، موقعیت های مفصل (7)، عمل گریپر (1)
مراحل/مشاهده/ساختار_زبان_دستورالعمل تانسور رشته یکی از 25 دستورالعمل زبان ساخت یافته ممکن، لیست را در https://arxiv.org/pdf/2210.01911.pdf جدول 2 ببینید.
مراحل/پاداش اسکالر float32
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}