taco_play

  • বর্ণনা :

ফ্রাঙ্কা হাত রান্নাঘরের সাথে যোগাযোগ করছে

বিভক্ত উদাহরণ
'test' 361
'train' 3,242
  • বৈশিষ্ট্য গঠন : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য ক্লাস আকৃতি ডিটাইপ বর্ণনা
ফিচারসডিক্ট
পদক্ষেপ ডেটাসেট
পদক্ষেপ/ক্রিয়া ফিচারসডিক্ট
পদক্ষেপ/ক্রিয়া/ক্রিয়া টেনসর (৭,) float32 গ্রিপার পোজের জন্য পরম পছন্দসই মান (প্রথম 6 মাত্রা হল x, y, z, ইয়াও, পিচ, রোল), শেষ মাত্রা হল open_gripper (-1 হল ওপেন গ্রিপার, 1 হল কাছাকাছি)
steps/action/rel_actions_gripper টেনসর (৭,) float32 গ্রিপার ক্যামেরা ফ্রেমে গ্রিপার পোজের জন্য আপেক্ষিক ক্রিয়া (প্রথম 6 মাত্রা হল x, y, z, yaw, pitch, roll), শেষ মাত্রা হল open_gripper (-1 হল ওপেন গ্রিপার, 1 হল কাছাকাছি)
steps/action/rel_actions_world টেনসর (৭,) float32 রোবট বেস ফ্রেমে গ্রিপার পোজের জন্য আপেক্ষিক ক্রিয়া (প্রথম 6 মাত্রা হল x, y, z, yaw, pitch, roll), শেষ মাত্রা হল open_gripper (-1 হল open gripper, 1 is close)
steps/action/terminate_episode টেনসর float32
steps/is_first টেনসর bool
ধাপ/শেষ_শেষ টেনসর bool
steps/is_terminal টেনসর bool
পদক্ষেপ/পর্যবেক্ষণ ফিচারসডিক্ট
পদক্ষেপ/পর্যবেক্ষণ/গভীর_গ্রিপার টেনসর (৮৪, ৮৪) float32
পদক্ষেপ/পর্যবেক্ষণ/গভীর_স্ট্যাটিক টেনসর (150, 200) float32
পদক্ষেপ/পর্যবেক্ষণ/প্রাকৃতিক_ভাষা_এম্বেডিং টেনসর (512,) float32
পদক্ষেপ/পর্যবেক্ষণ/প্রাকৃতিক_ভাষা_নির্দেশ টেনসর স্ট্রিং ন্যাচারাল ল্যাঙ্গুয়েজ ইন্সট্রাকশন হল স্ট্রাকচার্ড ল্যাঙ্গুয়েজ টাস্ক থেকে প্রাপ্ত সম্ভাব্য টাস্ক প্রতিশব্দের উপর ভিত্তি করে এলোমেলোভাবে নমুনা করা একটি প্রাকৃতিক ভাষা নির্দেশ। উদাহরণ স্বরূপ, 'নীল আলো বন্ধ করুন' 'নীল রঙের আলো বন্ধ করতে' ম্যাপ করতে পারে।
পদক্ষেপ/পর্যবেক্ষণ/rgb_gripper ছবি (৮৪, ৮৪, ৩) uint8
পদক্ষেপ/পর্যবেক্ষণ/rgb_static ছবি (150, 200, 3) uint8 আকৃতির RGB স্থির চিত্র। (150, 200, 3)। (200,200, 3) চিত্র থেকে সাবস্যাম্পল।
পদক্ষেপ/পর্যবেক্ষণ/রোবট_ওবস টেনসর (15,) float32 ইই পজিশন (3), ইউলার অ্যাঙ্গেলে ইই ওরিয়েন্টেশন (3), গ্রিপার প্রস্থ (1), জয়েন্ট পজিশন (7), গ্রিপার অ্যাকশন (1)
পদক্ষেপ/পর্যবেক্ষণ/গঠিত_ভাষা_নির্দেশ টেনসর স্ট্রিং 25টি সম্ভাব্য কাঠামোবদ্ধ ভাষার নির্দেশাবলীর মধ্যে একটি, https://arxiv.org/pdf/2210.01911.pdf সারণি 2-এ তালিকা দেখুন।
পদক্ষেপ/পুরস্কার স্কেলার float32
  • উদ্ধৃতি : 
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}