taco_play

• विवरण :

फ़्रैंका बांह रसोई के साथ बातचीत कर रही है

• मुखपृष्ठ : https://www.kaggle.com/datasets/oiermees/taco-robot

• स्रोत कोड : tfds.robotics.rtx.TacoPlay

• संस्करण :

  • 0.1.0 (डिफ़ॉल्ट): प्रारंभिक रिलीज़।

• डाउनलोड आकार : Unknown size

• डेटासेट का आकार : 47.77 GiB

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं

• विभाजन :

विभाजित करना	उदाहरण
'test'	361
'train'	3,242

• फ़ीचर संरचना :

FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})

• फ़ीचर दस्तावेज़ीकरण :

विशेषता	कक्षा	आकार	डीप्रकार	विवरण
	फीचर्सडिक्ट
कदम	डेटासेट
कदम/कार्रवाई	फीचर्सडिक्ट
कदम/कार्रवाई/कार्रवाई	टेन्सर	(7,)	फ्लोट32	ग्रिपर मुद्रा के लिए पूर्ण वांछित मान (पहले 6 आयाम x, y, z, yaw, पिच, रोल हैं), अंतिम आयाम open_gripper है (-1 खुला ग्रिपर है, 1 बंद है)
चरण/कार्रवाई/rel_actions_gripper	टेन्सर	(7,)	फ्लोट32	ग्रिपर कैमरा फ़्रेम में ग्रिपर पोज़ के लिए सापेक्ष क्रियाएं (पहले 6 आयाम x, y, z, yaw, पिच, रोल हैं), अंतिम आयाम open_gripper है (-1 खुला ग्रिपर है, 1 बंद है)
चरण/कार्रवाई/rel_actions_world	टेन्सर	(7,)	फ्लोट32	रोबोट बेस फ्रेम में ग्रिपर पोज़ के लिए सापेक्ष क्रियाएं (पहले 6 आयाम x, y, z, yaw, पिच, रोल हैं), अंतिम आयाम open_gripper है (-1 खुला ग्रिपर है, 1 बंद है)
चरण/कार्रवाई/समाप्त_एपिसोड	टेन्सर		फ्लोट32
चरण/पहला है	टेन्सर		बूल
चरण/अंतिम है	टेन्सर		बूल
चरण/is_terminal	टेन्सर		बूल
चरण/अवलोकन	फीचर्सडिक्ट
चरण/अवलोकन/गहराई_ग्रिपर	टेन्सर	(84, 84)	फ्लोट32
चरण/अवलोकन/गहराई_स्थैतिक	टेन्सर	(150, 200)	फ्लोट32
चरण/अवलोकन/प्राकृतिक_भाषा_एम्बेडिंग	टेन्सर	(512,)	फ्लोट32
चरण/अवलोकन/प्राकृतिक_भाषा_निर्देश	टेन्सर		डोरी	प्राकृतिक भाषा निर्देश एक प्राकृतिक भाषा निर्देश है जिसे संरचित भाषा कार्य से प्राप्त संभावित कार्य पर्यायवाची शब्दों के आधार पर यादृच्छिक रूप से नमूना किया जाता है। उदाहरण के लिए, 'नीली लाइट बंद करें' को 'नीले रंग की लाइट बंद करने' के लिए मैप किया जा सकता है।
चरण/अवलोकन/rgb_gripper	छवि	(84, 84, 3)	uint8
चरण/अवलोकन/rgb_static	छवि	(150, 200, 3)	uint8	आकार की RGB स्थिर छवि. (150, 200, 3). (200,200, 3) छवि से उपनमूना लिया गया।
चरण/अवलोकन/robot_obs	टेन्सर	(15,)	फ्लोट32	ईई स्थिति (3), यूलर कोणों में ईई अभिविन्यास (3), ग्रिपर चौड़ाई (1), संयुक्त स्थिति (7), ग्रिपर क्रिया (1)
चरण/अवलोकन/संरचित_भाषा_निर्देश	टेन्सर		डोरी	25 संभावित संरचित भाषा निर्देशों में से एक, https://arxiv.org/pdf/2210.01911.pdf तालिका 2 में सूची देखें।
कदम/इनाम	अदिश		फ्लोट32

• पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

• चित्र ( tfds.show_examples ): समर्थित नहीं है।

• उदाहरण ( tfds.as_dataframe ):

• उद्धरण :

@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}