- Описание :
Рука Франки взаимодействует с кухней
Домашняя страница : https://www.kaggle.com/datasets/oiermees/taco-robot
Исходный код :
tfds.robotics.rtx.TacoPlay
.Версии :
-
0.1.0
(по умолчанию): первоначальный выпуск.
-
Размер загрузки :
Unknown size
Размер набора данных :
47.77 GiB
Автокэширование ( документация ): Нет
Расколы :
Расколоть | Примеры |
---|---|
'test' | 361 |
'train' | 3242 |
- Структура функции :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32),
'rel_actions_world': Tensor(shape=(7,), dtype=float32),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8),
'robot_obs': Tensor(shape=(15,), dtype=float32),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
шаги | Набор данных | |||
шаги/действия | ВозможностиDict | |||
шаги/действия/действия | Тензор | (7,) | поплавок32 | абсолютные желаемые значения для положения захвата (первые 6 размеров — x, y, z, рыскание, наклон, крен), последнее измерение — open_gripper (-1 — захват открыт, 1 — закрыт) |
шаги/действие/rel_actions_gripper | Тензор | (7,) | поплавок32 | относительные действия для положения захвата в кадре камеры захвата (первые 6 измерений — x, y, z, рыскание, наклон, крен), последнее измерение — open_gripper (-1 — захват открыт, 1 — закрыт) |
шаги/действие/rel_actions_world | Тензор | (7,) | поплавок32 | относительные действия для положения захвата в базовой раме робота (первые 6 измерений — x, y, z, рыскание, наклон, крен), последнее измерение — open_gripper (-1 — захват открыт, 1 — закрыт) |
шаги/действие/terminate_episode | Тензор | поплавок32 | ||
шаги/is_first | Тензор | логическое значение | ||
шаги/is_last | Тензор | логическое значение | ||
шаги/is_terminal | Тензор | логическое значение | ||
шаги/наблюдение | ВозможностиDict | |||
шаги/наблюдение/глубина_гриппер | Тензор | (84, 84) | поплавок32 | |
шаги/наблюдение/глубина_статическая | Тензор | (150, 200) | поплавок32 | |
шаги/наблюдение/natural_language_embedding | Тензор | (512,) | поплавок32 | |
шаги/наблюдение/natural_language_instruction | Тензор | нить | Инструкция на естественном языке — это инструкция на естественном языке, выбранная случайным образом на основе потенциальных синонимов задачи, полученных из структурированной языковой задачи. Например, «выключить синий свет» может соответствовать «выключению синего света». | |
шаги/наблюдение/rgb_gripper | Изображение | (84, 84, 3) | uint8 | |
шаги/наблюдение/rgb_static | Изображение | (150, 200, 3) | uint8 | Статическое изображение формы в RGB. (150, 200, 3). Подвыборка из изображения (200,200, 3). |
шаги/наблюдение/robot_obs | Тензор | (15,) | поплавок32 | Положение ЭЭ (3), ориентация ЭЭ в углах Эйлера (3), ширина захвата (1), положения суставов (7), действие захвата (1) |
шаги/наблюдение/structured_language_instruction | Тензор | нить | Одна из 25 возможных инструкций структурированного языка, см. список в https://arxiv.org/pdf/2210.01911.pdf , таблица 2. | |
шаги/награда | Скаляр | поплавок32 |
Контролируемые ключи (см. документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Примеры ( tfds.as_dataframe ): Отсутствуют.
Цитата :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}