taco_play

  • Описание :

Рука Франки взаимодействует с кухней

Расколоть Примеры
'test' 361
'train' 3242
  • Структура функции : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Функциональная документация :
Особенность Сорт Форма Дтип Описание
ВозможностиDict
шаги Набор данных
шаги/действия ВозможностиDict
шаги/действия/действия Тензор (7,) float32 абсолютные желаемые значения для положения захвата (первые 6 измерений — x, y, z, рыскание, наклон, крен), последнее измерение — open_gripper (-1 — захват открыт, 1 — закрыт)
шаги/действие/rel_actions_gripper Тензор (7,) float32 относительные действия для положения захвата в кадре камеры захвата (первые 6 измерений — x, y, z, рыскание, наклон, крен), последнее измерение — open_gripper (-1 — захват открыт, 1 — закрыт)
шаги/действие/rel_actions_world Тензор (7,) float32 относительные действия для положения захвата в базовой раме робота (первые 6 измерений — x, y, z, рыскание, наклон, крен), последнее измерение — open_gripper (-1 — захват открыт, 1 — закрыт)
шаги/действие/terminate_episode Тензор float32
шаги/is_first Тензор логическое значение
шаги/is_last Тензор логическое значение
шаги/is_terminal Тензор логическое значение
шаги/наблюдение ВозможностиDict
шаги/наблюдение/глубина_гриппер Тензор (84, 84) float32
шаги/наблюдение/глубина_статическая Тензор (150, 200) float32
шаги/наблюдение/natural_language_embedding Тензор (512,) float32
шаги/наблюдение/natural_language_instruction Тензор нить Инструкция на естественном языке — это инструкция на естественном языке, выбранная случайным образом на основе потенциальных синонимов задачи, полученных из структурированной языковой задачи. Например, «выключить синий свет» может соответствовать «выключению синего света».
шаги/наблюдение/rgb_gripper Изображение (84, 84, 3) uint8
шаги/наблюдение/rgb_static Изображение (150, 200, 3) uint8 Статическое изображение формы RGB. (150, 200, 3). Подвыборка из изображения (200,200, 3).
шаги/наблюдение/robot_obs Тензор (15,) float32 Положение ЭЭ (3), ориентация ЭЭ в углах Эйлера (3), ширина захвата (1), положения суставов (7), действие захвата (1)
шаги/наблюдение/structured_language_instruction Тензор нить Одна из 25 возможных инструкций структурированного языка, см. список в https://arxiv.org/pdf/2210.01911.pdf, таблица 2.
шаги/награда Скаляр float32
  • Цитата : 
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}