maniskill_dataset_converted_externally_to_rlds

  • Описание :

Имитация Франки, выполняющей различные манипуляционные задачи.

Расколоть Примеры
'train' 30 213
  • Структура функции :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_id': Text(shape=(), dtype=string),
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'base_pose': Tensor(shape=(7,), dtype=float32),
            'depth': Image(shape=(256, 256, 1), dtype=uint16),
            'image': Image(shape=(256, 256, 3), dtype=uint8),
            'main_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
            'main_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
            'main_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
            'state': Tensor(shape=(18,), dtype=float32),
            'target_object_or_part_final_pose': Tensor(shape=(7,), dtype=float32),
            'target_object_or_part_final_pose_valid': Tensor(shape=(7,), dtype=uint8),
            'target_object_or_part_initial_pose': Tensor(shape=(7,), dtype=float32),
            'target_object_or_part_initial_pose_valid': Tensor(shape=(7,), dtype=uint8),
            'tcp_pose': Tensor(shape=(7,), dtype=float32),
            'wrist_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
            'wrist_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
            'wrist_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
            'wrist_depth': Image(shape=(256, 256, 1), dtype=uint16),
            'wrist_image': Image(shape=(256, 256, 3), dtype=uint8),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Функциональная документация :
Особенность Сорт Форма Дтип Описание
ВозможностиDict
эпизод_метаданные ВозможностиDict
Episode_metadata/episode_id Текст нить Идентификатор эпизода.
метаданные_эпизода/путь_к файлу Текст нить Путь к исходному файлу данных.
шаги Набор данных
шаги/действия Тензор (7,) поплавок32 Действие робота состоит из [3x целевого положения дельты концевого эффектора, 3x целевой ориентации дельты концевого эффектора в формате «ось-угол», 1x целевого положения захвата (имитация для двух пальцев)]. Для дельта-целевого положения действие -1 соответствует движению робота -0,1 м, а действие 1 соответствует движению 0,1 м. Для дельта-ориентации цели его закодированный угол отображается в диапазоне [-0,1рад, 0,1рад] для выполнения робота. Например, действие [1, 0, 0] означает вращение вдоль оси x на 0,1 рад. Для целевого положения захвата действие -1 означает закрытие, а действие 1 означает открытие.
шаги/скидка Скаляр поплавок32 Скидка, если она предусмотрена, по умолчанию равна 1.
шаги/is_first Тензор логическое значение
шаги/is_last Тензор логическое значение
шаги/is_terminal Тензор логическое значение
шаги/language_embedding Тензор (512,) поплавок32 Встраивание языка Kona. См. https://tfhub.dev/google/universal-sentence-encoder-large/5 .
шаги/language_instruction Текст нить Языковое обучение.
шаги/наблюдение ВозможностиDict
шаги/наблюдение/base_pose Тензор (7,) поплавок32 Базовая поза робота в мировой системе координат состоит из [x, y, z, qw, qx, qy, qz]. Первые три измерения представляют позиции xyz в метрах. Последние четыре измерения представляют собой кватернионное представление вращения.
шаги/наблюдение/глубина Изображение (256, 256, 1) uint16 Основная камера Наблюдение за глубиной. Разделите значение глубины на 2**10, чтобы получить глубину в метрах.
шаги/наблюдение/изображение Изображение (256, 256, 3) uint8 Основная камера наблюдения RGB.
шаги/наблюдение/main_camera_cam2world_gl Тензор (4, 4) поплавок32 Преобразование кадра основной камеры в кадр мира в соглашении OpenGL/Blender.
шаги/наблюдение/main_camera_extrinsic_cv Тензор (4, 4) поплавок32 Внешняя матрица основной камеры в соглашении OpenCV.
шаги/наблюдение/main_camera_intrinsic_cv Тензор (3, 3) поплавок32 Внутренняя матрица основной камеры в соглашении OpenCV.
шаги/наблюдение/состояние Тензор (18,) поплавок32 Состояние робота состоит из [7 углов шарниров робота, 2 положений захвата, 7 угловых скоростей шарниров робота, 2 скоростей захвата]. Угол в радианах, положение в метрах.
шаги/наблюдение/target_object_or_part_final_pose Тензор (7,) поплавок32 Конечная поза, в направлении которой необходимо манипулировать целевым объектом или частью объекта, состоит из [x, y, z, qw, qx, qy, qz]. Поза представлена ​​в мировой рамке. Эпизод считается успешным, если целевой объект или часть объекта манипулируют этой позой.
шаги/наблюдение/target_object_or_part_final_pose_valid Тензор (7,) uint8 Допустимо ли каждое измерение target_object_or_part_final_pose в среде. 1 = действительный; 0 = недопустимо (в этом случае следует игнорировать соответствующие размеры в target_object_or_part_final_pose). «Недействительно» означает, что проверка окончательного положения целевого объекта или части объекта в соответствующих размерах не прошла успешно.
шаги/наблюдение/target_object_or_part_initial_pose Тензор (7,) поплавок32 Начальная поза целевого объекта или части объекта, которой нужно манипулировать, состоит из [x, y, z, qw, qx, qy, qz]. Поза представлена ​​в мировой рамке. Эта переменная используется для указания целевого объекта или части объекта, когда в среде присутствует несколько объектов или частей объекта.
шаги/наблюдение/target_object_or_part_initial_pose_valid Тензор (7,) uint8 Допустимо ли каждое измерение target_object_or_part_initial_pose в среде. 1 = действительный; 0 = недействительно (в этом случае следует игнорировать соответствующие размеры в target_object_or_part_initial_pose).
шаги/наблюдение/tcp_pose Тензор (7,) поплавок32 Поза центральной точки инструмента робота в мировой системе координат состоит из [x, y, z, qw, qx, qy, qz]. Центр инструмента — это центр между двумя пальцами захвата.
шаги/наблюдение/wrist_camera_cam2world_gl Тензор (4, 4) поплавок32 Преобразование кадра наручной камеры в кадр мира в соглашении OpenGL/Blender.
шаги/наблюдение/wrist_camera_extrinsic_cv Тензор (4, 4) поплавок32 Внешняя матрица наручной камеры в соглашении OpenCV.
шаги/наблюдение/wrist_camera_intrinsic_cv Тензор (3, 3) поплавок32 Внутренняя матрица наручной камеры в соглашении OpenCV.
шаги/наблюдение/wrist_глубина Изображение (256, 256, 1) uint16 Наручная камера. Наблюдение за глубиной. Разделите значение глубины на 2**10, чтобы получить глубину в метрах.
шаги/наблюдение/wrist_image Изображение (256, 256, 3) uint8 Наручная камера наблюдения RGB.
шаги/награда Скаляр поплавок32 Награда, если предусмотрена, 1 на последнем этапе демо-версии.
@inproceedings{gu2023maniskill2,
  title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
  author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiang and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
  booktitle={International Conference on Learning Representations},
  year={2023}
}