taco_play

  • 설명 :

주방과 상호작용하는 Franka 팔

나뉘다
'test' 361
'train' 3,242
  • 기능 구조 :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
단계 데이터 세트
단계/작업 특징Dict
단계/작업/작업 텐서 (7,) float32 그리퍼 포즈에 대해 원하는 절대 값(처음 6개 차원은 x, y, z, yaw, 피치, 롤), 마지막 차원은 open_gripper(-1은 열린 그리퍼, 1은 닫힘)
단계/액션/rel_actions_gripper 텐서 (7,) float32 그리퍼 카메라 프레임의 그리퍼 포즈에 대한 상대 동작(처음 6개 차원은 x, y, z, 요, 피치, 롤), 마지막 차원은 open_gripper(-1은 열린 그리퍼, 1은 닫힘)
단계/액션/rel_actions_world 텐서 (7,) float32 로봇 기본 프레임의 그리퍼 포즈에 대한 상대 동작(처음 6개 차원은 x, y, z, 요, 피치, 롤), 마지막 차원은 open_gripper(-1은 열린 그리퍼, 1은 닫힘)
단계/작업/종료_에피소드 텐서 float32
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/관찰 특징Dict
단계/관찰/깊이_그리퍼 텐서 (84, 84) float32
단계/관찰/깊이_정적 텐서 (150, 200) float32
단계/관찰/natural_언어_임베딩 텐서 (512,) float32
단계/관찰/natural_lang_instruction 텐서 자연어 수업은 구조화된 언어 과제에서 파생된 잠재적인 과제 동의어를 기반으로 무작위로 샘플링된 자연어 수업입니다. 예를 들어, '파란색 조명 끄기'는 '파란색 조명 끄기'로 매핑될 수 있습니다.
단계/관찰/rgb_gripper 영상 (84, 84, 3) uint8
단계/관찰/rgb_static 영상 (150, 200, 3) uint8 모양의 RGB 정적 이미지입니다. (150, 200, 3). (200,200, 3) 이미지에서 서브샘플링되었습니다.
단계/관찰/robot_obs 텐서 (15,) float32 EE 위치(3), 오일러 각도의 EE 방향(3), 그리퍼 폭(1), 조인트 위치(7), 그리퍼 동작(1)
단계/관찰/구조화된_언어_지시 텐서 25개의 가능한 구조화된 언어 명령어 중 하나입니다. https://arxiv.org/pdf/2210.01911.pdf 표 2의 목록을 참조하세요.
걸음수/보상 스칼라 float32
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}