프랙탈20220817_data

  • 설명 :

17개 물체를 이용한 탁상 조작

나뉘다 예
'train' 87,212
  • 기능 구조 :
FeaturesDict({
    'aspects': FeaturesDict({
        'already_success': bool,
        'feasible': bool,
        'has_aspects': bool,
        'success': bool,
        'undesirable': bool,
    }),
    'attributes': FeaturesDict({
        'collection_mode': int64,
        'collection_mode_name': string,
        'data_type': int64,
        'data_type_name': string,
        'env': int64,
        'env_name': string,
        'location': int64,
        'location_name': string,
        'objects_family': int64,
        'objects_family_name': string,
        'task_family': int64,
        'task_family_name': string,
    }),
    'steps': Dataset({
        'action': FeaturesDict({
            'base_displacement_vector': Tensor(shape=(2,), dtype=float32),
            'base_displacement_vertical_rotation': Tensor(shape=(1,), dtype=float32),
            'gripper_closedness_action': Tensor(shape=(1,), dtype=float32, description=continuous gripper position),
            'rotation_delta': Tensor(shape=(3,), dtype=float32, description=rpy commanded orientation displacement, in base-relative frame),
            'terminate_episode': Tensor(shape=(3,), dtype=int32),
            'world_vector': Tensor(shape=(3,), dtype=float32, description=commanded end-effector displacement, in base-relative frame),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'base_pose_tool_reached': Tensor(shape=(7,), dtype=float32, description=end-effector base-relative position+quaternion pose),
            'gripper_closed': Tensor(shape=(1,), dtype=float32),
            'gripper_closedness_commanded': Tensor(shape=(1,), dtype=float32, description=continuous gripper position),
            'height_to_bottom': Tensor(shape=(1,), dtype=float32, description=height of end-effector from ground),
            'image': Image(shape=(256, 320, 3), dtype=uint8),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'orientation_box': Tensor(shape=(2, 3), dtype=float32),
            'orientation_start': Tensor(shape=(4,), dtype=float32),
            'robot_orientation_positions_box': Tensor(shape=(3, 3), dtype=float32),
            'rotation_delta_to_go': Tensor(shape=(3,), dtype=float32, description=rotational displacement from current orientation to target),
            'src_rotation': Tensor(shape=(4,), dtype=float32),
            'vector_to_go': Tensor(shape=(3,), dtype=float32, description=displacement from current end-effector position to target),
            'workspace_bounds': Tensor(shape=(3, 3), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
상들 특징Dict 크라우드컴퓨팅 평가를 위한 세션 측면
측면/already_success 텐서 부울
측면/타당성 텐서 부울
측면/has_aspects 텐서 부울
측면/성공 텐서 부울
측면/바람직하지 않은 텐서 부울
속성 특징Dict
속성/컬렉션_모드 텐서 정수64
속성/컬렉션_모드_이름 텐서 끈
속성/데이터 유형 텐서 정수64
속성/data_type_name 텐서 끈
속성/환경 텐서 정수64
속성/env_name 텐서 끈
속성/위치 텐서 정수64
속성/location_name 텐서 끈
속성/objects_family 텐서 정수64
속성/객체_가족_이름 텐서 끈
속성/task_family 텐서 정수64
속성/작업_가족_이름 텐서 끈
단계 데이터세트
단계/작업 특징Dict
단계/액션/base_displacement_Vector 텐서 (2,) float32
단계/액션/base_displacement_vertical_rotation 텐서 (1,) float32
단계/작업/gripper_closedness_action 텐서 (1,) float32 연속 그리퍼 위치
단계/작업/회전_델타 텐서 (3,) float32 기본 상대 프레임에서 rpy 명령 방향 변위
단계/작업/종료_에피소드 텐서 (3,) 정수32
단계/행동/세계_벡터 텐서 (3,) float32 베이스 기준 프레임에서 명령된 엔드 이펙터 변위
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/관찰 특징Dict
단계/관찰/base_pose_tool_reached 텐서 (7,) float32 엔드 이펙터 기본 상대 위치 + 쿼터니언 포즈
단계/관찰/gripper_closed 텐서 (1,) float32
단계/관찰/gripper_closedness_commanded 텐서 (1,) float32 연속 그리퍼 위치
단계/관찰/height_to_bottom 텐서 (1,) float32 지면에서 엔드 이펙터의 높이
단계/관찰/이미지 영상 (256, 320, 3) uint8
단계/관찰/natural_언어_임베딩 텐서 (512,) float32
단계/관찰/natural_lang_instruction 텐서 끈
단계/관찰/orientation_box 텐서 (2, 3) float32
단계/관찰/orientation_start 텐서 (4,) float32
단계/관찰/robot_orientation_positions_box 텐서 (3, 3) float32
단계/관찰/rotation_delta_to_go 텐서 (3,) float32 현재 방향에서 대상까지의 회전 변위
단계/관찰/src_rotation 텐서 (4,) float32
단계/관찰/벡터_to_go 텐서 (3,) float32 현재 엔드 이펙터 위치에서 목표까지의 변위
단계/관찰/workspace_bounds 텐서 (3, 3) float32
걸음 수/보상 스칼라 float32
  • 인용 :
@article{brohan2022rt,
  title={Rt-1: Robotics transformer for real-world control at scale},
  author={Brohan, Anthony and Brown, Noah and Carbajal, Justice and Chebotar, Yevgen and Dabis, Joseph and Finn, Chelsea and Gopalakrishnan, Keerthana and Hausman, Karol and Herzog, Alex and Hsu, Jasmine and others},
  journal={arXiv preprint arXiv:2212.06817},
  year={2022}
}