robomic_mg

Sự miêu tả :

Các bộ dữ liệu do máy Robomimic tạo ra được thu thập bằng cách sử dụng tác nhân phê bình diễn viên mềm được đào tạo với phần thưởng dày đặc. Mỗi tập dữ liệu bao gồm bộ đệm phát lại của tác nhân.

Mỗi tác vụ có hai phiên bản: một phiên bản có quan sát chiều thấp ( low_dim ) và một phiên bản có hình ảnh ( image ).

Các bộ dữ liệu tuân theo định dạng RLDS để thể hiện các bước và các tập.

Trang chủ : https://arise-initiative.github.io/robomimic-web/
Mã nguồn : tfds.datasets.robomimic_mg.Builder
Phiên bản :
- 1.0.0 (mặc định): Bản phát hành đầu tiên.
Khóa được giám sát (Xem as_supervised doc ): None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Trích dẫn :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (cấu hình mặc định)

Kích thước tải xuống : 18.04 GiB
Kích thước tập dữ liệu : 2.73 GiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không
Chia tách :

Tách ra	Ví dụ
`'train'`	1.500

Cấu trúc tính năng :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Tài liệu tính năng :

Tính năng	Lớp học	Hình dạng	loại D	Sự miêu tả
	Tính năngDict
tập_id	Tenxơ		sợi dây
chân trời	Tenxơ		int32
bước	Tập dữ liệu
bước/hành động	Tenxơ	(7,)	phao64
bước/giảm giá	Tenxơ		int32
bước/là_đầu tiên	Tenxơ		bool
bước/is_last	Tenxơ		bool
bước/is_terminal	Tenxơ		bool
bước/quan sát	Tính năngDict
bước/quan sát/agentview_image	Hình ảnh	(84, 84, 3)	uint8
bước/quan sát/đối tượng	Tenxơ	(10,)	phao64
bước/quan sát/robot0_eef_pos	Tenxơ	(3,)	phao64	Vị trí tác nhân cuối cùng
bước/quan sát/robot0_eef_quat	Tenxơ	(4,)	phao64	Định hướng của người tác động cuối
bước/quan sát/robot0_eef_vel_ang	Tenxơ	(3,)	phao64	Vận tốc góc tác động cuối
bước/quan sát/robot0_eef_vel_lin	Tenxơ	(3,)	phao64	Vận tốc Descartes của tác nhân cuối
bước/quan sát/robot0_eye_in_hand_image	Hình ảnh	(84, 84, 3)	uint8
bước/quan sát/robot0_gripper_qpos	Tenxơ	(2,)	phao64	Vị trí kẹp
bước/quan sát/robot0_gripper_qvel	Tenxơ	(2,)	phao64	Vận tốc kẹp
bước/quan sát/robot0_joint_pos	Tenxơ	(7,)	phao64	Vị trí khớp 7DOF
bước/quan sát/robot0_joint_pos_cos	Tenxơ	(7,)	phao64
bước/quan sát/robot0_joint_pos_sin	Tenxơ	(7,)	phao64
bước/quan sát/robot0_joint_vel	Tenxơ	(7,)	phao64	Vận tốc khớp 7DOF
bước/phần thưởng	Tenxơ		phao64
bước/trạng thái	Tenxơ	(32,)	phao64

Ví dụ ( tfds.as_dataframe ):

robomimic_mg/lift_mg_low_dim

Kích thước tải xuống : 302.25 MiB
Kích thước tập dữ liệu : 195.10 MiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Chỉ khi shuffle_files=False (train)
Chia tách :

Tách ra	Ví dụ
`'train'`	1.500

Cấu trúc tính năng :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Tài liệu tính năng :

Tính năng	Lớp học	Hình dạng	loại D	Sự miêu tả
	Tính năngDict
tập_id	Tenxơ		sợi dây
chân trời	Tenxơ		int32
bước	Tập dữ liệu
bước/hành động	Tenxơ	(7,)	phao64
bước/giảm giá	Tenxơ		int32
bước/là_đầu tiên	Tenxơ		bool
bước/is_last	Tenxơ		bool
bước/is_terminal	Tenxơ		bool
bước/quan sát	Tính năngDict
bước/quan sát/đối tượng	Tenxơ	(10,)	phao64
bước/quan sát/robot0_eef_pos	Tenxơ	(3,)	phao64	Vị trí tác nhân cuối cùng
bước/quan sát/robot0_eef_quat	Tenxơ	(4,)	phao64	Định hướng của người tác động cuối
bước/quan sát/robot0_eef_vel_ang	Tenxơ	(3,)	phao64	Vận tốc góc tác động cuối
bước/quan sát/robot0_eef_vel_lin	Tenxơ	(3,)	phao64	Vận tốc Descartes của tác nhân cuối
bước/quan sát/robot0_gripper_qpos	Tenxơ	(2,)	phao64	Vị trí kẹp
bước/quan sát/robot0_gripper_qvel	Tenxơ	(2,)	phao64	Vận tốc kẹp
bước/quan sát/robot0_joint_pos	Tenxơ	(7,)	phao64	Vị trí khớp 7DOF
bước/quan sát/robot0_joint_pos_cos	Tenxơ	(7,)	phao64
bước/quan sát/robot0_joint_pos_sin	Tenxơ	(7,)	phao64
bước/quan sát/robot0_joint_vel	Tenxơ	(7,)	phao64	Vận tốc khớp 7DOF
bước/phần thưởng	Tenxơ		phao64
bước/trạng thái	Tenxơ	(32,)	phao64

Ví dụ ( tfds.as_dataframe ):

robomimic_mg/can_mg_image

Kích thước tải xuống : 47.14 GiB
Kích thước tập dữ liệu : 11.15 GiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không
Chia tách :

Tách ra	Ví dụ
`'train'`	3.900

Cấu trúc tính năng :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Tài liệu tính năng :

Tính năng	Lớp học	Hình dạng	loại D	Sự miêu tả
	Tính năngDict
tập_id	Tenxơ		sợi dây
chân trời	Tenxơ		int32
bước	Tập dữ liệu
bước/hành động	Tenxơ	(7,)	phao64
bước/giảm giá	Tenxơ		int32
bước/là_đầu tiên	Tenxơ		bool
bước/is_last	Tenxơ		bool
bước/is_terminal	Tenxơ		bool
bước/quan sát	Tính năngDict
bước/quan sát/agentview_image	Hình ảnh	(84, 84, 3)	uint8
bước/quan sát/đối tượng	Tenxơ	(14,)	phao64
bước/quan sát/robot0_eef_pos	Tenxơ	(3,)	phao64	Vị trí tác nhân cuối cùng
bước/quan sát/robot0_eef_quat	Tenxơ	(4,)	phao64	Định hướng của người tác động cuối
bước/quan sát/robot0_eef_vel_ang	Tenxơ	(3,)	phao64	Vận tốc góc tác động cuối
bước/quan sát/robot0_eef_vel_lin	Tenxơ	(3,)	phao64	Vận tốc Descartes của tác nhân cuối
bước/quan sát/robot0_eye_in_hand_image	Hình ảnh	(84, 84, 3)	uint8
bước/quan sát/robot0_gripper_qpos	Tenxơ	(2,)	phao64	Vị trí kẹp
bước/quan sát/robot0_gripper_qvel	Tenxơ	(2,)	phao64	Vận tốc kẹp
bước/quan sát/robot0_joint_pos	Tenxơ	(7,)	phao64	Vị trí khớp 7DOF
bước/quan sát/robot0_joint_pos_cos	Tenxơ	(7,)	phao64
bước/quan sát/robot0_joint_pos_sin	Tenxơ	(7,)	phao64
bước/quan sát/robot0_joint_vel	Tenxơ	(7,)	phao64	Vận tốc khớp 7DOF
bước/phần thưởng	Tenxơ		phao64
bước/trạng thái	Tenxơ	(71,)	phao64

Ví dụ ( tfds.as_dataframe ):

robomimic_mg/can_mg_low_dim

Kích thước tải xuống : 1.01 GiB
Kích thước tập dữ liệu : 697.71 MiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không
Chia tách :

Tách ra	Ví dụ
`'train'`	3.900

Cấu trúc tính năng :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Tài liệu tính năng :

Tính năng	Lớp học	Hình dạng	loại D	Sự miêu tả
	Tính năngDict
tập_id	Tenxơ		sợi dây
chân trời	Tenxơ		int32
bước	Tập dữ liệu
bước/hành động	Tenxơ	(7,)	phao64
bước/giảm giá	Tenxơ		int32
bước/là_đầu tiên	Tenxơ		bool
bước/is_last	Tenxơ		bool
bước/is_terminal	Tenxơ		bool
bước/quan sát	Tính năngDict
bước/quan sát/đối tượng	Tenxơ	(14,)	phao64
bước/quan sát/robot0_eef_pos	Tenxơ	(3,)	phao64	Vị trí tác nhân cuối cùng
bước/quan sát/robot0_eef_quat	Tenxơ	(4,)	phao64	Định hướng của người tác động cuối
bước/quan sát/robot0_eef_vel_ang	Tenxơ	(3,)	phao64	Vận tốc góc tác động cuối
bước/quan sát/robot0_eef_vel_lin	Tenxơ	(3,)	phao64	Vận tốc Descartes của tác nhân cuối
bước/quan sát/robot0_gripper_qpos	Tenxơ	(2,)	phao64	Vị trí kẹp
bước/quan sát/robot0_gripper_qvel	Tenxơ	(2,)	phao64	Vận tốc kẹp
bước/quan sát/robot0_joint_pos	Tenxơ	(7,)	phao64	Vị trí khớp 7DOF
bước/quan sát/robot0_joint_pos_cos	Tenxơ	(7,)	phao64
bước/quan sát/robot0_joint_pos_sin	Tenxơ	(7,)	phao64
bước/quan sát/robot0_joint_vel	Tenxơ	(7,)	phao64	Vận tốc khớp 7DOF
bước/phần thưởng	Tenxơ		phao64
bước/trạng thái	Tenxơ	(71,)	phao64

Ví dụ ( tfds.as_dataframe ):