โรโบมิมิก_มก

• คำอธิบาย :

ชุดข้อมูลที่สร้างโดยเครื่องจักร Robomimic ได้รับการรวบรวมโดยใช้ตัวแทน Soft Actor Critic ที่ได้รับการฝึกฝนพร้อมรางวัลมากมาย แต่ละชุดข้อมูลประกอบด้วยบัฟเฟอร์การเล่นซ้ำของเอเจนต์

แต่ละงานมีสองเวอร์ชัน: หนึ่งเวอร์ชันที่มีการสังเกตมิติต่ำ ( low_dim ) และอีกหนึ่งเวอร์ชันที่มีรูปภาพ ( image )

ชุดข้อมูลเป็นไปตาม รูปแบบ RLDS เพื่อแสดงขั้นตอนและตอน

• หน้าแรก : https://arise-initiative.github.io/robomimic-web/

• ซอร์สโค้ด : tfds.datasets.robomimic_mg.Builder

• รุ่น :

  • 1.0.0 (ค่าเริ่มต้น): การเปิดตัวครั้งแรก

• คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

• รูปภาพ ( tfds.show_examples ): ไม่รองรับ

• ตัวอย่าง ( tfds.as_dataframe ): หายไป

• การอ้างอิง :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (การกำหนดค่าเริ่มต้น)

• ขนาดการดาวน์โหลด : 18.04 GiB

• ขนาดชุดข้อมูล : 2.73 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

แยก	ตัวอย่าง
'train'	1,500

• โครงสร้างคุณสมบัติ :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

• เอกสารคุณสมบัติ :

คุณสมบัติ	ระดับ	รูปร่าง	ประเภทD	คำอธิบาย
	คุณสมบัติDict
ตอนที่_id	เทนเซอร์		เชือก
ขอบฟ้า	เทนเซอร์		int32
ขั้นตอน	ชุดข้อมูล
ขั้นตอน/การดำเนินการ	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/ส่วนลด	เทนเซอร์		int32
ขั้นตอน/is_first	เทนเซอร์		บูล
ขั้นตอน/is_last	เทนเซอร์		บูล
ขั้นตอน/is_terminal	เทนเซอร์		บูล
ขั้นตอน/การสังเกต	คุณสมบัติDict
ขั้นตอน/การสังเกต/agentview_image	ภาพ	(84, 84, 3)	uint8
ขั้นตอน/การสังเกต/วัตถุ	เทนเซอร์	(10,)	ลอย64
ขั้นตอน/การสังเกต/robot0_eef_pos	เทนเซอร์	(3,)	ลอย64	ตำแหน่งเอนด์เอฟเฟ็กเตอร์
ขั้นตอน/การสังเกต/robot0_eef_quat	เทนเซอร์	(4,)	ลอย64	การวางแนวเอนด์เอฟเฟกต์
ขั้นตอน/การสังเกต/robot0_eef_vel_ang	เทนเซอร์	(3,)	ลอย64	ความเร็วเชิงมุมของเอฟเฟกต์ปลาย
ขั้นตอน/การสังเกต/robot0_eef_vel_lin	เทนเซอร์	(3,)	ลอย64	ความเร็วคาร์ทีเซียนเอฟเฟกต์ปลาย
ขั้นตอน/การสังเกต/robot0_eye_in_hand_image	ภาพ	(84, 84, 3)	uint8
ขั้นตอน/การสังเกต/robot0_gripper_qpos	เทนเซอร์	(2,)	ลอย64	ตำแหน่งกริปเปอร์
ขั้นตอน/การสังเกต/robot0_gripper_qvel	เทนเซอร์	(2,)	ลอย64	ความเร็วของกริปเปอร์
ขั้นตอน/การสังเกต/robot0_joint_pos	เทนเซอร์	(7,)	ลอย64	7DOF ตำแหน่งร่วม
ขั้นตอน/การสังเกต/robot0_joint_pos_cos	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/การสังเกต/robot0_joint_pos_sin	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/การสังเกต/robot0_joint_vel	เทนเซอร์	(7,)	ลอย64	ความเร็วข้อต่อ 7DOF
ขั้นตอน/รางวัล	เทนเซอร์		ลอย64
ขั้นตอน/สถานะ	เทนเซอร์	(32,)	ลอย64

robomimic_mg/lift_mg_low_dim

• ขนาดการดาวน์โหลด : 302.25 MiB

• ขนาดชุดข้อมูล : 195.10 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): เฉพาะเมื่อ shuffle_files=False (train)

• แยก :

แยก	ตัวอย่าง
'train'	1,500

• โครงสร้างคุณสมบัติ :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

• เอกสารคุณสมบัติ :

คุณสมบัติ	ระดับ	รูปร่าง	ประเภทD	คำอธิบาย
	คุณสมบัติDict
ตอนที่_id	เทนเซอร์		เชือก
ขอบฟ้า	เทนเซอร์		int32
ขั้นตอน	ชุดข้อมูล
ขั้นตอน/การดำเนินการ	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/ส่วนลด	เทนเซอร์		int32
ขั้นตอน/is_first	เทนเซอร์		บูล
ขั้นตอน/is_last	เทนเซอร์		บูล
ขั้นตอน/is_terminal	เทนเซอร์		บูล
ขั้นตอน/การสังเกต	คุณสมบัติDict
ขั้นตอน/การสังเกต/วัตถุ	เทนเซอร์	(10,)	ลอย64
ขั้นตอน/การสังเกต/robot0_eef_pos	เทนเซอร์	(3,)	ลอย64	ตำแหน่งเอนด์เอฟเฟ็กเตอร์
ขั้นตอน/การสังเกต/robot0_eef_quat	เทนเซอร์	(4,)	ลอย64	การวางแนวเอนด์เอฟเฟกต์
ขั้นตอน/การสังเกต/robot0_eef_vel_ang	เทนเซอร์	(3,)	ลอย64	ความเร็วเชิงมุมของเอฟเฟกต์ปลาย
ขั้นตอน/การสังเกต/robot0_eef_vel_lin	เทนเซอร์	(3,)	ลอย64	ความเร็วคาร์ทีเซียนเอฟเฟกต์ปลาย
ขั้นตอน/การสังเกต/robot0_gripper_qpos	เทนเซอร์	(2,)	ลอย64	ตำแหน่งกริปเปอร์
ขั้นตอน/การสังเกต/robot0_gripper_qvel	เทนเซอร์	(2,)	ลอย64	ความเร็วของกริปเปอร์
ขั้นตอน/การสังเกต/robot0_joint_pos	เทนเซอร์	(7,)	ลอย64	7DOF ตำแหน่งร่วม
ขั้นตอน/การสังเกต/robot0_joint_pos_cos	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/การสังเกต/robot0_joint_pos_sin	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/การสังเกต/robot0_joint_vel	เทนเซอร์	(7,)	ลอย64	ความเร็วข้อต่อ 7DOF
ขั้นตอน/รางวัล	เทนเซอร์		ลอย64
ขั้นตอน/สถานะ	เทนเซอร์	(32,)	ลอย64

robomimic_mg/can_mg_image

• ขนาดการดาวน์โหลด : 47.14 GiB

• ขนาดชุดข้อมูล : 11.15 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

แยก	ตัวอย่าง
'train'	3,900

• โครงสร้างคุณสมบัติ :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

• เอกสารคุณสมบัติ :

คุณสมบัติ	ระดับ	รูปร่าง	ประเภทD	คำอธิบาย
	คุณสมบัติDict
ตอนที่_id	เทนเซอร์		เชือก
ขอบฟ้า	เทนเซอร์		int32
ขั้นตอน	ชุดข้อมูล
ขั้นตอน/การดำเนินการ	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/ส่วนลด	เทนเซอร์		int32
ขั้นตอน/is_first	เทนเซอร์		บูล
ขั้นตอน/is_last	เทนเซอร์		บูล
ขั้นตอน/is_terminal	เทนเซอร์		บูล
ขั้นตอน/การสังเกต	คุณสมบัติDict
ขั้นตอน/การสังเกต/agentview_image	ภาพ	(84, 84, 3)	uint8
ขั้นตอน/การสังเกต/วัตถุ	เทนเซอร์	(14,)	ลอย64
ขั้นตอน/การสังเกต/robot0_eef_pos	เทนเซอร์	(3,)	ลอย64	ตำแหน่งเอนด์เอฟเฟ็กเตอร์
ขั้นตอน/การสังเกต/robot0_eef_quat	เทนเซอร์	(4,)	ลอย64	การวางแนวเอนด์เอฟเฟกต์
ขั้นตอน/การสังเกต/robot0_eef_vel_ang	เทนเซอร์	(3,)	ลอย64	ความเร็วเชิงมุมของเอฟเฟกต์ปลาย
ขั้นตอน/การสังเกต/robot0_eef_vel_lin	เทนเซอร์	(3,)	ลอย64	ความเร็วคาร์ทีเซียนเอฟเฟกต์ปลาย
ขั้นตอน/การสังเกต/robot0_eye_in_hand_image	ภาพ	(84, 84, 3)	uint8
ขั้นตอน/การสังเกต/robot0_gripper_qpos	เทนเซอร์	(2,)	ลอย64	ตำแหน่งกริปเปอร์
ขั้นตอน/การสังเกต/robot0_gripper_qvel	เทนเซอร์	(2,)	ลอย64	ความเร็วของกริปเปอร์
ขั้นตอน/การสังเกต/robot0_joint_pos	เทนเซอร์	(7,)	ลอย64	7DOF ตำแหน่งร่วม
ขั้นตอน/การสังเกต/robot0_joint_pos_cos	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/การสังเกต/robot0_joint_pos_sin	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/การสังเกต/robot0_joint_vel	เทนเซอร์	(7,)	ลอย64	ความเร็วข้อต่อ 7DOF
ขั้นตอน/รางวัล	เทนเซอร์		ลอย64
ขั้นตอน/สถานะ	เทนเซอร์	(71,)	ลอย64

robomimic_mg/can_mg_low_dim

• ขนาดการดาวน์โหลด : 1.01 GiB

• ขนาดชุดข้อมูล : 697.71 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

แยก	ตัวอย่าง
'train'	3,900

• โครงสร้างคุณสมบัติ :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

• เอกสารคุณสมบัติ :

คุณสมบัติ	ระดับ	รูปร่าง	ประเภทD	คำอธิบาย
	คุณสมบัติDict
ตอนที่_id	เทนเซอร์		เชือก
ขอบฟ้า	เทนเซอร์		int32
ขั้นตอน	ชุดข้อมูล
ขั้นตอน/การดำเนินการ	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/ส่วนลด	เทนเซอร์		int32
ขั้นตอน/is_first	เทนเซอร์		บูล
ขั้นตอน/is_last	เทนเซอร์		บูล
ขั้นตอน/is_terminal	เทนเซอร์		บูล
ขั้นตอน/การสังเกต	คุณสมบัติDict
ขั้นตอน/การสังเกต/วัตถุ	เทนเซอร์	(14,)	ลอย64
ขั้นตอน/การสังเกต/robot0_eef_pos	เทนเซอร์	(3,)	ลอย64	ตำแหน่งเอนด์เอฟเฟ็กเตอร์
ขั้นตอน/การสังเกต/robot0_eef_quat	เทนเซอร์	(4,)	ลอย64	การวางแนวเอนด์เอฟเฟกต์
ขั้นตอน/การสังเกต/robot0_eef_vel_ang	เทนเซอร์	(3,)	ลอย64	ความเร็วเชิงมุมของเอฟเฟกต์ปลาย
ขั้นตอน/การสังเกต/robot0_eef_vel_lin	เทนเซอร์	(3,)	ลอย64	ความเร็วคาร์ทีเซียนเอฟเฟกต์ปลาย
ขั้นตอน/การสังเกต/robot0_gripper_qpos	เทนเซอร์	(2,)	ลอย64	ตำแหน่งกริปเปอร์
ขั้นตอน/การสังเกต/robot0_gripper_qvel	เทนเซอร์	(2,)	ลอย64	ความเร็วของกริปเปอร์
ขั้นตอน/การสังเกต/robot0_joint_pos	เทนเซอร์	(7,)	ลอย64	7DOF ตำแหน่งร่วม
ขั้นตอน/การสังเกต/robot0_joint_pos_cos	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/การสังเกต/robot0_joint_pos_sin	เทนเซอร์	(7,)	ลอย64
ขั้นตอน/การสังเกต/robot0_joint_vel	เทนเซอร์	(7,)	ลอย64	ความเร็วข้อต่อ 7DOF
ขั้นตอน/รางวัล	เทนเซอร์		ลอย64
ขั้นตอน/สถานะ	เทนเซอร์	(71,)	ลอย64