วิโอลา

  • คำอธิบาย :

หุ่นยนต์ Franka โต้ตอบกับงานในครัวที่มีสไตล์

  • หน้าแรก : https://ut-austin-rpl.github.io/VIOLA/

  • ซอร์สโค้ด : tfds.robotics.rtx.Viola

  • รุ่น :

    • 0.1.0 (ค่าเริ่มต้น): การเปิดตัวครั้งแรก

  • ขนาดการดาวน์โหลด : Unknown size

  • ขนาดชุดข้อมูล : 10.40 GiB

  • แคชอัตโนมัติ ( เอกสาร ): No

  • แยก :

แยก ตัวอย่าง
'test' 15
'train' 135
  • โครงสร้างคุณสมบัติ : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'gripper_closedness_action': float32,
            'rotation_delta': Tensor(shape=(3,), dtype=float32),
            'terminate_episode': float32,
            'world_vector': Tensor(shape=(3,), dtype=float32),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_rgb': Image(shape=(224, 224, 3), dtype=uint8, description=RGB captured by workspace camera),
            'ee_states': Tensor(shape=(16,), dtype=float32, description=Pose of the end effector specified as a homogenous matrix.),
            'eye_in_hand_rgb': Image(shape=(224, 224, 3), dtype=uint8, description=RGB captured by in hand camera),
            'gripper_states': Tensor(shape=(1,), dtype=float32, description=gripper_states = 0 means the gripper is fully closed. The value represents the gripper width of Franka Panda Gripper.),
            'joint_states': Tensor(shape=(7,), dtype=float32, description=joint values),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • เอกสารคุณสมบัติ :
คุณสมบัติ ระดับ รูปร่าง ประเภทD คำอธิบาย
คุณสมบัติDict
ขั้นตอน ชุดข้อมูล
ขั้นตอน/การดำเนินการ คุณสมบัติDict
ขั้นตอน/การกระทำ/อุปกรณ์จับยึด_ปิดแน่น_การกระทำ เทนเซอร์ ลอย32
ขั้นตอน/การกระทำ/rotation_delta เทนเซอร์ (3,) ลอย32
ขั้นตอน/การกระทำ/terminate_episode เทนเซอร์ ลอย32
ขั้นตอน/การกระทำ/world_vector เทนเซอร์ (3,) ลอย32
ขั้นตอน/is_first เทนเซอร์ บูล
ขั้นตอน/is_last เทนเซอร์ บูล
ขั้นตอน/is_terminal เทนเซอร์ บูล
ขั้นตอน/การสังเกต คุณสมบัติDict
ขั้นตอน/การสังเกต/agentview_rgb ภาพ (224, 224, 3) uint8 RGB ที่บันทึกโดยกล้องพื้นที่ทำงาน
ขั้นตอน/การสังเกต/ee_states เทนเซอร์ (16,) ลอย32 ตำแหน่งของเอนด์เอฟเฟกต์ที่ระบุว่าเป็นเมทริกซ์เนื้อเดียวกัน
ขั้นตอน/การสังเกต/eye_in_hand_rgb ภาพ (224, 224, 3) uint8 RGB ที่ถ่ายด้วยกล้องในมือ
ขั้นตอน/การสังเกต/gripper_states เทนเซอร์ (1,) ลอย32 gripper_states = 0 หมายความว่ากริปเปอร์ปิดสนิท ค่านี้แสดงถึงความกว้างของมือจับของ Franka Panda Gripper
ขั้นตอน/การสังเกต/joint_states เทนเซอร์ (7,) ลอย32 ค่านิยมร่วม
ขั้นตอน/การสังเกต/natural_Language_embedding เทนเซอร์ (512,) ลอย32
ขั้นตอน/การสังเกต/natural_Language_instruction เทนเซอร์ เชือก
ขั้นตอน/รางวัล สเกลาร์ ลอย32
  • การอ้างอิง : 
@article{zhu2022viola,
  title={VIOLA: Imitation Learning for Vision-Based Manipulation with Object Proposal Priors},
  author={Zhu, Yifeng and Joshi, Abhishek and Stone, Peter and Zhu, Yuke},
  journal={6th Annual Conference on Robot Learning (CoRL)},
  year={2022}
}