bc_z

  • Keterangan :

Robot Google teleoped kebanyakan melakukan pick-place dari meja

Membelah Contoh
'train' 39.350
'val' 3.914
  • Struktur fitur :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'future/axis_angle_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the rotation. Each action is a 3D delta to add to the current axis angle.),
            'future/target_close': Tensor(shape=(10,), dtype=int64, description=The next 10 actions for the gripper. Each action is the value the gripper closure should be changed to (notably it is *not* a delta.)),
            'future/xyz_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the positions. Each action is a 3D delta to add to current position.),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'episode_success': float32,
            'image': Image(shape=(171, 213, 3), dtype=uint8, description=Camera image of the robot, downsampled 3x),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32, description=An embedding of the task via Universal Sentence Encoder (https://tfhub.dev/google/universal-sentence-encoder/4)),
            'natural_language_instruction': string,
            'present/autonomous': int64,
            'present/axis_angle': Tensor(shape=(3,), dtype=float32, description=The current rotation of the end effector in axis-angle representation.),
            'present/intervention': int64,
            'present/sensed_close': Tensor(shape=(1,), dtype=float32, description=How much the gripper is currently closed. Scaled from 0 to 1, but not all values from 0 to 1 are reachable. The range in the data is about 0.2 to 1),
            'present/xyz': Tensor(shape=(3,), dtype=float32, description=The current position of the end effector in axis-angle representation, in robot frame),
            'sequence_length': int64,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Tipe D Keterangan
FiturDict
tangga Kumpulan data
langkah/tindakan FiturDict
langkah/tindakan/masa depan/axis_angle_residual Tensor (30,) float32 10 tindakan berikutnya untuk rotasi. Setiap tindakan adalah delta 3D yang ditambahkan ke sudut sumbu saat ini.
langkah/tindakan/masa depan/target_close Tensor (10,) int64 10 tindakan selanjutnya untuk gripper. Setiap tindakan adalah nilai penutupan gripper yang harus diubah (terutama ini bukan delta.)
langkah/tindakan/masa depan/xyz_residual Tensor (30,) float32 10 tindakan berikutnya untuk posisi tersebut. Setiap tindakan adalah delta 3D untuk ditambahkan ke posisi saat ini.
langkah/adalah_pertama Tensor bodoh
langkah/adalah_terakhir Tensor bodoh
langkah/is_terminal Tensor bodoh
langkah/pengamatan FiturDict
langkah/pengamatan/episode_success Tensor float32 Label sukses 0-1
langkah/pengamatan/gambar Gambar (171, 213, 3) uint8 Gambar kamera robot, di-downsampling sebanyak 3x
langkah/pengamatan/penyematan_bahasa_alami Tensor (512,) float32 Penyematan tugas melalui Universal Sentence Encoder ( https://tfhub.dev/google/universal-sentence-encoder/4 )
langkah/pengamatan/instruksi_bahasa_alami Tensor rangkaian Tugas yang diminta untuk dilakukan oleh robot.
langkah/pengamatan/sekarang/otonom Tensor int64 Episode dikumpulkan melalui DAgger. Ini adalah label 0/1 apakah tindakan tersebut dari kebijakan atau teleoperator. 1 = dari kebijakan.
langkah/pengamatan/presentasi/axis_angle Tensor (3,) float32 Rotasi efektor akhir saat ini dalam representasi sudut sumbu.
langkah/observasi/presentasi/intervensi Tensor int64 Episode dikumpulkan melalui DAgger. Ini adalah label 0/1 apakah tindakan tersebut dari kebijakan atau teleoperator. 1 = dari teleoperator. Ini kebalikan dari masa kini/otonom
langkah/pengamatan/menyajikan/merasakan_dekat Tensor (1,) float32 Berapa banyak gripper yang saat ini ditutup. Berskala dari 0 hingga 1, namun tidak semua nilai dari 0 hingga 1 dapat dijangkau. Kisaran datanya sekitar 0,2 hingga 1
langkah/pengamatan/presentasi/xyz Tensor (3,) float32 Posisi efektor akhir saat ini dalam representasi sudut sumbu, dalam bingkai robot
langkah/pengamatan/urutan_panjang Tensor int64 Durasi episode
langkah/hadiah Skalar float32
  • Kutipan :
@inproceedings{jang2021bc,
title={ {BC}-Z: Zero-Shot Task Generalization with Robotic Imitation Learning},
author={Eric Jang and Alex Irpan and Mohi Khansari and Daniel Kappler and Frederik Ebert and Corey Lynch and Sergey Levine and Chelsea Finn},
booktitle={5th Annual Conference on Robot Learning},
year={2021},
url={https://openreview.net/forum?id=8kbp23tSGYv} }