bc_z

  • توضیحات :

ربات گوگل از راه دور که بیشتر از روی میز مکان را انتخاب می کند

تقسیم کنید نمونه ها
'train' 39,350
'val' 3914
  • ساختار ویژگی :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'future/axis_angle_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the rotation. Each action is a 3D delta to add to the current axis angle.),
            'future/target_close': Tensor(shape=(10,), dtype=int64, description=The next 10 actions for the gripper. Each action is the value the gripper closure should be changed to (notably it is *not* a delta.)),
            'future/xyz_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the positions. Each action is a 3D delta to add to current position.),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'episode_success': float32,
            'image': Image(shape=(171, 213, 3), dtype=uint8, description=Camera image of the robot, downsampled 3x),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32, description=An embedding of the task via Universal Sentence Encoder (https://tfhub.dev/google/universal-sentence-encoder/4)),
            'natural_language_instruction': string,
            'present/autonomous': int64,
            'present/axis_angle': Tensor(shape=(3,), dtype=float32, description=The current rotation of the end effector in axis-angle representation.),
            'present/intervention': int64,
            'present/sensed_close': Tensor(shape=(1,), dtype=float32, description=How much the gripper is currently closed. Scaled from 0 to 1, but not all values from 0 to 1 are reachable. The range in the data is about 0.2 to 1),
            'present/xyz': Tensor(shape=(3,), dtype=float32, description=The current position of the end effector in axis-angle representation, in robot frame),
            'sequence_length': int64,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D توضیحات
FeaturesDict
مراحل مجموعه داده
مراحل/عمل FeaturesDict
Steps/Action/future/axis_angle_residual تانسور (30،) float32 10 اقدام بعدی برای چرخش. هر عمل یک دلتای سه بعدی برای اضافه کردن به زاویه محور فعلی است.
steps/action/future/target_close تانسور (10،) int64 10 اقدام بعدی برای گریپر. هر عمل مقداری است که بسته شدن گیره باید به آن تغییر کند (به ویژه اینکه یک دلتا نیست .)
Steps/Action/future/xyz_residual تانسور (30،) float32 10 اقدام بعدی برای موقعیت ها. هر عمل یک دلتای سه بعدی برای اضافه کردن به موقعیت فعلی است.
Steps/is_first تانسور بوول
Steps/is_last تانسور بوول
Steps/is_terminal تانسور بوول
مراحل / مشاهده FeaturesDict
مراحل/مشاهده/اپیزود_موفقیت تانسور float32 برچسب موفقیت 0-1
مراحل / مشاهده / تصویر تصویر (171، 213، 3) uint8 تصویر دوربین از ربات، نمونه برداری 3 برابری
steps/observation/natural_language_embedding تانسور (512،) float32 جاسازی کار از طریق رمزگذار جملات جهانی ( https://tfhub.dev/google/universal-sentence-encoder/4 )
مراحل/مشاهده/آموزش_زبان_طبیعی تانسور رشته وظیفه ای که از ربات خواسته شد انجام دهد.
مراحل / مشاهده / حال / خود مختار تانسور int64 قسمت ها از طریق DAgger جمع آوری می شوند. این یک برچسب 0/1 برای این است که آیا این اقدام مربوط به خط مشی یا اپراتور از راه دور است. 1 = از سیاست.
مراحل/مشاهده/حال/زاویه_ محور تانسور (3،) float32 چرخش جریان افکتور انتهایی در نمایش محور-زاویه.
مراحل / مشاهده / حاضر / مداخله تانسور int64 قسمت ها از طریق DAgger جمع آوری می شوند. این یک برچسب 0/1 برای این است که آیا این اقدام مربوط به خط مشی یا اپراتور از راه دور است. 1 = از تله اپراتور. این دقیقاً برعکس حال/خود مختار است
مراحل/مشاهده/حال/حساس_بستن تانسور (1،) float32 چقدر گیره در حال حاضر بسته است. از 0 تا 1 مقیاس شده است، اما همه مقادیر از 0 تا 1 قابل دسترسی نیستند. محدوده در داده ها حدود 0.2 تا 1 است
مراحل / مشاهده / حال / xyz تانسور (3،) float32 موقعیت فعلی افکتور انتهایی در نمایش محور-زاویه، در قاب ربات
مراحل/مشاهده/طول_توالی تانسور int64 طول اپیزود
مراحل/پاداش اسکالر float32
  • نقل قول :
@inproceedings{jang2021bc,
title={ {BC}-Z: Zero-Shot Task Generalization with Robotic Imitation Learning},
author={Eric Jang and Alex Irpan and Mohi Khansari and Daniel Kappler and Frederik Ebert and Corey Lynch and Sergey Levine and Chelsea Finn},
booktitle={5th Annual Conference on Robot Learning},
year={2021},
url={https://openreview.net/forum?id=8kbp23tSGYv} }