bắt chước_play

  • Sự miêu tả :

Tập dữ liệu thực của 14 nhiệm vụ thao tác đường chân trời dài. Sự kết hợp giữa dữ liệu trò chơi của con người và dữ liệu cánh tay robot đơn lẻ thực hiện các nhiệm vụ giống nhau.

Tách ra Ví dụ
'train' 378
  • Cấu trúc tính năng :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'image': FeaturesDict({
                'front_image_1': Image(shape=(120, 120, 3), dtype=uint8),
                'front_image_2': Image(shape=(120, 120, 3), dtype=uint8),
            }),
            'state': FeaturesDict({
                'ee_pose': Tensor(shape=(7,), dtype=float32),
                'gripper_position': float32,
                'joint_positions': Tensor(shape=(7,), dtype=float32),
                'joint_velocities': Tensor(shape=(7,), dtype=float32),
            }),
            'wrist_image': FeaturesDict({
                'wrist_image': Image(shape=(120, 120, 3), dtype=uint8),
            }),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp học Hình dạng loại D Sự miêu tả
Tính năngDict
tập_siêu dữ liệu Tính năngDict
tập_siêu dữ liệu/file_path Tenxơ sợi dây
bước Tập dữ liệu
bước/hành động Tenxơ (7,) phao32
bước/giảm giá Vô hướng phao32
bước/is_first Tenxơ bool
bước/is_last Tenxơ bool
bước/is_terminal Tenxơ bool
các bước/ngôn ngữ_embedding Tenxơ (512,) phao32
các bước/ngôn ngữ_instruction Tenxơ sợi dây
bước/quan sát Tính năngDict
bước/quan sát/hình ảnh Tính năngDict
bước/quan sát/hình ảnh/front_image_1 Hình ảnh (120, 120, 3) uint8
bước/quan sát/hình ảnh/front_image_2 Hình ảnh (120, 120, 3) uint8
bước/quan sát/trạng thái Tính năngDict
bước/quan sát/trạng thái/ee_pose Tenxơ (7,) phao32
bước/quan sát/trạng thái/gripper_position Tenxơ phao32
bước/quan sát/trạng thái/joint_positions Tenxơ (7,) phao32
bước/quan sát/trạng thái/joint_velocities Tenxơ (7,) phao32
bước/quan sát/hình ảnh cổ tay Tính năngDict
bước/quan sát/cổ tay_image/cổ tay_image Hình ảnh (120, 120, 3) uint8
bước/phần thưởng Vô hướng phao32
  • Trích dẫn :
@article{wang2023mimicplay,title={Mimicplay: Long-horizon imitation learning by watching human play},author={Wang, Chen and Fan, Linxi and Sun, Jiankai and Zhang, Ruohan and Fei-Fei, Li and Xu, Danfei and Zhu, Yuke and Anandkumar, Anima},journal={arXiv preprint arXiv:2302.12422},year={2023} }