rlu_atari_checkpoints_ordered

  • Mô tả:

RL Unplugged là bộ tiêu chuẩn cho việc học củng cố ngoại tuyến. RL Unplugged được thiết kế dựa trên các yếu tố sau: để tạo điều kiện dễ sử dụng, chúng tôi cung cấp bộ dữ liệu với một API thống nhất giúp người hành nghề dễ dàng làm việc với tất cả dữ liệu trong bộ sau khi quy trình chung đã được thiết lập.

Chúng tôi đang phát hành một tập dữ liệu lớn và đa dạng của trò chơi sau khi giao thức được mô tả bởi Agarwal et al., 2020 , có thể được dùng để đánh giá một số thuật toán RL ẩn rời rạc. Tập dữ liệu được tạo ra bằng cách chạy một đại lý DQN trực tuyến và ghi lại quá trình chuyển đổi từ replay của nó trong đào tạo với các hành động dính Machado et al., 2018 . Như đã nêu trong Agarwal et al., 2020 , đối với mỗi trò chơi chúng tôi sử dụng dữ liệu từ năm chạy với 50 triệu chuyển mỗi. Chúng tôi phát hành bộ dữ liệu cho 46 trò chơi Atari. Để biết chi tiết về cách tạo tập dữ liệu, vui lòng tham khảo bài báo.

Atari là một tiêu chuẩn RL tiêu chuẩn. Chúng tôi khuyên bạn nên thử các phương pháp RL ngoại tuyến trên Atari nếu bạn muốn so sánh cách tiếp cận của mình với các phương pháp RL ngoại tuyến hiện đại khác với các hành động rời rạc.

Bên cạnh phần thưởng của mỗi bước, tập dữ liệu này bao gồm phần thưởng được cắt bớt (nhận được khi cắt [-1, 1]) và tổng phần thưởng đã cắt cho mỗi tập.

Mỗi cấu hình được chia thành nhiều phần. Các phần tách tương ứng với các điểm kiểm tra của 1M bước (lưu ý rằng số lượng các tập có thể chậm lại). Các trạm kiểm soát được sắp xếp đúng lúc (vì vậy trạm kiểm soát 0 chạy trước trạm kiểm soát 1).

Các tập trong mỗi phần được sắp xếp theo thứ tự. Kiểm tra https://www.tensorflow.org/datasets/determinism nếu bạn muốn đảm bảo rằng bạn đọc tập theo thứ tự.

Tập dữ liệu này tương ứng với tập dữ liệu được sử dụng trong bài báo phát lại DQN. https://research.google/tools/datasets/dqn-replay/

Tách ra Các ví dụ
  • Các tính năng:
FeaturesDict({
    'checkpoint_id': tf.int64,
    'clipped_episode_return': tf.float32,
    'episode_id': tf.int64,
    'episode_return': tf.float32,
    'steps': Dataset({
        'action': tf.int64,
        'clipped_reward': tf.float32,
        'discount': tf.float32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': Image(shape=(84, 84, 1), dtype=tf.uint8),
        'reward': tf.float32,
    }),
})
@misc{gulcehre2020rl,
    title={RL Unplugged: Benchmarks for Offline Reinforcement Learning},
    author={Caglar Gulcehre and Ziyu Wang and Alexander Novikov and Tom Le Paine
        and  Sergio Gómez Colmenarejo and Konrad Zolna and Rishabh Agarwal and
        Josh Merel and Daniel Mankowitz and Cosmin Paduraru and Gabriel
        Dulac-Arnold and Jerry Li and Mohammad Norouzi and Matt Hoffman and
        Ofir Nachum and George Tucker and Nicolas Heess and Nando deFreitas},
    year={2020},
    eprint={2006.13888},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

rlu_atari_checkpoints_ordered / Alien_run_1 (cấu hình mặc định)

rlu_atari_checkpoints_ordered / Alien_run_2

rlu_atari_checkpoints_ordered / Alien_run_3

rlu_atari_checkpoints_ordered / Alien_run_4

rlu_atari_checkpoints_ordered / Alien_run_5

rlu_atari_checkpoints_ordered / Amidar_run_1

rlu_atari_checkpoints_ordered / Amidar_run_2

rlu_atari_checkpoints_ordered / Amidar_run_3

rlu_atari_checkpoints_ordered / Amidar_run_4

rlu_atari_checkpoints_ordered / Amidar_run_5

rlu_atari_checkpoints_ordered / Assault_run_1

rlu_atari_checkpoints_ordered / Assault_run_2

rlu_atari_checkpoints_ordered / Assault_run_3

rlu_atari_checkpoints_ordered / Assault_run_4

rlu_atari_checkpoints_ordered / Assault_run_5

rlu_atari_checkpoints_ordered / Asterix_run_1

rlu_atari_checkpoints_ordered / Asterix_run_2

rlu_atari_checkpoints_ordered / Asterix_run_3

rlu_atari_checkpoints_ordered / Asterix_run_4

rlu_atari_checkpoints_ordered / Asterix_run_5

rlu_atari_checkpoints_ordered / Atlantis_run_1

rlu_atari_checkpoints_ordered / Atlantis_run_2

rlu_atari_checkpoints_ordered / Atlantis_run_3

rlu_atari_checkpoints_ordered / Atlantis_run_4

rlu_atari_checkpoints_ordered / Atlantis_run_5

rlu_atari_checkpoints_ordered / BankHeist_run_1

rlu_atari_checkpoints_ordered / BankHeist_run_2

rlu_atari_checkpoints_ordered / BankHeist_run_3

rlu_atari_checkpoints_ordered / BankHeist_run_4

rlu_atari_checkpoints_ordered / BankHeist_run_5

rlu_atari_checkpoints_ordered / BattleZone_run_1

rlu_atari_checkpoints_ordered / BattleZone_run_2

rlu_atari_checkpoints_ordered / BattleZone_run_3

rlu_atari_checkpoints_ordered / BattleZone_run_4

rlu_atari_checkpoints_ordered / BattleZone_run_5

rlu_atari_checkpoints_ordered / BeamRider_run_1

rlu_atari_checkpoints_ordered / BeamRider_run_2

rlu_atari_checkpoints_ordered / BeamRider_run_3

rlu_atari_checkpoints_ordered / BeamRider_run_4

rlu_atari_checkpoints_ordered / BeamRider_run_5

rlu_atari_checkpoints_ordered / Boxing_run_1

rlu_atari_checkpoints_ordered / Boxing_run_2

rlu_atari_checkpoints_ordered / Boxing_run_3

rlu_atari_checkpoints_ordered / Boxing_run_4

rlu_atari_checkpoints_ordered / Boxing_run_5

rlu_atari_checkpoints_ordered / Breakout_run_1

rlu_atari_checkpoints_ordered / Breakout_run_2

rlu_atari_checkpoints_ordered / Breakout_run_3

rlu_atari_checkpoints_ordered / Breakout_run_4

rlu_atari_checkpoints_ordered / Breakout_run_5

rlu_atari_checkpoints_ordered / Carnival_run_1

rlu_atari_checkpoints_ordered / Carnival_run_2

rlu_atari_checkpoints_ordered / Carnival_run_3

rlu_atari_checkpoints_ordered / Carnival_run_4

rlu_atari_checkpoints_ordered / Carnival_run_5

rlu_atari_checkpoints_ordered / Centipede_run_1

rlu_atari_checkpoints_ordered / Centipede_run_2

rlu_atari_checkpoints_ordered / Centipede_run_3

rlu_atari_checkpoints_ordered / Centipede_run_4

rlu_atari_checkpoints_ordered / Centipede_run_5

rlu_atari_checkpoints_ordered / ChopperCommand_run_1

rlu_atari_checkpoints_ordered / ChopperCommand_run_2

rlu_atari_checkpoints_ordered / ChopperCommand_run_3

rlu_atari_checkpoints_ordered / ChopperCommand_run_4

rlu_atari_checkpoints_ordered / ChopperCommand_run_5

rlu_atari_checkpoints_ordered / CrazyClimber_run_1

rlu_atari_checkpoints_ordered / CrazyClimber_run_2

rlu_atari_checkpoints_ordered / CrazyClimber_run_3

rlu_atari_checkpoints_ordered / CrazyClimber_run_4

rlu_atari_checkpoints_ordered / CrazyClimber_run_5

rlu_atari_checkpoints_ordered / DemonAttack_run_1

rlu_atari_checkpoints_ordered / DemonAttack_run_2

rlu_atari_checkpoints_ordered / DemonAttack_run_3

rlu_atari_checkpoints_ordered / DemonAttack_run_4

rlu_atari_checkpoints_ordered / DemonAttack_run_5

rlu_atari_checkpoints_ordered / DoubleDunk_run_1

rlu_atari_checkpoints_ordered / DoubleDunk_run_2

rlu_atari_checkpoints_ordered / DoubleDunk_run_3

rlu_atari_checkpoints_ordered / DoubleDunk_run_4

rlu_atari_checkpoints_ordered / DoubleDunk_run_5

rlu_atari_checkpoints_ordered / Enduro_run_1

rlu_atari_checkpoints_ordered / Enduro_run_2

rlu_atari_checkpoints_ordered / Enduro_run_3

rlu_atari_checkpoints_ordered / Enduro_run_4

rlu_atari_checkpoints_ordered / Enduro_run_5

rlu_atari_checkpoints_ordered / FishingDerby_run_1

rlu_atari_checkpoints_ordered / FishingDerby_run_2

rlu_atari_checkpoints_ordered / FishingDerby_run_3

rlu_atari_checkpoints_ordered / FishingDerby_run_4

rlu_atari_checkpoints_ordered / FishingDerby_run_5

rlu_atari_checkpoints_ordered / Freeway_run_1

rlu_atari_checkpoints_ordered / Freeway_run_2

rlu_atari_checkpoints_ordered / Freeway_run_3

rlu_atari_checkpoints_ordered / Freeway_run_4

rlu_atari_checkpoints_ordered / Freeway_run_5

rlu_atari_checkpoints_ordered / Frostbite_run_1

rlu_atari_checkpoints_ordered / Frostbite_run_2

rlu_atari_checkpoints_ordered / Frostbite_run_3

rlu_atari_checkpoints_ordered / Frostbite_run_4

rlu_atari_checkpoints_ordered / Frostbite_run_5

rlu_atari_checkpoints_ordered / Gopher_run_1

rlu_atari_checkpoints_ordered / Gopher_run_2

rlu_atari_checkpoints_ordered / Gopher_run_3

rlu_atari_checkpoints_ordered / Gopher_run_4

rlu_atari_checkpoints_ordered / Gopher_run_5

rlu_atari_checkpoints_ordered / Gravitar_run_1

rlu_atari_checkpoints_ordered / Gravitar_run_2

rlu_atari_checkpoints_ordered / Gravitar_run_3

rlu_atari_checkpoints_ordered / Gravitar_run_4

rlu_atari_checkpoints_ordered / Gravitar_run_5

rlu_atari_checkpoints_ordered / Hero_run_1

rlu_atari_checkpoints_ordered / Hero_run_2

rlu_atari_checkpoints_ordered / Hero_run_3

rlu_atari_checkpoints_ordered / Hero_run_4

rlu_atari_checkpoints_ordered / Hero_run_5

rlu_atari_checkpoints_ordered / IceHockey_run_1

rlu_atari_checkpoints_ordered / IceHockey_run_2

rlu_atari_checkpoints_ordered / IceHockey_run_3

rlu_atari_checkpoints_ordered / IceHockey_run_4

rlu_atari_checkpoints_ordered / IceHockey_run_5

rlu_atari_checkpoints_ordered / Jamesbond_run_1

rlu_atari_checkpoints_ordered / Jamesbond_run_2

rlu_atari_checkpoints_ordered / Jamesbond_run_3

rlu_atari_checkpoints_ordered / Jamesbond_run_4

rlu_atari_checkpoints_ordered / Jamesbond_run_5

rlu_atari_checkpoints_ordered / Kangaroo_run_1

rlu_atari_checkpoints_ordered / Kangaroo_run_2

rlu_atari_checkpoints_ordered / Kangaroo_run_3

rlu_atari_checkpoints_ordered / Kangaroo_run_4

rlu_atari_checkpoints_ordered / Kangaroo_run_5

rlu_atari_checkpoints_ordered / Krull_run_1

rlu_atari_checkpoints_ordered / Krull_run_2

rlu_atari_checkpoints_ordered / Krull_run_3

rlu_atari_checkpoints_ordered / Krull_run_4

rlu_atari_checkpoints_ordered / Krull_run_5

rlu_atari_checkpoints_ordered / KungFuMaster_run_1

rlu_atari_checkpoints_ordered / KungFuMaster_run_2

rlu_atari_checkpoints_ordered / KungFuMaster_run_3

rlu_atari_checkpoints_ordered / KungFuMaster_run_4

rlu_atari_checkpoints_ordered / KungFuMaster_run_5

rlu_atari_checkpoints_ordered / MsPacman_run_1

rlu_atari_checkpoints_ordered / MsPacman_run_2

rlu_atari_checkpoints_ordered / MsPacman_run_3

rlu_atari_checkpoints_ordered / MsPacman_run_4

rlu_atari_checkpoints_ordered / MsPacman_run_5

rlu_atari_checkpoints_ordered / NameThisGame_run_1

rlu_atari_checkpoints_ordered / NameThisGame_run_2

rlu_atari_checkpoints_ordered / NameThisGame_run_3

rlu_atari_checkpoints_ordered / NameThisGame_run_4

rlu_atari_checkpoints_ordered / NameThisGame_run_5

rlu_atari_checkpoints_ordered / Phoenix_run_1

rlu_atari_checkpoints_ordered / Phoenix_run_2

rlu_atari_checkpoints_ordered / Phoenix_run_3

rlu_atari_checkpoints_ordered / Phoenix_run_4

rlu_atari_checkpoints_ordered / Phoenix_run_5

rlu_atari_checkpoints_ordered / Pong_run_1

rlu_atari_checkpoints_ordered / Pong_run_2

rlu_atari_checkpoints_ordered / Pong_run_3

rlu_atari_checkpoints_ordered / Pong_run_4

rlu_atari_checkpoints_ordered / Pong_run_5

rlu_atari_checkpoints_ordered / Pooyan_run_1

rlu_atari_checkpoints_ordered / Pooyan_run_2

rlu_atari_checkpoints_ordered / Pooyan_run_3

rlu_atari_checkpoints_ordered / Pooyan_run_4

rlu_atari_checkpoints_ordered / Pooyan_run_5

rlu_atari_checkpoints_ordered / Qbert_run_1

rlu_atari_checkpoints_ordered / Qbert_run_2

rlu_atari_checkpoints_ordered / Qbert_run_3

rlu_atari_checkpoints_ordered / Qbert_run_4

rlu_atari_checkpoints_ordered / Qbert_run_5

rlu_atari_checkpoints_ordered / Riverraid_run_1

rlu_atari_checkpoints_ordered / Riverraid_run_2

rlu_atari_checkpoints_ordered / Riverraid_run_3

rlu_atari_checkpoints_ordered / Riverraid_run_4

rlu_atari_checkpoints_ordered / Riverraid_run_5

rlu_atari_checkpoints_ordered / RoadRunner_run_1

rlu_atari_checkpoints_ordered / RoadRunner_run_2

rlu_atari_checkpoints_ordered / RoadRunner_run_3

rlu_atari_checkpoints_ordered / RoadRunner_run_4

rlu_atari_checkpoints_ordered / RoadRunner_run_5

rlu_atari_checkpoints_ordered / Robotank_run_1

rlu_atari_checkpoints_ordered / Robotank_run_2

rlu_atari_checkpoints_ordered / Robotank_run_3

rlu_atari_checkpoints_ordered / Robotank_run_4

rlu_atari_checkpoints_ordered / Robotank_run_5

rlu_atari_checkpoints_ordered / Seaquest_run_1

rlu_atari_checkpoints_ordered / Seaquest_run_2

rlu_atari_checkpoints_ordered / Seaquest_run_3

rlu_atari_checkpoints_ordered / Seaquest_run_4

rlu_atari_checkpoints_ordered / Seaquest_run_5

rlu_atari_checkpoints_ordered / SpaceInvaders_run_1

rlu_atari_checkpoints_ordered / SpaceInvaders_run_2

rlu_atari_checkpoints_ordered / SpaceInvaders_run_3

rlu_atari_checkpoints_ordered / SpaceInvaders_run_4

rlu_atari_checkpoints_ordered / SpaceInvaders_run_5

rlu_atari_checkpoints_ordered / StarGunner_run_1

rlu_atari_checkpoints_ordered / StarGunner_run_2

rlu_atari_checkpoints_ordered / StarGunner_run_3

rlu_atari_checkpoints_ordered / StarGunner_run_4

rlu_atari_checkpoints_ordered / StarGunner_run_5

rlu_atari_checkpoints_ordered / TimePilot_run_1

rlu_atari_checkpoints_ordered / TimePilot_run_2

rlu_atari_checkpoints_ordered / TimePilot_run_3

rlu_atari_checkpoints_ordered / TimePilot_run_4

rlu_atari_checkpoints_ordered / TimePilot_run_5

rlu_atari_checkpoints_ordered / UpNDown_run_1

rlu_atari_checkpoints_ordered / UpNDown_run_2

rlu_atari_checkpoints_ordered / UpNDown_run_3

rlu_atari_checkpoints_ordered / UpNDown_run_4

rlu_atari_checkpoints_ordered / UpNDown_run_5

rlu_atari_checkpoints_ordered / VideoPinball_run_1

rlu_atari_checkpoints_ordered / VideoPinball_run_2

rlu_atari_checkpoints_ordered / VideoPinball_run_3

rlu_atari_checkpoints_ordered / VideoPinball_run_4

rlu_atari_checkpoints_ordered / VideoPinball_run_5

rlu_atari_checkpoints_ordered / WizardOfWor_run_1

rlu_atari_checkpoints_ordered / WizardOfWor_run_2

rlu_atari_checkpoints_ordered / WizardOfWor_run_3

rlu_atari_checkpoints_ordered / WizardOfWor_run_4

rlu_atari_checkpoints_ordered / WizardOfWor_run_5

rlu_atari_checkpoints_ordered / YarsRevenge_run_1

rlu_atari_checkpoints_ordered / YarsRevenge_run_2

rlu_atari_checkpoints_ordered / YarsRevenge_run_3

rlu_atari_checkpoints_ordered / YarsRevenge_run_4

rlu_atari_checkpoints_ordered / YarsRevenge_run_5

rlu_atari_checkpoints_ordered / Zaxxon_run_1

rlu_atari_checkpoints_ordered / Zaxxon_run_2

rlu_atari_checkpoints_ordered / Zaxxon_run_3

rlu_atari_checkpoints_ordered / Zaxxon_run_4

rlu_atari_checkpoints_ordered / Zaxxon_run_5