Đại lý TensorFlow

Học tăng cường với TensorFlow

Đại lý giúp việc thiết kế, triển khai và thử nghiệm các thuật toán RL mới dễ dàng hơn bằng cách cung cấp các thành phần mô-đun đã được kiểm tra kỹ lưỡng và có thể sửa đổi và mở rộng. Nó cho phép lặp lại mã nhanh, tích hợp kiểm tra và đo điểm chuẩn tốt.

Để bắt đầu, chúng tôi khuyên bạn nên xem một trong các hướng dẫn của chúng tôi.

Cài đặt

TF-Agents xuất bản các bản dựng ổn định hàng đêm. Để biết danh sách các bản phát hành, hãy đọc phần Phát hành . Các lệnh bên dưới bao gồm việc cài đặt TF-Agents ổn định và hàng đêm từ pypi.org cũng như từ bản sao GitHub.

:warning: Nếu sử dụng Reverb (bộ đệm phát lại), điều này rất phổ biến, TF-Agent sẽ chỉ hoạt động với Linux.

Ổn định

Chạy các lệnh bên dưới để cài đặt bản phát hành ổn định mới nhất. Tài liệu API cho bản phát hành có trên tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Nếu bạn muốn cài đặt TF-Agent với các phiên bản Tensorflow hoặc Reverb được gắn cờ là không tương thích bằng quá trình kiểm tra phụ thuộc pip, hãy tự chịu rủi ro khi sử dụng mẫu sau đây.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Nếu bạn muốn sử dụng TF-Agents với TensorFlow 1.15 hoặc 2.0, hãy cài đặt phiên bản 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Hàng đêm

Bản dựng hàng đêm bao gồm các tính năng mới hơn nhưng có thể kém ổn định hơn so với bản phát hành đã được phiên bản. Bản dựng hàng đêm được đẩy dưới dạng tf-agents-nightly . Chúng tôi khuyên bạn nên cài đặt các phiên bản hàng đêm của TensorFlow ( tf-nightly ) và TensorFlow Probability ( tfp-nightly ) vì đó là những phiên bản mà TF-Agents hàng đêm được thử nghiệm.

Để cài đặt phiên bản xây dựng hàng đêm, hãy chạy như sau:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Từ GitHub

Sau khi sao chép kho lưu trữ, các phần phụ thuộc có thể được cài đặt bằng cách chạy pip install -e .[tests] . TensorFlow cần được cài đặt độc lập: pip install --user tf-nightly .

Đóng góp

Chúng tôi rất mong được cộng tác với bạn! Xem CONTRIBUTING.md để biết hướng dẫn về cách đóng góp. Dự án này tuân thủ quy tắc ứng xử của TensorFlow. Bằng cách tham gia, bạn phải tuân thủ quy tắc này.

phát hành

Đại lý TF có bản phát hành ổn định và hàng đêm. Các bản phát hành hàng đêm thường ổn nhưng có thể có vấn đề do các thư viện ngược dòng đang thay đổi liên tục. Bảng bên dưới liệt kê (các) phiên bản của TensorFlow phù hợp với từng bản phát hành của Đại lý TF. Phiên bản phát hành quan tâm:

  • 0.19.0 hỗ trợ tensorflow-2.15.0.
  • 0.18.0 đã bỏ hỗ trợ Python 3.8.
  • 0.16.0 là phiên bản đầu tiên hỗ trợ Python 3.11.
  • 0.15.0 là bản phát hành cuối cùng tương thích với Python 3.7.
  • Nếu sử dụng numpy < 1.19 thì hãy sử dụng TF-Agents 0.15.0 trở về trước.
  • 0.9.0 là bản phát hành cuối cùng tương thích với Python 3.6.
  • 0.3.0 là bản phát hành cuối cùng tương thích với Python 2.x.
Giải phóng Chi nhánh/Thẻ Phiên bản TensorFlow Phiên bản dm-reverb
Hàng đêm bậc thầy tf-hàng đêm dm-reverb-hàng đêm
0.19.0 v0.19.0 2.15.0 0.14.0
0,18,0 v0.18.0 2.14.0 0.13.0
0.17.0 v0.17.0 2.13.0 0.12.0
0.16.0 v0.16.0 2.12.0 0.11.0
0,15,0 v0.15.0 2.11.0 0.10.0
0.14.0 v0.14.0 2.10.0 0.9.0
0.13.0 v0.13.0 2.9.0 0.8.0
0.12.0 v0.12.0 2.8.0 0.7.0
0.11.0 v0.11.0 2.7.0 0.6.0
0.10.0 v0.10.0 2.6.0
0.9.0 v0.9.0 2.6.0
0.8.0 v0.8.0 2.5.0
0.7.1 v0.7.1 2.4.0
0.6.0 v0.6.0 2.3.0
0.5.0 v0.5.0 2.2.0
0.4.0 v0.4.0 2.1.0
0.3.0 v0.3.0 1.15.0 và 2.0.0.

Nguyên tắc

Dự án này tuân thủ các nguyên tắc AI của Google . Bằng cách tham gia, sử dụng hoặc đóng góp cho dự án này, bạn phải tuân thủ các nguyên tắc này.

Trích dẫn

Nếu bạn sử dụng mã này, vui lòng trích dẫn nó là:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}
,

Học tăng cường với TensorFlow

Đại lý giúp việc thiết kế, triển khai và thử nghiệm các thuật toán RL mới dễ dàng hơn bằng cách cung cấp các thành phần mô-đun đã được kiểm tra kỹ lưỡng và có thể sửa đổi và mở rộng. Nó cho phép lặp lại mã nhanh, tích hợp kiểm tra và đo điểm chuẩn tốt.

Để bắt đầu, chúng tôi khuyên bạn nên xem một trong các hướng dẫn của chúng tôi.

Cài đặt

TF-Agents xuất bản các bản dựng ổn định hàng đêm. Để biết danh sách các bản phát hành, hãy đọc phần Phát hành . Các lệnh bên dưới bao gồm việc cài đặt TF-Agents ổn định và hàng đêm từ pypi.org cũng như từ bản sao GitHub.

:warning: Nếu sử dụng Reverb (bộ đệm phát lại), điều này rất phổ biến, TF-Agent sẽ chỉ hoạt động với Linux.

Ổn định

Chạy các lệnh bên dưới để cài đặt bản phát hành ổn định mới nhất. Tài liệu API cho bản phát hành có trên tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Nếu bạn muốn cài đặt TF-Agent với các phiên bản Tensorflow hoặc Reverb được gắn cờ là không tương thích bằng quá trình kiểm tra phụ thuộc pip, hãy tự chịu rủi ro khi sử dụng mẫu sau đây.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Nếu bạn muốn sử dụng TF-Agents với TensorFlow 1.15 hoặc 2.0, hãy cài đặt phiên bản 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Hàng đêm

Bản dựng hàng đêm bao gồm các tính năng mới hơn nhưng có thể kém ổn định hơn so với bản phát hành đã được phiên bản. Bản dựng hàng đêm được đẩy dưới dạng tf-agents-nightly . Chúng tôi khuyên bạn nên cài đặt các phiên bản hàng đêm của TensorFlow ( tf-nightly ) và TensorFlow Probability ( tfp-nightly ) vì đó là những phiên bản mà TF-Agents hàng đêm được thử nghiệm.

Để cài đặt phiên bản xây dựng hàng đêm, hãy chạy như sau:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Từ GitHub

Sau khi sao chép kho lưu trữ, các phần phụ thuộc có thể được cài đặt bằng cách chạy pip install -e .[tests] . TensorFlow cần được cài đặt độc lập: pip install --user tf-nightly .

Đóng góp

Chúng tôi rất mong được cộng tác với bạn! Xem CONTRIBUTING.md để biết hướng dẫn về cách đóng góp. Dự án này tuân thủ quy tắc ứng xử của TensorFlow. Bằng cách tham gia, bạn phải tuân thủ quy tắc này.

phát hành

Đại lý TF có bản phát hành ổn định và hàng đêm. Các bản phát hành hàng đêm thường ổn nhưng có thể có vấn đề do các thư viện ngược dòng đang thay đổi liên tục. Bảng bên dưới liệt kê (các) phiên bản của TensorFlow phù hợp với từng bản phát hành của Đại lý TF. Phiên bản phát hành quan tâm:

  • 0.19.0 hỗ trợ tensorflow-2.15.0.
  • 0.18.0 đã bỏ hỗ trợ Python 3.8.
  • 0.16.0 là phiên bản đầu tiên hỗ trợ Python 3.11.
  • 0.15.0 là bản phát hành cuối cùng tương thích với Python 3.7.
  • Nếu sử dụng numpy < 1.19 thì hãy sử dụng TF-Agents 0.15.0 trở về trước.
  • 0.9.0 là bản phát hành cuối cùng tương thích với Python 3.6.
  • 0.3.0 là bản phát hành cuối cùng tương thích với Python 2.x.
Giải phóng Chi nhánh/Thẻ Phiên bản TensorFlow Phiên bản dm-reverb
Hàng đêm bậc thầy tf-hàng đêm dm-reverb-hàng đêm
0.19.0 v0.19.0 2.15.0 0.14.0
0,18,0 v0.18.0 2.14.0 0.13.0
0.17.0 v0.17.0 2.13.0 0.12.0
0.16.0 v0.16.0 2.12.0 0.11.0
0,15,0 v0.15.0 2.11.0 0.10.0
0.14.0 v0.14.0 2.10.0 0.9.0
0.13.0 v0.13.0 2.9.0 0.8.0
0.12.0 v0.12.0 2.8.0 0.7.0
0.11.0 v0.11.0 2.7.0 0.6.0
0.10.0 v0.10.0 2.6.0
0.9.0 v0.9.0 2.6.0
0.8.0 v0.8.0 2.5.0
0.7.1 v0.7.1 2.4.0
0.6.0 v0.6.0 2.3.0
0.5.0 v0.5.0 2.2.0
0.4.0 v0.4.0 2.1.0
0.3.0 v0.3.0 1.15.0 và 2.0.0.

Nguyên tắc

Dự án này tuân thủ các nguyên tắc AI của Google . Bằng cách tham gia, sử dụng hoặc đóng góp cho dự án này, bạn phải tuân thủ các nguyên tắc này.

Trích dẫn

Nếu bạn sử dụng mã này, vui lòng trích dẫn nó là:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}