Агенты TensorFlow

Обучение с подкреплением с помощью TensorFlow

Агенты упрощают проектирование, внедрение и тестирование новых алгоритмов RL, предоставляя хорошо протестированные модульные компоненты, которые можно модифицировать и расширять. Он обеспечивает быструю итерацию кода с хорошей интеграцией тестов и бенчмаркингом.

Для начала мы рекомендуем ознакомиться с одним из наших руководств .

Установка

TF-Agents публикует ночные и стабильные сборки. Список релизов читайте в разделе Релизы . Приведенные ниже команды охватывают установку стабильных и ночных TF-Agents с pypi.org , а также из клона GitHub.

:предупреждение: При использовании реверберации (буфера воспроизведения), что очень распространено, TF-агенты будут работать только с Linux.

Примечание. Для Python 3.11 требуется pygame 2.1.3+.

Стабильный

Запустите команды ниже, чтобы установить самую последнюю стабильную версию. Документация по API для релиза находится на tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Если вы хотите установить TF-агенты с версиями Tensorflow или Reverb , которые помечены как несовместимые при проверке зависимостей pip, используйте следующий шаблон ниже на свой страх и риск.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Если вы хотите использовать TF-агенты с TensorFlow 1.15 или 2.0, установите версию 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Ночью

Ночные сборки включают новые функции, но могут быть менее стабильными, чем версии с версиями. Ночная сборка выпускается как tf-agents-nightly . Мы предлагаем установить ночные версии TensorFlow ( tf-nightly ) и TensorFlow Probability ( tfp-nightly ), поскольку именно с ними тестируются TF-Agents Nightly.

Чтобы установить ночную версию сборки, выполните следующую команду:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

С GitHub

После клонирования репозитория зависимости можно установить, запустив pip install -e .[tests] . TensorFlow необходимо установить самостоятельно: pip install --user tf-nightly .

Содействие

Мы готовы к сотрудничеству с вами! См. CONTRIBUTING.md чтобы узнать, как внести свой вклад. Этот проект придерживается кодекса поведения TensorFlow. Ожидается, что, участвуя, вы будете соблюдать этот кодекс.

Релизы

У TF Agents есть стабильные и ночные выпуски. Ночные выпуски часто подходят, но могут иметь проблемы из-за изменений в исходных библиотеках. В таблице ниже перечислены версии TensorFlow, соответствующие выпуску каждого агента TF. Релизные версии, представляющие интерес:

• 0.19.0 поддерживает тензорный поток 2.15.0.
• В версии 0.18.0 прекращена поддержка Python 3.8.
• 0.16.0 — первая версия, поддерживающая Python 3.11.
• 0.15.0 — последняя версия, совместимая с Python 3.7.
• Если вы используете numpy < 1.19, используйте TF-Agents 0.15.0 или более раннюю версию.
• 0.9.0 — последняя версия, совместимая с Python 3.6.
• 0.3.0 — последняя версия, совместимая с Python 2.x.

Выпускать	Филиал/тег	Версия TensorFlow	Версия dm-реверберации
Ночью	владелец	tf-ночью	дм-реверберация-ночью
0.19.0	v0.19.0	2.15.0	0.14.0
0.18.0	v0.18.0	2.14.0	0.13.0
0.17.0	v0.17.0	2.13.0	0.12.0
0.16.0	v0.16.0	2.12.0	0.11.0
0.15.0	v0.15.0	2.11.0	0.10.0
0.14.0	v0.14.0	2.10.0	0.9.0
0.13.0	v0.13.0	2.9.0	0.8.0
0.12.0	v0.12.0	2.8.0	0.7.0
0.11.0	v0.11.0	2.7.0	0.6.0
0.10.0	v0.10.0	2.6.0
0.9.0	v0.9.0	2.6.0
0.8.0	v0.8.0	2.5.0
0.7.1	v0.7.1	2.4.0
0.6.0	v0.6.0	2.3.0
0.5.0	v0.5.0	2.2.0
0.4.0	v0.4.0	2.1.0
0.3.0	v0.3.0	1.15.0 и 2.0.0.

Принципы

Этот проект придерживается принципов искусственного интеллекта Google . Ожидается, что, участвуя, используя или внося свой вклад в этот проект, вы будете соблюдать эти принципы.

Цитирование

Если вы используете этот код, укажите его как:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}