Apprendimento per rinforzo con TensorFlow
Gli agenti semplificano la progettazione, l'implementazione e il test di nuovi algoritmi RL, fornendo componenti modulari ben collaudati che possono essere modificati ed estesi. Consente una rapida iterazione del codice, con una buona integrazione di test e benchmarking.
Per iniziare, ti consigliamo di dare un'occhiata a uno dei nostri tutorial .
Installazione
TF-Agents pubblica build notturne e stabili. Per un elenco dei rilasci leggi la sezione Rilasci . I comandi seguenti riguardano l'installazione di TF-Agents stable e nightly da pypi.org e da un clone di GitHub.
:warning: Se si utilizza Reverb (replay buffer), che è molto comune, TF-Agent funzionerà solo con Linux.
Stabile
Eseguire i comandi seguenti per installare la versione stabile più recente. La documentazione API per la versione è su tensorflow.org .
$ pip install --user tf-agents[reverb]
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.17.0
Se desideri installare TF-Agent con versioni di Tensorflow o Reverb contrassegnate come non compatibili dal controllo di dipendenza pip, utilizza il seguente schema a tuo rischio e pericolo.
$ pip install --user tensorflow
$ pip install --user dm-reverb
$ pip install --user tf-agents
Se desideri utilizzare TF-Agents con TensorFlow 1.15 o 2.0, installa la versione 0.3.0:
# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0
Di notte
Le build notturne includono funzionalità più recenti, ma potrebbero essere meno stabili rispetto alle versioni con versione. La build notturna viene inviata come tf-agents-nightly . Suggeriamo di installare le versioni notturne di TensorFlow ( tf-nightly ) e TensorFlow Probability ( tfp-nightly ) in quanto queste sono le versioni su cui vengono testati i TF-Agents nightly.
Per installare la versione nightly build, eseguire quanto segue:
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly
# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly
Da GitHub
Dopo aver clonato il repository, le dipendenze possono essere installate eseguendo pip install -e .[tests] . TensorFlow deve essere installato in modo indipendente: pip install --user tf-nightly .
Contribuire
Siamo ansiosi di collaborare con te! Vedi CONTRIBUTING.md per una guida su come contribuire. Questo progetto aderisce al codice di condotta di TensorFlow. Partecipando, sei tenuto a rispettare questo codice.
Rilasci
TF Agents ha versioni stabili e notturne. Le versioni notturne spesso vanno bene, ma possono avere problemi a causa delle librerie a monte che sono in continuo mutamento. La tabella seguente elenca le versioni di TensorFlow che si allineano con ogni versione di TF Agents. Versioni di rilascio di interesse:
- 0.16.0 è la prima versione a supportare Python 3.11.
- 0.15.0 è l'ultima versione compatibile con Python 3.7.
- Se si utilizza numpy < 1.19, utilizzare TF-Agents 0.15.0 o versioni precedenti.
- 0.9.0 è l'ultima versione compatibile con Python 3.6.
- 0.3.0 è l'ultima release compatibile con Python 2.x.
| Pubblicazione | Filiale / Etichetta | Versione TensorFlow | Versione dm-riverbero |
|---|---|---|---|
| Di notte | maestro | tf-notturno | dm-riverbero-notturno |
| 0.17.0 | v0.17.0 | 2.13.0 | 0.12.0 |
| 0.16.0 | v0.16.0 | 2.12.0 | 0.11.0 |
| 0.15.0 | v0.15.0 | 2.11.0 | 0.10.0 |
| 0.14.0 | v0.14.0 | 2.10.0 | 0.9.0 |
| 0.13.0 | v0.13.0 | 2.9.0 | 0.8.0 |
| 0.12.0 | v0.12.0 | 2.8.0 | 0.7.0 |
| 0.11.0 | v0.11.0 | 2.7.0 | 0.6.0 |
| 0.10.0 | v0.10.0 | 2.6.0 | |
| 0.9.0 | v0.9.0 | 2.6.0 | |
| 0.8.0 | v0.8.0 | 2.5.0 | |
| 0.7.1 | v0.7.1 | 2.4.0 | |
| 0.6.0 | v0.6.0 | 2.3.0 | |
| 0.5.0 | v0.5.0 | 2.2.0 | |
| 0.4.0 | v0.4.0 | 2.1.0 | |
| 0.3.0 | v0.3.0 | 1.15.0 e 2.0.0. |
I principi
Questo progetto aderisce ai principi AI di Google . Partecipando, utilizzando o contribuendo a questo progetto, sei tenuto ad aderire a questi principi.
Citazione
Se usi questo codice, per favore citalo come:
@misc{TFAgents,
title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
Vincent Vanhoucke and Eugene Brevdo},
howpublished = {\url{https://github.com/tensorflow/agents} },
url = "https://github.com/tensorflow/agents",
year = 2018,
note = "[Online; accessed 25-June-2019]"
}