Wprowadzenie do RL i Deep Q Networks

Copyright 2021 Autorzy TF-Agents.

Wstęp

Uczenie się przez wzmacnianie (RL) to ogólna struktura, w której agenci uczą się wykonywać działania w środowisku, aby zmaksymalizować nagrodę. Dwa główne komponenty to środowisko, które reprezentuje problem do rozwiązania, oraz agent, który reprezentuje algorytm uczenia.

Agent i środowisko stale oddziałują na siebie. Na każdym kroku czasowym, agent wykonuje działania na środowisko na podstawie jego polityki \(\pi(a_t|s_t)\), gdzie \(s_t\) jest bieżąca obserwacja ze środowiska, a otrzymuje nagrodę \(r_{t+1}\) i obok obserwacji \(s_{t+1}\) ze środowiska . Celem jest udoskonalenie polityki tak, aby zmaksymalizować sumę nagród (zwrotu).

Uwaga: Ważne jest rozróżnienie między state środowiska i observation , która jest częścią środowiska state , że agent może zobaczyć, na przykład w grze w pokera, stan środowiska składa się z kart należących do wszystkich graczy i karty wspólne, ale agent może obserwować tylko własne karty i kilka kart wspólnych. W większości z literatury wszystkie te określenia stosuje się zamiennie i obserwacja jest również określana jako \(s\).

Jest to bardzo ogólna struktura i może modelować różne sekwencyjne problemy związane z podejmowaniem decyzji, takie jak gry, robotyka itp.

Środowisko Cartpole

Środowisko Cartpole jest jednym z najbardziej znanych klasycznych problemów w uczeniu się zbrojenie (dalej „Hello, World!” RL). Do wózka przymocowany jest drążek, który może poruszać się po torze pozbawionym tarcia. Słup zaczyna się pionowo, a celem jest zapobieganie jego przewróceniu poprzez kontrolowanie wózka.

• Obserwacja ze środowiska \(s_t\) jest wektorem 4D reprezentujący położenie i prędkość wózka, a kąt i prędkość kątową bieguna.
• Środek można sterować systemem poprzez podejmowanie działań jednego z 2 \(a_t\): popchnąć wózek prawo (+1) lub w lewo (-1).
• Nagroda \(r_{t+1} = 1\) przewidziano każdym kroku to, że Polak pozostaje w pozycji pionowej. Odcinek kończy się, gdy spełniony jest jeden z poniższych warunków:
  • kij przechyla się powyżej pewnego kąta
  • wózek wyjeżdża poza granice świata
  • Mija 200 kroków czasu.

Celem środka jest nauczyć politykę \(\pi(a_t|s_t)\) tak aby maksymalizować sumę nagród w epizodzie \(\sum_{t=0}^{T} \gamma^t r_t\). Tutaj \(\gamma\) jest czynnikiem zniżki w \([0, 1]\) że rabaty przyszłych nagród w stosunku do natychmiastowych nagród. Ten parametr pomaga nam skoncentrować politykę, sprawiając, że bardziej zależy jej na szybkim zdobywaniu nagród.

Agent DQN

Algorytm DQN (Głębokie Q-Network) została opracowana w 2015 roku przez DeepMind To było w stanie rozwiązać szeroką gamę gier Atari (niektóre na poziomie nadludzkiej) poprzez połączenie nauki zbrojenia i głębokie sieci neuronowych w skali. Algorytm został opracowany przez zwiększanie klasyczny algorytm RL nazwie Q-learning z głębokimi sieci neuronowych i technika zwana doświadczenie powtórki.

Q-Learning

Q-Learning opiera się na pojęciu funkcji Q. Q-function (aka funkcja wartość state-action) z polityki \(\pi\), \(Q^{\pi}(s, a)\)mierzy oczekiwanego zwrotu lub zdyskontowana suma nagród otrzymanych z państwowej \(s\) poprzez podejmowanie działań \(a\) pierwszy i Poniższe zasady \(\pi\) później. Zdefiniować optymalnej funkcji P- \(Q^*(s, a)\) jako powrót maksymalnej, która może zostać uzyskane, począwszy od obserwacji \(s\)biorąc działania \(a\) i zgodnie z polityką optymalne później. Optymalna P funkcja wypełnia następujące równanie optymalność Bellman:

\(\begin{equation}Q^\ast(s, a) = \mathbb{E}[ r + \gamma \max_{a'} Q^\ast(s', a') ]\end{equation}\)

Oznacza to, że maksymalny zwrot z państwowej \(s\) i działanie \(a\) jest sumą natychmiastowa nagroda \(r\) i powrót (zdyskontowana przez \(\gamma\)) otrzymano zgodnie z polityką optymalną potem do końca odcinka ( czyli maksymalna nagroda od kolejnego państwa \(s'\)). Oczekiwanie jest obliczany zarówno nad dystrybucją natychmiastowych nagród \(r\) i ewentualnych kolejnych stanach \(s'\).

Podstawową ideą Q-learning jest użycie Bellman równania optymalności jako iteracyjny aktualizacji \(Q_{i+1}(s, a) \leftarrow \mathbb{E}\left[ r + \gamma \max_{a'} Q_{i}(s', a')\right]\)i można udowodnić, że ten jest zbieżny do optymalnego \(Q\)-function, tj \(Q_i \rightarrow Q^*\) jako \(i \rightarrow \infty\) (patrz DQN papier ).

Głębokie Q-Learning

Dla większości problemów, jest możliwa do reprezentowania \(Q\)-function jako tabeli zawierającej wartości dla każdej kombinacji \(s\) i \(a\). Zamiast tego, możemy trenować Aproksymator funkcji, takich jak sieci neuronowe z parametrami \(\theta\), aby oszacować Q-wartości, tj \(Q(s, a; \theta) \approx Q^*(s, a)\). Można to zrobić poprzez zminimalizowanie następujące straty na każdym kroku \(i\):

\(\begin{equation}L_i(\theta_i) = \mathbb{E}_{s, a, r, s'\sim \rho(.)} \left[ (y_i - Q(s, a; \theta_i))^2 \right]\end{equation}\) gdzie \(y_i = r + \gamma \max_{a'} Q(s', a'; \theta_{i-1})\)

Tutaj \(y_i\) nazywa TD (różnica czasowa) cel, a \(y_i - Q\) nazywa błąd TD. \(\rho\) przedstawia rozkład zachowaniem, a rozkład na przemian \(\{s, a, r, s'\}\) zebranych z otoczenia.

Należy zauważyć, że parametry z poprzedniej iteracji \(\theta_{i-1}\) są stałe i nie aktualizowane. W praktyce zamiast ostatniej iteracji używamy migawki parametrów sieci sprzed kilku iteracji. Ta kopia jest nazywana siecią docelową.

Q-learning jest algorytmem off-polityka, który dowiaduje się o polityce chciwy \(a = \max_{a} Q(s, a; \theta)\) podczas korzystania inną politykę zachowanie dla działających w środowisku / zbieranie danych. Ta polityka zachowanie jest zwykle \(\epsilon\)-greedy polityka, który wybiera chciwy akcja z prawdopodobieństwem \(1-\epsilon\) i przypadkowej akcji z prawdopodobieństwem \(\epsilon\) aby zapewnić dobre pokrycie przestrzeni state-action.

Przeżyj powtórkę

Aby uniknąć obliczania pełnej wartości oczekiwanej straty DQN, możemy ją zminimalizować za pomocą stochastycznego spadku gradientu. Jeśli ubytek jest obliczany za pomocą tylko ostatniego przejścia \(\{s, a, r, s'\}\), zmniejsza standardowej Q Nauk.

Prace Atari DQN wprowadziły technikę o nazwie Experience Replay, aby uczynić aktualizacje sieci bardziej stabilnymi. Na każdym etapie w czasie zbierania danych, dodawane są do przejścia w buforze cyklicznym zwany bufor do odtwarzania. Następnie podczas treningu, zamiast używać tylko ostatniego przejścia do obliczenia straty i jej gradientu, obliczamy je za pomocą mini-partii przejść próbkowanych z bufora powtórek. Ma to dwie zalety: lepszą wydajność danych dzięki ponownemu wykorzystaniu każdego przejścia w wielu aktualizacjach oraz lepszą stabilność przy użyciu nieskorelowanych przejść w partii.

DQN na Cartpole w TF-Agents

TF-Agents zapewnia wszystkie komponenty niezbędne do szkolenia agenta DQN, takie jak sam agent, środowisko, polityki, sieci, bufory odtwarzania, pętle zbierania danych i metryki. Komponenty te są zaimplementowane jako funkcje Pythona lub operacje wykresów TensorFlow, a także mamy wrappery do konwersji między nimi. Dodatkowo TF-Agents obsługuje tryb TensorFlow 2.0, który umożliwia nam używanie TF w trybie imperatywnym.

Następnie spojrzeć w poradniku do szkolenia agenta DQN na środowisko Cartpole używając TF-Agentów .