ResourceApplyCenteredRmsProp

publiczna klasa końcowa ResourceApplyCenteredRmsProp

Zaktualizuj „*var” zgodnie z wyśrodkowanym algorytmem RMSProp.

Wyśrodkowany algorytm RMSProp wykorzystuje oszacowanie wyśrodkowanego drugiego momentu (tj. wariancji) do normalizacji, w przeciwieństwie do zwykłego RMSProp, który wykorzystuje (niewyśrodkowany) drugi moment. Często pomaga to w treningu, ale jest nieco droższe pod względem obliczeń i pamięci.

Należy zauważyć, że w gęstej implementacji tego algorytmu mg, ms i mama zostaną zaktualizowane, nawet jeśli grad wynosi zero, ale w tej rzadkiej implementacji mg, ms i mama nie będą aktualizowane w iteracjach, podczas których grad wynosi zero.

średnia_kwadrat = zanik * średnia_kwadrat + (1-zanik) * gradient ** 2 średnia_grad = zanik * średnia_grad + (1-zanik) * gradient

Delta = współczynnik uczenia się * gradient / sqrt(średnia_kwadrat + epsilon - średnia_grad ** 2)

mg <- rho * mg_{t-1} + (1-rho) * grad ms <- rho * ms_{t-1} + (1-rho) * grad * grad mama <- pęd * mama_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mama

Klasy zagnieżdżone

klasa

ResourceApplyCenteredRmsProp.Opcje

Opcjonalne atrybuty dla ResourceApplyCenteredRmsProp

Stałe

Strunowy

OP_NAME

Nazwa tej operacji znana silnikowi rdzenia TensorFlow

Metody publiczne

statyczny <T rozszerza TType > ResourceApplyCenteredRmsProp	utwórz ( Zakres zakresu, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mama, Argument <T> lr, Argument <T> rho, Argument <T> pęd, Argument <T > epsilon, Operand <T> grad, Opcje... opcje) Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację ResourceApplyCenteredRmsProp.
statyczne ResourceApplyCenteredRmsProp.Options	useLocking (boolowski useLocking)

Metody dziedziczone

Z klasy org.tensorflow.op.RawOp

końcowa wartość logiczna	równa się (obiekt obiektu)
końcowy wew	hashCode ()
Operacja	op () Zwróć tę jednostkę obliczeniową jako pojedynczą Operation .
ostatni ciąg	doString ()

Z klasy java.lang.Object

wartość logiczna	równa się (Obiekt arg0)
ostatnia klasa<?>	pobierzKlasę ()
wew	hashCode ()
ostateczna pustka	powiadomić ()
ostateczna pustka	powiadom wszystkich ()
Strunowy	doString ()
ostateczna pustka	czekaj (długi arg0, int arg1)
ostateczna pustka	czekaj (długi arg0)
ostateczna pustka	Czekać ()

Z interfejsu org.tensorflow.op.Op

abstrakcyjne środowisko wykonania	środowisko () Zwróć środowisko wykonawcze, w którym utworzono tę operację.
abstrakcyjna operacja	op () Zwróć tę jednostkę obliczeniową jako pojedynczą Operation .

Stałe

publiczny statyczny końcowy ciąg znaków OP_NAME

Nazwa tej operacji znana silnikowi rdzenia TensorFlow

Wartość stała: „ResourceApplyCenteredRMSProp”

Metody publiczne

public static ResourceApplyCenteredRmsProp create ( Zakres zakresu, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mama, Operand <T> lr, Operand <T> rho, Operand <T> pęd, Operand <T> epsilon, Operand <T> grad, Opcje... opcje)

Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację ResourceApplyCenteredRmsProp.

Parametry

zakres	aktualny zakres
odm	Powinno pochodzić ze zmiennej ().
mg	Powinno pochodzić ze zmiennej ().
SM	Powinno pochodzić ze zmiennej ().
mama	Powinno pochodzić ze zmiennej ().
lr	Współczynnik skalowania. Musi być skalarem.
rho	Szybkość zaniku. Musi być skalarem.
pęd	Skala pędu. Musi być skalarem.
epsilon	Termin grzbietowy. Musi być skalarem.
absolwent	Gradient.
opcje	przenosi opcjonalne wartości atrybutów

Zwroty

• nowe wystąpienie ResourceApplyCenteredRmsProp

public static ResourceApplyCenteredRmsProp.Options useLocking (Boolean useLocking)

Parametry

użyjBlokowanie	Jeśli `True`, aktualizacja tensorów var, mg, ms i mama jest zabezpieczona blokadą; w przeciwnym razie zachowanie jest niezdefiniowane, ale może wykazywać mniejszą rywalizację.