ResourceApplyAdamWithAmsgrad

classe finale pubblica ResourceApplyAdamWithAmsgrad

Aggiorna '* var' secondo l'algoritmo di Adam.

$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$
$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$
$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$
$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$
$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$

Classi annidate

classe ResourceApplyAdamWithAmsgrad.Options Attributi facoltativi per ResourceApplyAdamWithAmsgrad

Metodi pubblici

static <T> ResourceApplyAdamWithAmsgrad
create ( ambito ambito, operando <?> var, operando <?> m, operando <?> v, operando <?> vhat, operando <T> beta1Power, operando <T> beta2Power, operando <T> lr, operando <T > beta1, Operando <T> beta2, Operando <T> epsilon, Operando <T> grad, Opzioni ... opzioni)
Metodo Factory per creare una classe che esegue il wrapping di una nuova operazione ResourceApplyAdamWithAmsgrad.
statico ResourceApplyAdamWithAmsgrad.Options
useLocking (booleano useLocking)

Metodi ereditati

Metodi pubblici

public static ResourceApplyAdamWithAmsgrad create ( Scope scope, Operand <?> var, Operand <?> m, Operand <?> v, Operand <?> vhat, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operando <T> beta1, Operando <T> beta2, Operando <T> epsilon, Operando <T> grad, Opzioni ... opzioni)

Metodo Factory per creare una classe che esegue il wrapping di una nuova operazione ResourceApplyAdamWithAmsgrad.

Parametri
scopo ambito attuale
var Dovrebbe provenire da una variabile ().
m Dovrebbe provenire da una variabile ().
v Dovrebbe provenire da una variabile ().
vhat Dovrebbe provenire da una variabile ().
beta1Power Deve essere uno scalare.
beta2Power Deve essere uno scalare.
lr Fattore di scala. Deve essere uno scalare.
beta1 Fattore di quantità di moto. Deve essere uno scalare.
beta2 Fattore di quantità di moto. Deve essere uno scalare.
epsilon Termine di cresta. Deve essere uno scalare.
grad Il gradiente.
opzioni trasporta valori di attributi opzionali
ritorna
  • una nuova istanza di ResourceApplyAdamWithAmsgrad

public static ResourceApplyAdamWithAmsgrad.Options useLocking (Boolean useLocking)

Parametri
useLocking Se "True", l'aggiornamento dei tensori var, m e v sarà protetto da un blocco; in caso contrario, il comportamento è indefinito, ma potrebbe presentare meno contese.