classe finale pubblica ResourceApplyAdamWithAmsgrad
Aggiorna '* var' secondo l'algoritmo di Adam.
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$
$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$
$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$
$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$
$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$
Classi annidate
classe | ResourceApplyAdamWithAmsgrad.Options | Attributi facoltativi per ResourceApplyAdamWithAmsgrad |
Metodi pubblici
static <T> ResourceApplyAdamWithAmsgrad | create ( ambito ambito, operando <?> var, operando <?> m, operando <?> v, operando <?> vhat, operando <T> beta1Power, operando <T> beta2Power, operando <T> lr, operando <T > beta1, Operando <T> beta2, Operando <T> epsilon, Operando <T> grad, Opzioni ... opzioni) Metodo Factory per creare una classe che esegue il wrapping di una nuova operazione ResourceApplyAdamWithAmsgrad. |
statico ResourceApplyAdamWithAmsgrad.Options | useLocking (booleano useLocking) |
Metodi ereditati
Metodi pubblici
public static ResourceApplyAdamWithAmsgrad create ( Scope scope, Operand <?> var, Operand <?> m, Operand <?> v, Operand <?> vhat, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operando <T> beta1, Operando <T> beta2, Operando <T> epsilon, Operando <T> grad, Opzioni ... opzioni)
Metodo Factory per creare una classe che esegue il wrapping di una nuova operazione ResourceApplyAdamWithAmsgrad.
Parametri
scopo | ambito attuale |
---|---|
var | Dovrebbe provenire da una variabile (). |
m | Dovrebbe provenire da una variabile (). |
v | Dovrebbe provenire da una variabile (). |
vhat | Dovrebbe provenire da una variabile (). |
beta1Power | Deve essere uno scalare. |
beta2Power | Deve essere uno scalare. |
lr | Fattore di scala. Deve essere uno scalare. |
beta1 | Fattore di quantità di moto. Deve essere uno scalare. |
beta2 | Fattore di quantità di moto. Deve essere uno scalare. |
epsilon | Termine di cresta. Deve essere uno scalare. |
grad | Il gradiente. |
opzioni | trasporta valori di attributi opzionali |
ritorna
- una nuova istanza di ResourceApplyAdamWithAmsgrad
public static ResourceApplyAdamWithAmsgrad.Options useLocking (Boolean useLocking)
Parametri
useLocking | Se "True", l'aggiornamento dei tensori var, m e v sarà protetto da un blocco; in caso contrario, il comportamento è indefinito, ma potrebbe presentare meno contese. |
---|