Actualice '* var' según el algoritmo de Adam.
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{v_t} + \epsilon)$$
Clases anidadas
clase | ResourceApplyAdam.Options | Los atributos opcionales para ResourceApplyAdam |
Constantes
Cuerda | OP_NAME | El nombre de esta operación, como lo conoce el motor central de TensorFlow |
Métodos públicos
estática <T se extiende Ttype > ResourceApplyAdam | crear ( Alcance alcance, operando <?> var, operando <?> m, operando <?> v, operando <T> beta1Power, operando <T> beta2Power, operando <T> lr, operando <T> beta1, operando <T > beta2, operando <T> épsilon, operando <T> graduado, opciones ... opciones) Método de fábrica para crear una clase que envuelva una nueva operación ResourceApplyAdam. |
estáticas ResourceApplyAdam.Options | useLocking (Boolean useLocking) |
estáticas ResourceApplyAdam.Options | useNesterov (Boolean useNesterov) |
Métodos heredados
Constantes
OP_NAME pública final static String
El nombre de esta operación, como lo conoce el motor central de TensorFlow
Métodos públicos
public static ResourceApplyAdam crear ( Alcance alcance, operando <?> var, operando <?> m, operando <?> v, operando <T> beta1Power, operando <T> beta2Power, operando <T> lr, operando <T> beta1, operando <T> beta2, operando <T> épsilon, operando <T> graduado, opciones ... opciones)
Método de fábrica para crear una clase que envuelva una nueva operación ResourceApplyAdam.
Parámetros
alcance | alcance actual |
---|---|
var | Debe ser de una variable (). |
metro | Debe ser de una variable (). |
v | Debe ser de una variable (). |
beta1Power | Debe ser un escalar. |
beta2Power | Debe ser un escalar. |
lr | Factor de escala. Debe ser un escalar. |
beta1 | Factor de momento. Debe ser un escalar. |
beta2 | Factor de momento. Debe ser un escalar. |
épsilon | Término de cresta. Debe ser un escalar. |
graduado | El gradiente. |
opciones | lleva valores de atributos opcionales |
Devoluciones
- una nueva instancia de ResourceApplyAdam
estáticas pública ResourceApplyAdam.Options useLocking (booleano useLocking)
Parámetros
useLocking | Si es "True", la actualización de los tensores var, myv estará protegida por un bloqueo; de lo contrario, el comportamiento no está definido, pero puede presentar menos contención. |
---|
public static ResourceApplyAdam.Options useNesterov (booleano useNesterov)
Parámetros
useNesterov | Si es "Verdadero", usa la actualización nesterov. |
---|