Actualice '* var' de acuerdo con el algoritmo RMSProp.
Tenga en cuenta que en una implementación densa de este algoritmo, ms y mom se actualizarán incluso si el graduado es cero, pero en esta implementación escasa, ms y mom no se actualizarán en iteraciones durante las cuales el grad es cero.
mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = learning_rate * gradiente / sqrt (mean_square + épsilon)
ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- momentum * mom_ {t-1} + lr * grad / sqrt (ms + epsilon) var <- var - mom
Clases anidadas
clase | ResourceSparseApplyRmsProp.Options | Los atributos opcionales para ResourceSparseApplyRmsProp |
Constantes
Cuerda | OP_NAME | El nombre de esta operación, como lo conoce el motor central de TensorFlow |
Métodos públicos
estática <T se extiende Ttype > ResourceSparseApplyRmsProp | crear ( Alcance alcance, operando <?> var, operando <?> ms, operando <?> mamá, operando <T> lr, operando <T> rho, operando <T> impulso, operando <T> épsilon, operando <T > graduado, operando <? extiende TNumber > índices, opciones ... opciones) Método de fábrica para crear una clase que envuelva una nueva operación ResourceSparseApplyRmsProp. |
estáticas ResourceSparseApplyRmsProp.Options | useLocking (Boolean useLocking) |
Métodos heredados
Constantes
OP_NAME pública final static String
El nombre de esta operación, como lo conoce el motor central de TensorFlow
Métodos públicos
public static ResourceSparseApplyRmsProp crear ( Alcance alcance, operando <?> var, operando <?> ms, operando <?> mamá, operando <T> lr, operando <T> rho, operando <T> impulso, operando <T> épsilon, operando <T> graduado, operando <? extiende TNumber > índices, opciones ... opciones)
Método de fábrica para crear una clase que envuelva una nueva operación ResourceSparseApplyRmsProp.
Parámetros
alcance | alcance actual |
---|---|
var | Debe ser de una variable (). |
Sra | Debe ser de una variable (). |
mamá | Debe ser de una variable (). |
lr | Factor de escala. Debe ser un escalar. |
rho | Tasa de descomposición. Debe ser un escalar. |
épsilon | Término de la cresta. Debe ser un escalar. |
graduado | El gradiente. |
índices | Un vector de índices en la primera dimensión de var, ms y mom. |
opciones | lleva valores de atributos opcionales |
Devoluciones
- una nueva instancia de ResourceSparseApplyRmsProp
estáticas pública ResourceSparseApplyRmsProp.Options useLocking (booleano useLocking)
Parámetros
useLocking | Si es "True", la actualización de los tensores var, ms y mom está protegida por un bloqueo; de lo contrario, el comportamiento no está definido, pero puede presentar menos contención. |
---|