Actualice '*var' según el algoritmo RMSProp.
Tenga en cuenta que en una implementación densa de este algoritmo, ms y mom se actualizarán incluso si el grad es cero, pero en esta implementación escasa, ms y mom no se actualizarán en iteraciones durante las cuales el grad sea cero.
cuadrado_medio = decaimiento * cuadrado_medio + (1-decaimiento) * gradiente ** 2 Delta = tasa_de_aprendizaje * gradiente / sqrt (cuadrado_medio + épsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mamá <- impulso * mamá_{t-1} + lr * grad / sqrt(ms + épsilon) var <- var - mamá
Clases anidadas
clase | ResourceSparseApplyRmsProp.Opciones | Atributos opcionales para ResourceSparseApplyRmsProp |
Constantes
Cadena | OP_NOMBRE | El nombre de esta operación, como lo conoce el motor central de TensorFlow. |
Métodos públicos
estático <T extiende TType > ResourceSparseApplyRmsProp | crear ( Alcance alcance, Operando <?> var, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> impulso, Operando <T> épsilon, Operando <T > grad, Operando <? extiende TNumber > índices, Opciones... opciones) Método de fábrica para crear una clase que envuelve una nueva operación ResourceSparseApplyRmsProp. |
estático ResourceSparseApplyRmsProp.Options | useLocking (uso booleano Locking) |
Métodos heredados
Constantes
Cadena final estática pública OP_NAME
El nombre de esta operación, como lo conoce el motor central de TensorFlow.
Métodos públicos
public static ResourceSparseApplyRmsProp create ( Alcance alcance, Operando <?> var, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> impulso, Operando <T> épsilon, Operando <T> grad, Operando <? extiende TNumber > índices, Opciones... opciones)
Método de fábrica para crear una clase que envuelve una nueva operación ResourceSparseApplyRmsProp.
Parámetros
alcance | alcance actual |
---|---|
var | Debe ser de una Variable(). |
EM | Debe ser de una Variable(). |
mamá | Debe ser de una Variable(). |
lr | Factor de escala. Debe ser un escalar. |
rho | Tasa de descomposición. Debe ser un escalar. |
épsilon | Término de cresta. Debe ser un escalar. |
graduado | El gradiente. |
índices | Un vector de índices en la primera dimensión de var, ms y mom. |
opciones | lleva valores de atributos opcionales |
Devoluciones
- una nueva instancia de ResourceSparseApplyRmsProp
ResourceSparseApplyRmsProp.Options estático público useLocking (useLocking booleano)
Parámetros
utilizarBloqueo | Si es "True", la actualización de los tensores var, ms y mom está protegida por un bloqueo; de lo contrario, el comportamiento no está definido, pero puede presentar menos contención. |
---|