Actualice '*var' según el algoritmo RMSProp centrado.
El algoritmo RMSProp centrado utiliza una estimación del segundo momento centrado (es decir, la varianza) para la normalización, a diferencia del RMSProp normal, que utiliza el segundo momento (no centrado). Esto suele ayudar con la formación, pero es un poco más caro en términos de cálculo y memoria.
Tenga en cuenta que en una implementación densa de este algoritmo, mg, ms y mom se actualizarán incluso si el grad es cero, pero en esta implementación escasa, mg, ms y mom no se actualizarán en iteraciones durante las cuales el grad es cero.
cuadrado_medio = decaimiento * cuadrado_medio + (1-decaimiento) * gradiente ** 2 grad_medio = decaimiento * grad_medio + (1-decaimiento) * gradiente Delta = tasa de aprendizaje * gradiente / sqrt (cuadrado_medio + épsilon - grad_medio ** 2)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mamá <- impulso * mamá_{t-1} + lr * grad / sqrt(ms + épsilon) var <- var - mamá
Clases anidadas
clase | ResourceSparseApplyCenteredRmsProp.Options | Atributos opcionales para ResourceSparseApplyCenteredRmsProp |
Constantes
Cadena | OP_NOMBRE | El nombre de esta operación, como lo conoce el motor central de TensorFlow. |
Métodos públicos
estático <T extiende TType > ResourceSparseApplyCenteredRmsProp | crear ( Alcance alcance, Operando <?> var, Operando <?> mg, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> impulso, Operando <T > épsilon, Operando <T> grad, Operando <? extiende TNumber > índices, Opciones... opciones) Método de fábrica para crear una clase que envuelve una nueva operación ResourceSparseApplyCenteredRmsProp. |
estático ResourceSparseApplyCenteredRmsProp.Options | useLocking (uso booleano Locking) |
Métodos heredados
Constantes
Cadena final estática pública OP_NAME
El nombre de esta operación, como lo conoce el motor central de TensorFlow.
Métodos públicos
public static ResourceSparseApplyCenteredRmsProp create ( Alcance alcance, Operando <?> var, Operando <?> mg, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> impulso, Operando <T> épsilon, Operando <T> grad, Operando <? extiende TNumber > índices, Opciones... opciones)
Método de fábrica para crear una clase que envuelve una nueva operación ResourceSparseApplyCenteredRmsProp.
Parámetros
alcance | alcance actual |
---|---|
var | Debe ser de una Variable(). |
mg | Debe ser de una Variable(). |
EM | Debe ser de una Variable(). |
mamá | Debe ser de una Variable(). |
lr | Factor de escala. Debe ser un escalar. |
rho | Tasa de descomposición. Debe ser un escalar. |
épsilon | Término de cresta. Debe ser un escalar. |
graduado | El gradiente. |
índices | Un vector de índices en la primera dimensión de var, ms y mom. |
opciones | lleva valores de atributos opcionales |
Devoluciones
- una nueva instancia de ResourceSparseApplyCenteredRmsProp
ResourceSparseApplyCenteredRmsProp.Options estático público useLocking (useLocking booleano)
Parámetros
utilizarBloqueo | Si es "True", la actualización de los tensores var, mg, ms y mom está protegida por un bloqueo; de lo contrario, el comportamiento no está definido, pero puede presentar menos contención. |
---|