ResourceSparseApplyCenteredRmsProp

clase final pública ResourceSparseApplyCenteredRmsProp

Actualice '*var' según el algoritmo RMSProp centrado.

El algoritmo RMSProp centrado utiliza una estimación del segundo momento centrado (es decir, la varianza) para la normalización, a diferencia del RMSProp normal, que utiliza el segundo momento (no centrado). Esto suele ayudar con la formación, pero es un poco más caro en términos de cálculo y memoria.

Tenga en cuenta que en una implementación densa de este algoritmo, mg, ms y mom se actualizarán incluso si el grad es cero, pero en esta implementación escasa, mg, ms y mom no se actualizarán en iteraciones durante las cuales el grad es cero.

cuadrado_medio = decaimiento * cuadrado_medio + (1-decaimiento) * gradiente ** 2 grad_medio = decaimiento * grad_medio + (1-decaimiento) * gradiente Delta = tasa de aprendizaje * gradiente / sqrt (cuadrado_medio + épsilon - grad_medio ** 2)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mamá <- impulso * mamá_{t-1} + lr * grad / sqrt(ms + épsilon) var <- var - mamá

Clases anidadas

clase ResourceSparseApplyCenteredRmsProp.Options Atributos opcionales para ResourceSparseApplyCenteredRmsProp

Constantes

Cadena OP_NOMBRE El nombre de esta operación, como lo conoce el motor central de TensorFlow.

Métodos públicos

estático <T extiende TType > ResourceSparseApplyCenteredRmsProp
crear ( Alcance alcance, Operando <?> var, Operando <?> mg, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> impulso, Operando <T > épsilon, Operando <T> grad, Operando <? extiende TNumber > índices, Opciones... opciones)
Método de fábrica para crear una clase que envuelve una nueva operación ResourceSparseApplyCenteredRmsProp.
estático ResourceSparseApplyCenteredRmsProp.Options
useLocking (uso booleano Locking)

Métodos heredados

Constantes

Cadena final estática pública OP_NAME

El nombre de esta operación, como lo conoce el motor central de TensorFlow.

Valor constante: "ResourceSparseApplyCenteredRMSProp"

Métodos públicos

public static ResourceSparseApplyCenteredRmsProp create ( Alcance alcance, Operando <?> var, Operando <?> mg, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> impulso, Operando <T> épsilon, Operando <T> grad, Operando <? extiende TNumber > índices, Opciones... opciones)

Método de fábrica para crear una clase que envuelve una nueva operación ResourceSparseApplyCenteredRmsProp.

Parámetros
alcance alcance actual
var Debe ser de una Variable().
mg Debe ser de una Variable().
EM Debe ser de una Variable().
mamá Debe ser de una Variable().
lr Factor de escala. Debe ser un escalar.
rho Tasa de descomposición. Debe ser un escalar.
épsilon Término de cresta. Debe ser un escalar.
graduado El gradiente.
índices Un vector de índices en la primera dimensión de var, ms y mom.
opciones lleva valores de atributos opcionales
Devoluciones
  • una nueva instancia de ResourceSparseApplyCenteredRmsProp

ResourceSparseApplyCenteredRmsProp.Options estático público useLocking (useLocking booleano)

Parámetros
utilizarBloqueo Si es "True", la actualización de los tensores var, mg, ms y mom está protegida por un bloqueo; de lo contrario, el comportamiento no está definido, pero puede presentar menos contención.