ResourceSparseApplyRmsProp

classe final pública ResourceSparseApplyRmsProp

Atualize '*var' de acordo com o algoritmo RMSProp.

Observe que na implementação densa desse algoritmo, ms e mom serão atualizados mesmo se o grad for zero, mas nesta implementação esparsa, ms e mom não serão atualizados em iterações durante as quais o grad for zero.

quadrado_médio = decaimento * quadrado_médio + (1-decaimento) * gradiente ** 2 Delta = taxa de aprendizagem * gradiente / sqrt (quadrado_médio + épsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + épsilon) var <- var - mom

Classes aninhadas

aula ResourceSparseApplyRmsProp.Options Atributos opcionais para ResourceSparseApplyRmsProp

Constantes

Corda OP_NAME O nome desta operação, conforme conhecido pelo mecanismo principal do TensorFlow

Métodos Públicos

estático <T estende TType > ResourceSparseApplyRmsProp
create ( Escopo , Operando <?> var, Operando <?> ms, Operando <?> mãe, Operando <T> lr, Operando <T> rho, Operando <T> momentum, Operando <T> epsilon, Operando <T > grad, Operando <? estende TNumber > índices, Opções... opções)
Método de fábrica para criar uma classe que agrupa uma nova operação ResourceSparseApplyRmsProp.
ResourceSparseApplyRmsProp.Options estático
useLocking (booleano useLocking)

Métodos herdados

Constantes

String final estática pública OP_NAME

O nome desta operação, conforme conhecido pelo mecanismo principal do TensorFlow

Valor Constante: "ResourceSparseApplyRMSProp"

Métodos Públicos

public static ResourceSparseApplyRmsProp create (Escopo escopo , Operando <?> var, Operando <?> ms, Operando <?> mãe, Operando <T> lr, Operando <T> rho, Operando <T> momentum, Operando <T> épsilon, Operando <T> grad, Operando <? estende TNumber > índices, Opções... opções)

Método de fábrica para criar uma classe que agrupa uma nova operação ResourceSparseApplyRmsProp.

Parâmetros
escopo escopo atual
var Deve ser de uma variável().
EM Deve ser de uma variável().
mãe Deve ser de uma variável().
lr Fator de escala. Deve ser um escalar.
Taxa de decaimento. Deve ser um escalar.
épsilon Termo de cume. Deve ser um escalar.
graduado O gradiente.
índices Um vetor de índices na primeira dimensão de var, ms e mom.
opções carrega valores de atributos opcionais
Devoluções
  • uma nova instância de ResourceSparseApplyRmsProp

public static ResourceSparseApplyRmsProp.Options useLocking (booleano useLocking)

Parâmetros
useLocking Se `True`, a atualização dos tensores var, ms e mom é protegida por um bloqueio; caso contrário, o comportamento será indefinido, mas poderá apresentar menos contenção.