Adam

classe pública Adam

Otimizador que implementa o algoritmo Adam.

A otimização de Adam é um método estocástico de descida gradiente baseado na estimativa adaptativa de momentos de primeira e segunda ordem.

Segundo Kingma et al., 2014, o método é "computacionalmente eficiente, tem pouca necessidade de memória, invariante ao redimensionamento diagonal de gradientes e é adequado para problemas grandes em termos de dados/parâmetros".

@ver Kingma et al., 2014, Adam: Um Método para Otimização Estocástica .

Constantes

flutuador BETA_ONE_DEFAULT
flutuador BETA_TWO_DEFAULT
flutuador EPSILON_DEFAULT
Corda FIRST_MOMENT
flutuador LEARNING_RATE_DEFAULT
Corda SECOND_MOMENT

Constantes herdadas

Construtores Públicos

Adam (gráfico gráfico )
Cria um otimizador Adam
Adam (gráfico gráfico , float learningRate)
Cria um otimizador Adam
Adam (gráfico gráfico , float learningRate, float betaOne, float betaTwo, float epsilon)
Cria um otimizador Adam
Adam (gráfico gráfico , nome da string, float learningRate)
Cria um otimizador Adam
Adam (gráfico gráfico , nome da string, float learningRate, float betaOne, float betaTwo, float epsilon)
Cria um otimizador Adam

Métodos Públicos

estático <T estende TType > Op
createAdamMinimize (escopo do escopo , perda do operando <T>, float learningRate, float betaOne, float betaTwo, float epsilon, Opções... opções)
Cria a Operação que minimiza a perda
Corda
getOptimizerName ()
Obtenha o nome do otimizador.
Corda

Métodos herdados

Constantes

flutuador final estático público BETA_ONE_DEFAULT

Valor Constante: 0,9

flutuador final estático público BETA_TWO_DEFAULT

Valor Constante: 0,999

flutuador final estático público EPSILON_DEFAULT

Valor constante: 1,0E-8

String final estática pública FIRST_MOMENT

Valor Constante: "m"

flutuador final estático público LEARNING_RATE_DEFAULT

Valor Constante: 0,001

String final estática pública SECOND_MOMENT

Valor constante: "v"

Construtores Públicos

Adam público (gráfico gráfico )

Cria um otimizador Adam

Parâmetros
gráfico o gráfico do TensorFlow

public Adam (gráfico gráfico , float learningRate)

Cria um otimizador Adam

Parâmetros
gráfico o gráfico do TensorFlow
taxa de Aprendizagem a taxa de aprendizagem

public Adam (gráfico gráfico , float learningRate, float betaOne, float betaTwo, float epsilon)

Cria um otimizador Adam

Parâmetros
gráfico o gráfico do TensorFlow
taxa de Aprendizagem a taxa de aprendizagem
betaOne A taxa de decaimento exponencial para as estimativas do primeiro momento. O padrão é 0,9.
betaDois A taxa de decaimento exponencial para as estimativas do segundo momento. O padrão é 0,999.
épsilon Uma pequena constante para estabilidade numérica. Este épsilon é "chapéu épsilon" no artigo de Kingma e Ba (na fórmula logo antes da Seção 2.1), não o épsilon no Algoritmo 1 do artigo. O padrão é 1e-8.

público Adam ( gráfico , nome da string, float learningRate)

Cria um otimizador Adam

Parâmetros
gráfico o gráfico do TensorFlow
nome o nome do Otimizador, o padrão é "Adam"
taxa de Aprendizagem a taxa de aprendizagem

public Adam (gráfico gráfico , nome da string, float learningRate, float betaOne, float betaTwo, float epsilon)

Cria um otimizador Adam

Parâmetros
gráfico o gráfico do TensorFlow
nome o nome do Otimizador, o padrão é "Adam"
taxa de Aprendizagem a taxa de aprendizagem
betaOne A taxa de decaimento exponencial para as estimativas do primeiro momento. O padrão é 0,9.
betaDois A taxa de decaimento exponencial para as estimativas do segundo momento. O padrão é 0,999.
épsilon Uma pequena constante para estabilidade numérica. Este épsilon é "chapéu épsilon" no artigo de Kingma e Ba (na fórmula logo antes da Seção 2.1), não o épsilon no Algoritmo 1 do artigo. O padrão é 1e-8.

Métodos Públicos

public static Op createAdamMinimize (escopo de escopo , perda de operando <T>, float learningRate, float betaOne, float betaTwo, float epsilon, Options... options)

Cria a Operação que minimiza a perda

Parâmetros
escopo o escopo do TensorFlow
perda a perda para minimizar
taxa de Aprendizagem a taxa de aprendizagem
betaOne A taxa de decaimento exponencial para as estimativas do primeiro momento.
betaDois A taxa de decaimento exponencial para as estimativas do segundo momento.
épsilon Uma pequena constante para estabilidade numérica. Este épsilon é "chapéu épsilon" no artigo de Kingma e Ba (na fórmula logo antes da Seção 2.1), não o épsilon no Algoritmo 1 do artigo.
opções Atributos opcionais do otimizador
Devoluções
  • a Operação que minimiza a perda
Lança
Exceção de argumento ilegal se o escopo não representa um gráfico

String pública getOptimizerName ()

Obtenha o nome do otimizador.

Devoluções
  • O nome do otimizador.

String pública paraString ()