Adam

classe pubblica Adamo

Ottimizzatore che implementa l'algoritmo di Adam.

L'ottimizzazione di Adam è un metodo di discesa del gradiente stocastico basato sulla stima adattiva dei momenti del primo e del secondo ordine.

Secondo Kingma et al., 2014, il metodo è "efficiente dal punto di vista computazionale, ha pochi requisiti di memoria, è invariante al riscalamento diagonale dei gradienti ed è adatto per problemi di grandi dimensioni in termini di dati/parametri".

@vedi Kingma et al., 2014, Adam: A Method for Stochastic Optimization .

Costanti

galleggiante BETA_ONE_DEFAULT
galleggiante BETA_TWO_DEFAULT
galleggiante EPSILON_DEFAULT
Corda PRIMO_MOMENTO
galleggiante LEARNING_RATE_DEFAULT
Corda SECONDO_MOMENTO

Costanti ereditate

Costruttori pubblici

Adam (grafico grafico )
Crea un ottimizzatore Adam
Adam (grafico grafico , tasso di apprendimento float)
Crea un ottimizzatore Adam
Adam ( Grafico grafico, float learningRate, float betaOne, float betaTwo, float epsilon)
Crea un ottimizzatore Adam
Adam (grafico grafico , nome stringa, tasso di apprendimento float)
Crea un ottimizzatore Adam
Adam (grafico grafico , nome stringa, float learningRate, float betaOne, float betaTwo, float epsilon)
Crea un ottimizzatore Adam

Metodi pubblici

statico <T estende TType > Op
createAdamMinimize (ambito dell'ambito , perdita dell'operando <T>, float learningRate, float betaOne, float betaTwo, float epsilon, Opzioni... opzioni)
Crea l'Operazione che minimizza la perdita
Corda
getOptimizerName ()
Ottieni il nome dell'ottimizzatore.
Corda

Metodi ereditati

Costanti

float finale statico pubblico BETA_ONE_DEFAULT

Valore costante: 0,9

float finale statico pubblico BETA_TWO_DEFAULT

Valore costante: 0,999

float finale statico pubblico EPSILON_DEFAULT

Valore costante: 1.0E-8

Stringa finale statica pubblica FIRST_MOMENT

Valore costante: "m"

float finale statico pubblico LEARNING_RATE_DEFAULT

Valore costante: 0,001

Stringa finale statica pubblica SECOND_MOMENT

Valore costante: "v"

Costruttori pubblici

pubblico Adam (grafico grafico )

Crea un ottimizzatore Adam

Parametri
grafico il grafico TensorFlow

Adam pubblico (grafico grafico , tasso di apprendimento float)

Crea un ottimizzatore Adam

Parametri
grafico il grafico TensorFlow
tasso di apprendimento il tasso di apprendimento

public Adam ( Grafico grafico, float learningRate, float betaOne, float betaTwo, float epsilon)

Crea un ottimizzatore Adam

Parametri
grafico il grafico TensorFlow
tasso di apprendimento il tasso di apprendimento
betaOne Il tasso di decadimento esponenziale per le stime del primo momento. Il valore predefinito è 0,9.
betaDue Il tasso di decadimento esponenziale per le stime del 2° momento. Il valore predefinito è 0,999.
epsilon Una piccola costante per la stabilità numerica. Questo epsilon è il "cappello epsilon" nell'articolo Kingma e Ba (nella formula appena prima della Sezione 2.1), non l'epsilon nell'algoritmo 1 dell'articolo. Il valore predefinito è 1e-8.

public Adam (grafico grafico , nome stringa, tasso di apprendimento float)

Crea un ottimizzatore Adam

Parametri
grafico il grafico TensorFlow
nome il nome dell'ottimizzatore, per impostazione predefinita è "Adam"
tasso di apprendimento il tasso di apprendimento

public Adam (grafico grafico , nome stringa, float learningRate, float betaOne, float betaTwo, float epsilon)

Crea un ottimizzatore Adam

Parametri
grafico il grafico TensorFlow
nome il nome dell'ottimizzatore, per impostazione predefinita è "Adam"
tasso di apprendimento il tasso di apprendimento
betaOne Il tasso di decadimento esponenziale per le stime del primo momento. Il valore predefinito è 0,9.
betaDue Il tasso di decadimento esponenziale per le stime del 2° momento. Il valore predefinito è 0,999.
epsilon Una piccola costante per la stabilità numerica. Questo epsilon è il "cappello epsilon" nell'articolo Kingma e Ba (nella formula appena prima della Sezione 2.1), non l'epsilon nell'algoritmo 1 dell'articolo. Il valore predefinito è 1e-8.

Metodi pubblici

public static Op createAdamMinimize ( Scope scope, Operand <T> loss, float learningRate, float betaOne, float betaTwo, float epsilon, Opzioni... opzioni)

Crea l'Operazione che minimizza la perdita

Parametri
scopo l'ambito TensorFlow
perdita la perdita da minimizzare
tasso di apprendimento il tasso di apprendimento
betaOne Il tasso di decadimento esponenziale per le stime del primo momento.
betaDue Il tasso di decadimento esponenziale per le stime del 2° momento.
epsilon Una piccola costante per la stabilità numerica. Questo epsilon è il "cappello epsilon" nell'articolo Kingma e Ba (nella formula appena prima della Sezione 2.1), non l'epsilon nell'algoritmo 1 dell'articolo.
opzioni Attributi facoltativi dell'ottimizzatore
ritorna
  • l’Operazione che minimizza la perdita
Lancia
IllegalArgumentException se l'ambito non rappresenta un grafico

public String getOptimizerName ()

Ottieni il nome dell'ottimizzatore.

ritorna
  • Il nome dell'ottimizzatore.

stringa pubblica toString ()