Ottimizzatore che implementa l'algoritmo di Adam.
L'ottimizzazione di Adam è un metodo di discesa del gradiente stocastico basato sulla stima adattiva dei momenti del primo e del secondo ordine.
Secondo Kingma et al., 2014, il metodo è "efficiente dal punto di vista computazionale, ha pochi requisiti di memoria, è invariante al riscalamento diagonale dei gradienti ed è adatto per problemi di grandi dimensioni in termini di dati/parametri".
@vedi Kingma et al., 2014, Adam: A Method for Stochastic Optimization .
Costanti
galleggiante | BETA_ONE_DEFAULT | |
galleggiante | BETA_TWO_DEFAULT | |
galleggiante | EPSILON_DEFAULT | |
Corda | PRIMO_MOMENTO | |
galleggiante | LEARNING_RATE_DEFAULT | |
Corda | SECONDO_MOMENTO |
Costanti ereditate
Costruttori pubblici
Metodi pubblici
statico <T estende TType > Op | createAdamMinimize (ambito dell'ambito , perdita dell'operando <T>, float learningRate, float betaOne, float betaTwo, float epsilon, Opzioni... opzioni) Crea l'Operazione che minimizza la perdita |
Corda | getOptimizerName () Ottieni il nome dell'ottimizzatore. |
Corda | accordare () |
Metodi ereditati
Costanti
float finale statico pubblico BETA_ONE_DEFAULT
float finale statico pubblico BETA_TWO_DEFAULT
float finale statico pubblico EPSILON_DEFAULT
Stringa finale statica pubblica FIRST_MOMENT
float finale statico pubblico LEARNING_RATE_DEFAULT
Stringa finale statica pubblica SECOND_MOMENT
Costruttori pubblici
Adam pubblico (grafico grafico , tasso di apprendimento float)
Crea un ottimizzatore Adam
Parametri
grafico | il grafico TensorFlow |
---|---|
tasso di apprendimento | il tasso di apprendimento |
public Adam ( Grafico grafico, float learningRate, float betaOne, float betaTwo, float epsilon)
Crea un ottimizzatore Adam
Parametri
grafico | il grafico TensorFlow |
---|---|
tasso di apprendimento | il tasso di apprendimento |
betaOne | Il tasso di decadimento esponenziale per le stime del primo momento. Il valore predefinito è 0,9. |
betaDue | Il tasso di decadimento esponenziale per le stime del 2° momento. Il valore predefinito è 0,999. |
epsilon | Una piccola costante per la stabilità numerica. Questo epsilon è il "cappello epsilon" nell'articolo Kingma e Ba (nella formula appena prima della Sezione 2.1), non l'epsilon nell'algoritmo 1 dell'articolo. Il valore predefinito è 1e-8. |
public Adam (grafico grafico , nome stringa, tasso di apprendimento float)
Crea un ottimizzatore Adam
Parametri
grafico | il grafico TensorFlow |
---|---|
nome | il nome dell'ottimizzatore, per impostazione predefinita è "Adam" |
tasso di apprendimento | il tasso di apprendimento |
public Adam (grafico grafico , nome stringa, float learningRate, float betaOne, float betaTwo, float epsilon)
Crea un ottimizzatore Adam
Parametri
grafico | il grafico TensorFlow |
---|---|
nome | il nome dell'ottimizzatore, per impostazione predefinita è "Adam" |
tasso di apprendimento | il tasso di apprendimento |
betaOne | Il tasso di decadimento esponenziale per le stime del primo momento. Il valore predefinito è 0,9. |
betaDue | Il tasso di decadimento esponenziale per le stime del 2° momento. Il valore predefinito è 0,999. |
epsilon | Una piccola costante per la stabilità numerica. Questo epsilon è il "cappello epsilon" nell'articolo Kingma e Ba (nella formula appena prima della Sezione 2.1), non l'epsilon nell'algoritmo 1 dell'articolo. Il valore predefinito è 1e-8. |
Metodi pubblici
public static Op createAdamMinimize ( Scope scope, Operand <T> loss, float learningRate, float betaOne, float betaTwo, float epsilon, Opzioni... opzioni)
Crea l'Operazione che minimizza la perdita
Parametri
scopo | l'ambito TensorFlow |
---|---|
perdita | la perdita da minimizzare |
tasso di apprendimento | il tasso di apprendimento |
betaOne | Il tasso di decadimento esponenziale per le stime del primo momento. |
betaDue | Il tasso di decadimento esponenziale per le stime del 2° momento. |
epsilon | Una piccola costante per la stabilità numerica. Questo epsilon è il "cappello epsilon" nell'articolo Kingma e Ba (nella formula appena prima della Sezione 2.1), non l'epsilon nell'algoritmo 1 dell'articolo. |
opzioni | Attributi facoltativi dell'ottimizzatore |
ritorna
- l’Operazione che minimizza la perdita
Lancia
IllegalArgumentException | se l'ambito non rappresenta un grafico |
---|
public String getOptimizerName ()
Ottieni il nome dell'ottimizzatore.
ritorna
- Il nome dell'ottimizzatore.