Zaktualizuj „*var” zgodnie z algorytmem Adama.
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{v_t} + \epsilon)$$
Klasy zagnieżdżone
klasa | ZasóbApplyAdam.Opcje | Opcjonalne atrybuty dla ResourceApplyAdam |
Stałe
Smyczkowy | OP_NAME | Nazwa tej operacji znana silnikowi rdzenia TensorFlow |
Metody publiczne
statyczny <T rozszerza TType > ResourceApplyAdam | utwórz ( Zakres zasięgu , Operand <?> var, Operand <?> m, Operand <?> v, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operand <T> beta1, Argument <T > beta2, Operand <T> epsilon, Operand <T> grad, Opcje... opcje) Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację ResourceApplyAdam. |
statyczny ResourceApplyAdam.Options | useLocking (boolowski useLocking) |
statyczny ResourceApplyAdam.Options | useNesterov (Boolean useNesterov) |
Metody dziedziczone
Stałe
publiczny statyczny końcowy ciąg znaków OP_NAME
Nazwa tej operacji znana silnikowi rdzenia TensorFlow
Metody publiczne
public static ResourceApplyAdam create ( Zakres zakresu, Operand <?> var, Operand <?> m, Operand <?> v, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operand <T> beta1, Operand <T> beta2, Argument <T> epsilon, Argument <T> grad, Opcje... opcje)
Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację ResourceApplyAdam.
Parametry
zakres | aktualny zakres |
---|---|
odm | Powinno pochodzić ze zmiennej (). |
M | Powinno pochodzić ze zmiennej (). |
w | Powinien pochodzić ze zmiennej (). |
beta1Moc | Musi być skalarem. |
beta2Power | Musi być skalarem. |
lr | Współczynnik skalowania. Musi być skalarem. |
beta1 | Czynnik pędu. Musi być skalarem. |
beta2 | Czynnik pędu. Musi być skalarem. |
epsilon | Termin grzbietowy. Musi być skalarem. |
absolwent | Gradient. |
opcje | przenosi opcjonalne wartości atrybutów |
Powroty
- nową instancję ResourceApplyAdam
public static ResourceApplyAdam.Options useLocking (Boolean useLocking)
Parametry
użyjBlokowanie | Jeśli `True`, aktualizacja tensorów var, m i v będzie chroniona blokadą; w przeciwnym razie zachowanie jest niezdefiniowane, ale może wykazywać mniejszą rywalizację. |
---|
public static ResourceApplyAdam.Options useNesterov (Boolean useNesterov)
Parametry
użyj Niestierowa | Jeśli „True”, używa aktualizacji Nesterov. |
---|