SparseApplyCenteredRmsProp

публичный финальный класс SparseApplyCenteredRmsProp

Обновите «*var» в соответствии с центрированным алгоритмом RMSProp.

Алгоритм центрированного RMSProp использует оценку центрированного второго момента (т. е. дисперсии) для нормализации, в отличие от обычного алгоритма RMSProp, который использует (нецентрированный) второй момент. Это часто помогает при обучении, но требует немного больше затрат с точки зрения вычислений и памяти.

Обратите внимание, что в плотной реализации этого алгоритма mg, ms и Mom будут обновляться, даже если градиент равен нулю, но в этой разреженной реализации mg, ms и Mom не будут обновляться на итерациях, во время которых градиент равен нулю.

средний_квадрат = затухание * средний_квадрат + (1-распад) * градиент ** 2 средний_град = затухание * средний_град + (1-распад) * градиент Дельта = скорость обучения * градиент / sqrt(средний_квадрат + эпсилон - средний_град ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$

Вложенные классы

сорт SparseApplyCenteredRmsProp.Options Необязательные атрибуты для SparseApplyCenteredRmsProp

Константы

Нить OP_NAME Название этой операции, известное основному движку TensorFlow.

Публичные методы

Выход <Т>
какВывод ()
Возвращает символический дескриптор тензора.
static <T расширяет TType > SparseApplyCenteredRmsProp <T>
create ( Область действия , Операнд <T> var, Операнд <T> mg, Операнд <T> мс, Операнд <T> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T > эпсилон, операнд <T> град, операнд <? расширяет индексы TNumber >, параметры... параметры)
Фабричный метод для создания класса, обертывающего новую операцию SparseApplyCenteredRmsProp.
Выход <Т>
вне ()
То же, что «вар».
статический SparseApplyCenteredRmsProp.Options
useLocking (логическое значение useLocking)

Унаследованные методы

Константы

общедоступная статическая финальная строка OP_NAME

Название этой операции, известное основному движку TensorFlow.

Постоянное значение: «SparseApplyCenteredRMSProp»

Публичные методы

публичный вывод <T> asOutput ()

Возвращает символический дескриптор тензора.

Входные данные для операций TensorFlow являются выходными данными другой операции TensorFlow. Этот метод используется для получения символического дескриптора, который представляет собой вычисление входных данных.

public static SparseApplyCenteredRmsProp <T> create ( Область действия , Операнд <T> var, Операнд <T> mg, Операнд <T> мс, Операнд <T> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T > импульс, операнд <T> эпсилон, операнд <T> град, операнд <? расширяет индексы TNumber >, параметры... параметры)

Фабричный метод для создания класса, обертывающего новую операцию SparseApplyCenteredRmsProp.

Параметры
объем текущий объем
вар Должно быть из переменной().
мг Должно быть из переменной().
РС Должно быть из переменной().
мама Должно быть из переменной().
лр Масштабирующий коэффициент. Должно быть скаляр.
ро Скорость распада. Должно быть скаляр.
эпсилон Риджовый термин. Должно быть скаляр.
выпускник Градиент.
индексы Вектор индексов в первом измерении var, ms и Mom.
параметры содержит значения необязательных атрибутов
Возврат
  • новый экземпляр SparseApplyCenteredRmsProp

публичный вывод <T> out ()

То же, что «вар».

public static SparseApplyCenteredRmsProp.Options useLocking (логическое значение useLocking)

Параметры
использоватьLocking Если задано значение True, обновление тензоров var, mg, ms и Mom защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов.