ResourceSparseApplyRmsProp

публичный финальный класс ResourceSparseApplyRmsProp

Обновите «*var» в соответствии с алгоритмом RMSProp.

Обратите внимание, что в плотной реализации этого алгоритма ms и Mom будут обновляться, даже если градация равна нулю, но в этой разреженной реализации ms и Mom не будут обновляться на итерациях, во время которых градация равна нулю.

средний_квадрат = затухание * средний_квадрат + (1-затухание) * градиент ** 2 Дельта = скорость обучения * градиент / sqrt(средний_квадрат + эпсилон)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad Mom <- импульс * Mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - Mom

Вложенные классы

сорт ResourceSparseApplyRmsProp.Options Дополнительные атрибуты для ResourceSparseApplyRmsProp

Константы

Нить OP_NAME Название этой операции, известное основному движку TensorFlow.

Публичные методы

static <T расширяет TType > ResourceSparseApplyRmsProp
create ( Область видимости , Операнд <?> var, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T> эпсилон, Операнд <T > град, операнд <? расширяет TNumber > индексы, параметры... параметры)
Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyRmsProp.
статический ResourceSparseApplyRmsProp.Options
useLocking (логическое значение useLocking)

Унаследованные методы

Константы

общедоступная статическая финальная строка OP_NAME

Название этой операции, известное основному движку TensorFlow.

Постоянное значение: «ResourceSparseApplyRMSProp»

Публичные методы

public static ResourceSparseApplyRmsProp create ( Область действия, Операнд <?> var, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> ро, Операнд <T> импульс, Операнд <T> эпсилон, Операнд <T> град, Операнд <? расширяет индексы TNumber >, Опции... опции)

Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyRmsProp.

Параметры
объем текущий объем
вар Должно быть из переменной().
РС Должно быть из переменной().
мама Должно быть из переменной().
лр Коэффициент масштабирования. Должно быть скаляр.
ро Скорость распада. Должно быть скаляр.
эпсилон Риджовый термин. Должно быть скаляр.
выпускник Градиент.
индексы Вектор индексов в первом измерении var, ms и Mom.
параметры содержит значения необязательных атрибутов
Возврат
  • новый экземпляр ResourceSparseApplyRmsProp

public static ResourceSparseApplyRmsProp.Options useLocking (логическое значение useLocking)

Параметры
использоватьLocking Если «True», обновление тензоров var, ms и Mom защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов.