РМСПроп

public class RMSProp<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Оптимизатор RMSProp.

Реализует алгоритм оптимизации RMSProp. RMSProp — это форма стохастического градиентного спуска, при которой градиенты делятся на скользящее среднее их недавней величины. RMSProp сохраняет скользящее среднее квадрата градиента для каждого веса.

Использованная литература:

• «Лекция 6.5 – rmsprop: разделите градиент на скользящее среднее его недавней величины» (Тилеман и Хинтон, 2012 г.)
• «Создание последовательностей с помощью рекуррентных нейронных сетей» (Грейвс, 2013 г.)

• Модель
  Декларация

  public typealias Model = Model

• Скорость обучения
  Скорость обучения.

  Декларация

  public var learningRate: Float

• ро
  Коэффициент затухания градиентного скользящего среднего.

  Декларация

  public var rho: Float

• эпсилон
  К знаменателю добавлен небольшой скаляр для улучшения численной стабильности.

  Декларация

  public var epsilon: Float

• разлагаться
  Скорость обучения снижается.

  Декларация

  public var decay: Float

• шаг
  Счет шагов.

  Декларация

  public var step: Float

• альфа
  Альфа-значения для всех дифференцируемых переменных модели.

  Декларация

  public var alpha: Model.TangentVector

• init (для:learningRate:rho:epsilon:decay:)
  Создает экземпляр для model .

  Декларация

  public init(
    for model: __shared Model,
    learningRate: Float = 1e-3,
    rho: Float = 0.9,
    epsilon: Float = 1e-8,
    decay: Float = 0
  )

  Параметры

  learningRate	Скорость обучения. Значение по умолчанию — 1e-3 .
  rho	Коэффициент затухания градиентного скользящего среднего. Значение по умолчанию — 0.9 .
  epsilon	К знаменателю добавлен небольшой скаляр для улучшения численной стабильности. Значение по умолчанию — 1e-8 .
  decay	Скорость обучения снижается. Значение по умолчанию — 0 .

• обновление (_:вдоль:)
  Декларация

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(копирование:в:)
  Декларация

  public required init(copying other: RMSProp, to device: Device)