АдаГрад

public class AdaGrad<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Оптимизатор AdaGrad.

Реализует алгоритм оптимизации AdaGrad (адаптивный градиент). AdaGrad имеет скорость обучения для конкретных параметров, которая адаптируется в зависимости от того, как часто параметры обновляются во время обучения. Параметры, которые получают больше обновлений, имеют меньшую скорость обучения.

AdaGrad индивидуально адаптирует скорость обучения всех параметров модели, масштабируя их обратно пропорционально квадратному корню из текущей суммы квадратов норм градиента.

Ссылка: «Адаптивные субградиентные методы для онлайн-обучения и стохастической оптимизации» (Дучи и др., 2011).

• Модель
  Декларация

  public typealias Model = Model

• Скорость обучения
  Скорость обучения.

  Декларация

  public var learningRate: Float

• эпсилон
  К знаменателю добавлен небольшой скаляр для улучшения числовой стабильности.

  Декларация

  public var epsilon: Float

• аккумулятор
  Текущая сумма квадратов норм градиента.

  Декларация

  public var accumulator: Model.TangentVector

• init (для:learningRate:initialAccumulatorValue:epsilon:)
  Создает экземпляр для model .

  Декларация

  public init(
    for model: __shared Model,
    learningRate: Float = 1e-3,
    initialAccumulatorValue: Float = 0.1,
    epsilon: Float = 1e-8
  )

  Параметры

  learningRate	Скорость обучения. Значение по умолчанию — 1e-3 .
  initialAccumulatorValue	Начальное значение текущей суммы квадратов норм градиента. Значение по умолчанию — 0.1 .
  epsilon	К знаменателю добавлен небольшой скаляр для улучшения числовой стабильности. Значение по умолчанию — 1e-8 .

• обновление (_:вдоль:)
  Декларация

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(копирование:в:)
  Декларация

  public required init(copying other: AdaGrad, to device: Device)