АдаДельта

public class AdaDelta<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Оптимизатор AdaDelta.

Реализует алгоритм оптимизации AdaDelta. AdaDelta — это метод стохастического градиентного спуска, основанный на информации первого порядка. Он адаптирует скорость обучения на основе движущегося окна обновлений градиента, вместо того, чтобы накапливать все прошлые градиенты. Таким образом, AdaDelta продолжает обучение, даже если было сделано много обновлений. Он быстрее адаптируется к изменяющейся динамике оптимизационного пространства.

Ссылка: «ADADELTA: метод адаптивной скорости обучения» (Zeiler, 2012).

• Модель
  Декларация

  public typealias Model = Model

• Скорость обучения
  Скорость обучения.

  Декларация

  public var learningRate: Float

• ро
  Коэффициент затухания, соответствующий доле градиента, сохраняемой на каждом временном шаге.

  Декларация

  public var rho: Float

• эпсилон
  К знаменателю добавлен небольшой скаляр для улучшения численной стабильности.

  Декларация

  public var epsilon: Float

• разлагаться
  Скорость обучения снижается.

  Декларация

  public var decay: Float

• шаг
  Текущий шаг.

  Декларация

  public var step: Int

• средний в квадрате
  Накопленное экспоненциально убывающее среднее значение квадратов градиентов.

  Декларация

  public var averageSquared: Model.TangentVector

• накопленная дельта
  Накопленные параметры обновляются.

  Декларация

  public var accumulatedDelta: Model.TangentVector

• init (для:learningRate:rho:epsilon:decay:)
  Создает экземпляр для model .

  Декларация

  public init(
    for model: __shared Model,
    learningRate: Float = 1,
    rho: Float = 0.95,
    epsilon: Float = 1e-6,
    decay: Float = 0
  )

  Параметры

  learningRate	Скорость обучения. Значение по умолчанию — 1 .
  rho	Фактор распада. Значение по умолчанию — 0.95 .
  epsilon	К знаменателю добавлен небольшой скаляр для улучшения числовой стабильности. Значение по умолчанию — 1e-6 .
  decay	Скорость обучения снижается. Значение по умолчанию — 0 .

• обновление (_: вместе:)
  Декларация

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(копирование:в:)
  Декларация

  public required init(copying other: AdaDelta, to device: Device)