Ada Grad

public class AdaGrad<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Bir AdaGrad iyileştirici.

AdaGrad (uyarlanabilir degrade) optimizasyon algoritmasını uygular. AdaGrad, eğitim sırasında parametrelerin ne sıklıkta güncellendiğine göre uyarlanan, parametreye özel öğrenme oranlarına sahiptir. Daha fazla güncelleme alan parametrelerin öğrenme oranları daha düşüktür.

AdaGrad, tüm model parametrelerinin öğrenme oranlarını, bunları gradyan normlarının karelerinin toplamının kareköküyle ters orantılı olarak ölçeklendirerek ayrı ayrı uyarlar.

Referans: “Çevrimiçi Öğrenme ve Stokastik Optimizasyon için Uyarlanabilir Alt Derecelendirme Yöntemleri” (Duchi ve diğerleri, 2011)

• Modeli
  beyan

  public typealias Model = Model

• öğrenme oranı
  Öğrenme oranı.

  beyan

  public var learningRate: Float

• epsilon
  Sayısal kararlılığı artırmak için paydaya küçük bir skaler eklenir.

  beyan

  public var epsilon: Float

• akümülatör
  Gradyan normlarının karelerinin toplamı.

  beyan

  public var accumulator: Model.TangentVector

• init(for:learningRate:initialAccumulatorValue:epsilon:)
  model için bir örnek oluşturur.

  beyan

  public init(
    for model: __shared Model,
    learningRate: Float = 1e-3,
    initialAccumulatorValue: Float = 0.1,
    epsilon: Float = 1e-8
  )

  Parametreler

  learningRate	Öğrenme oranı. Varsayılan değer 1e-3 .
  initialAccumulatorValue	Gradyan normlarının karelerinin toplamının başlangıç ​​değeri. Varsayılan değer 0.1 .
  epsilon	Sayısal kararlılığı artırmak için paydaya küçük bir skaler eklenir. Varsayılan değer 1e-8 .

• güncelleme(_:birlikte :)
  beyan

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(kopyalanıyor:to:)
  beyan

  public required init(copying other: AdaGrad, to device: Device)