AdaDelta

public class AdaDelta<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

אופטימיזציה של AdaDelta.

מיישמת את אלגוריתם האופטימיזציה של AdaDelta. AdaDelta היא שיטת ירידה בשיפוע סטוכסטי המבוססת על מידע מסדר ראשון. הוא מתאים את קצבי הלמידה על סמך חלון נע של עדכוני שיפוע, במקום לצבור את כל דרגות העבר. לפיכך, AdaDelta ממשיכה ללמוד גם כאשר בוצעו עדכונים רבים. הוא מסתגל מהר יותר לדינמיקה המשתנה של מרחב בעיית האופטימיזציה.

התייחסות: "ADADELTA: An Adaptive Learning Rate Method" (זיילר, 2012)

• דֶגֶם
  הַצהָרָה

  public typealias Model = Model

• קצב למידה
  קצב הלמידה.

  הַצהָרָה

  public var learningRate: Float

• rho
  גורם הדעיכה, המתאים לשבריר השיפוע שיש לשמור בכל שלב בזמן.

  הַצהָרָה

  public var rho: Float

• אפסילון
  סקלאר קטן נוסף למכנה כדי לשפר את היציבות המספרית.

  הַצהָרָה

  public var epsilon: Float

• לִדעוֹך
  קצב הלמידה דעיכה.

  הַצהָרָה

  public var decay: Float

• שָׁלָב
  השלב הנוכחי.

  הַצהָרָה

  public var step: Int

• ממוצע בריבוע
  הממוצע המצטבר, מתפורר באופן אקספוננציאלי, של שיפועים בריבוע.

  הַצהָרָה

  public var averageSquared: Model.TangentVector

• נצבר דלתא
  הפרמטרים המצטברים מתעדכנים.

  הַצהָרָה

  public var accumulatedDelta: Model.TangentVector

• init(for:learningRate:rho:epsilon:decay:)
  יוצר מופע model .

  הַצהָרָה

  public init(
    for model: __shared Model,
    learningRate: Float = 1,
    rho: Float = 0.95,
    epsilon: Float = 1e-6,
    decay: Float = 0
  )

  פרמטרים

  learningRate	קצב הלמידה. ערך ברירת המחדל הוא 1 .
  rho	גורם הריקבון. ערך ברירת המחדל הוא 0.95 .
  epsilon	סקלאר קטן נוסף למכנה כדי לשפר את היציבות המספרית. ערך ברירת המחדל הוא 1e-6 .
  decay	קצב הלמידה דעיכה. ערך המחדל הוא 0 .

• עדכון(_:לצד:)
  הַצהָרָה

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(copying:to:)
  הַצהָרָה

  public required init(copying other: AdaDelta, to device: Device)