Ada Delta

public class AdaDelta<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Pengoptimal AdaDelta.

Menerapkan algoritma optimasi AdaDelta. AdaDelta adalah metode penurunan gradien stokastik berdasarkan informasi orde pertama. Ini mengadaptasi kecepatan pembelajaran berdasarkan jendela pembaruan gradien yang bergerak, alih-alih mengumpulkan semua gradien sebelumnya. Oleh karena itu, AdaDelta terus belajar meski banyak pembaruan telah dilakukan. Ini beradaptasi lebih cepat terhadap perubahan dinamika ruang masalah optimasi.

Referensi: “ADADELTA: Metode Kecepatan Pembelajaran Adaptif” (Zeiler, 2012)

• Model
  Pernyataan

  public typealias Model = Model

• Tingkat pembelajaran
  Kecepatan pembelajaran.

  Pernyataan

  public var learningRate: Float

• rho
  Faktor peluruhan, sesuai dengan pecahan gradien yang dipertahankan pada setiap langkah waktu.

  Pernyataan

  public var rho: Float

• epsilon
  Skalar kecil ditambahkan ke penyebut untuk meningkatkan stabilitas numerik.

  Pernyataan

  public var epsilon: Float

• membusuk
  Penurunan kecepatan pembelajaran.

  Pernyataan

  public var decay: Float

• melangkah
  Langkah saat ini.

  Pernyataan

  public var step: Int

• rata-ratakuadrat
  Akumulasi gradien kuadrat rata-rata yang membusuk secara eksponensial.

  Pernyataan

  public var averageSquared: Model.TangentVector

• akumulasiDelta
  Akumulasi pembaruan parameter.

  Pernyataan

  public var accumulatedDelta: Model.TangentVector

• init (untuk: Kecepatan Pembelajaran: rho: epsilon: peluruhan :)
  Membuat sebuah instance untuk model .

  Pernyataan

  public init(
    for model: __shared Model,
    learningRate: Float = 1,
    rho: Float = 0.95,
    epsilon: Float = 1e-6,
    decay: Float = 0
  )

  Parameter

  learningRate	Kecepatan pembelajaran. Nilai defaultnya adalah 1 .
  rho	Faktor pembusukan. Nilai defaultnya adalah 0.95 .
  epsilon	Skalar kecil ditambahkan ke penyebut untuk meningkatkan stabilitas numerik. Nilai defaultnya adalah 1e-6 .
  decay	Penurunan kecepatan pembelajaran. Nilai defaultnya adalah 0 .

• perbarui(_:sepanjang :)
  Pernyataan

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(menyalin:ke :)
  Pernyataan

  public required init(copying other: AdaDelta, to device: Device)