অ্যাডাডেল্টা

public class AdaDelta<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

একটি অ্যাডাডেল্টা অপ্টিমাইজার।

AdaDelta অপ্টিমাইজেশান অ্যালগরিদম প্রয়োগ করে। AdaDelta হল প্রথম অর্ডার তথ্যের উপর ভিত্তি করে একটি স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট পদ্ধতি। এটি গ্রেডিয়েন্ট আপডেটের চলমান উইন্ডোর উপর ভিত্তি করে শেখার হারগুলিকে অভিযোজিত করে, পরিবর্তে সমস্ত অতীত গ্রেডিয়েন্ট জমা করে। এইভাবে, অনেক আপডেট করা হয়ে গেলেও অ্যাডাডেল্টা শেখা অব্যাহত রাখে। এটি অপ্টিমাইজেশান সমস্যার স্থান পরিবর্তনের গতিবিদ্যার সাথে দ্রুত খাপ খায়।

রেফারেন্স: "ADADELTA: একটি অভিযোজিত শেখার হার পদ্ধতি" (Zeiler, 2012)

• মডেল
  ঘোষণা

  public typealias Model = Model

• শেখার হার
  শেখার হার।

  ঘোষণা

  public var learningRate: Float

• rho
  ক্ষয় ফ্যাক্টর, প্রতিটি সময় ধাপে রাখা গ্রেডিয়েন্টের ভগ্নাংশের সাথে সঙ্গতিপূর্ণ।

  ঘোষণা

  public var rho: Float

• epsilon
  সাংখ্যিক স্থিতিশীলতা উন্নত করতে হরটিতে একটি ছোট স্কেলার যোগ করা হয়েছে।

  ঘোষণা

  public var epsilon: Float

• ক্ষয়
  শেখার হার ক্ষয়।

  ঘোষণা

  public var decay: Float

• পদক্ষেপ
  বর্তমান পদক্ষেপ।

  ঘোষণা

  public var step: Int

• গড় বর্গক্ষেত্র
  বর্গাকৃতি গ্রেডিয়েন্টের সঞ্চিত, দ্রুতগতিতে ক্ষয়প্রাপ্ত গড়।

  ঘোষণা

  public var averageSquared: Model.TangentVector

• সঞ্চিত ডেল্টা
  জমা পরামিতি আপডেট.

  ঘোষণা

  public var accumulatedDelta: Model.TangentVector

• init(এর জন্য:শিক্ষার হার:rho:epsilon:ক্ষয়:)
  model জন্য একটি উদাহরণ তৈরি করে।

  ঘোষণা

  public init(
    for model: __shared Model,
    learningRate: Float = 1,
    rho: Float = 0.95,
    epsilon: Float = 1e-6,
    decay: Float = 0
  )

  পরামিতি

  learningRate	শেখার হার। ডিফল্ট মান হল 1 ।
  rho	ক্ষয় ফ্যাক্টর. ডিফল্ট মান হল 0.95 ।
  epsilon	সাংখ্যিক স্থিতিশীলতা উন্নত করতে হরটিতে একটি ছোট স্কেলার যোগ করা হয়েছে। ডিফল্ট মান হল 1e-6 ।
  decay	শেখার হার ক্ষয়। ডিফল্ট মান হল 0 ।

• আপডেট(_:সাথে:)
  ঘোষণা

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init (কপি করা হচ্ছে: থেকে:)
  ঘোষণা

  public required init(copying other: AdaDelta, to device: Device)