AMSGrad

public class AMSGrad<Model: Differentiable & KeyPathIterable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
    & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

AMSGrad অপ্টিমাইজার।

এই অ্যালগরিদম হল অ্যাডামের একটি পরিবর্তন যেখানে স্থানীয় অপটিমার কাছাকাছি থাকাকালীন আরও ভাল কনভারজেন্স বৈশিষ্ট্য রয়েছে।

রেফারেন্স: "অন দ্য কনভারজেন্স অফ অ্যাডাম অ্যান্ড বিয়ন্ড"

• মডেল
  ঘোষণা

  public typealias Model = Model

• শেখার হার
  শেখার হার।

  ঘোষণা

  public var learningRate: Float

• beta1
  গ্রেডিয়েন্টের প্রথম এবং দ্বিতীয় মুহূর্ত গণনা করতে ব্যবহৃত একটি সহগ।

  ঘোষণা

  public var beta1: Float

• beta2
  গ্রেডিয়েন্টের প্রথম এবং দ্বিতীয় মুহূর্ত গণনা করতে ব্যবহৃত একটি সহগ।

  ঘোষণা

  public var beta2: Float

• epsilon
  সাংখ্যিক স্থিতিশীলতা উন্নত করতে হরটিতে একটি ছোট স্কেলার যোগ করা হয়েছে।

  ঘোষণা

  public var epsilon: Float

• ক্ষয়
  শেখার হার ক্ষয়।

  ঘোষণা

  public var decay: Float

• পদক্ষেপ
  বর্তমান পদক্ষেপ।

  ঘোষণা

  public var step: Int

• প্রথম মুহূর্ত
  ওজন প্রথম মুহূর্ত.

  ঘোষণা

  public var firstMoments: Model.TangentVector

• দ্বিতীয় মুহূর্ত
  ওজন দ্বিতীয় মুহূর্ত.

  ঘোষণা

  public var secondMoments: Model.TangentVector

• সেকেন্ড মোমেন্টস ম্যাক্স
  ওজনের দ্বিতীয় মুহূর্তের সর্বোচ্চ।

  ঘোষণা

  public var secondMomentsMax: Model.TangentVector

• init(এর জন্য:শিক্ষার হার:বিটা1:বিটা2:এপসিলন:ক্ষয়:)
  ঘোষণা

  public init(
    for model: __shared Model,
    learningRate: Float = 1e-3,
    beta1: Float = 0.9,
    beta2: Float = 0.999,
    epsilon: Float = 1e-8,
    decay: Float = 0
  )

• আপডেট(_:সাথে:)
  ঘোষণা

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init (কপি করা হচ্ছে: থেকে:)
  ঘোষণা

  public required init(copying other: AMSGrad, to device: Device)