public class RAdam<Model: Differentiable>: Optimizer
where
Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
& KeyPathIterable,
Model.TangentVector.VectorSpaceScalar == Float
RAdam অপ্টিমাইজার।
সংশোধন করা অ্যাডাম, অ্যাডামের একটি রূপ যা অভিযোজিত শিক্ষার হারের বৈচিত্র্যকে সংশোধন করার জন্য একটি শব্দ প্রবর্তন করে।
রেফারেন্স: "অন দ্য ভ্যারিয়েন্স অফ দ্য অ্যাডাপটিভ লার্নিং রেট এবং বিয়ন্ড"
ঘোষণা
public typealias Model = Model
শেখার হার।
ঘোষণা
public var learningRate: Float
গ্রেডিয়েন্টের প্রথম এবং দ্বিতীয় মুহূর্ত গণনা করতে ব্যবহৃত একটি সহগ।
ঘোষণা
public var beta1: Float
গ্রেডিয়েন্টের প্রথম এবং দ্বিতীয় মুহূর্ত গণনা করতে ব্যবহৃত একটি সহগ।
ঘোষণা
public var beta2: Float
সাংখ্যিক স্থিতিশীলতা উন্নত করতে হরটিতে একটি ছোট স্কেলার যোগ করা হয়েছে।
ঘোষণা
public var epsilon: Float
শেখার হার ক্ষয়।
ঘোষণা
public var decay: Float
বর্তমান পদক্ষেপ।
ঘোষণা
public var step: Int
ওজন প্রথম মুহূর্ত.
ঘোষণা
public var firstMoments: Model.TangentVector
ওজন দ্বিতীয় মুহূর্ত.
ঘোষণা
public var secondMoments: Model.TangentVector
ঘোষণা
public init( for model: __shared Model, learningRate: Float = 1e-3, beta1: Float = 0.9, beta2: Float = 0.999, epsilon: Float = 1e-8, decay: Float = 0 )
ঘোষণা
public required init(copying other: RAdam, to device: Device)