public class AdaMax<Model: Differentiable & KeyPathIterable>: Optimizer
where
Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
& KeyPathIterable,
Model.TangentVector.VectorSpaceScalar == Float
بهینه ساز AdaMax
گونه ای از آدم بر اساس بی نهایت-هنجار.
مرجع: بخش 7 "آدام - روشی برای بهینه سازی تصادفی"
اعلام
public typealias Model = Model
میزان یادگیری
اعلام
public var learningRate: Float
نرخ واپاشی برای تخمین لحظه اول (میانگین) گرادیان ها استفاده می شود.
اعلام
public var beta1: Float
نرخ فروپاشی برای تخمین هنجار بینهایت وزندار نمایی استفاده میشود.
اعلام
public var beta2: Float
یک اسکالر کوچک برای بهبود ثبات عددی به مخرج اضافه شده است.
اعلام
public var epsilon: Float
کاهش نرخ یادگیری
اعلام
public var decay: Float
تعداد قدم ها
اعلام
public var step: Int
اولین لحظات وزنه ها.
اعلام
public var firstMoments: Model.TangentVector
هنجار بینهایت وزندار نمایی وزنها.
اعلام
public var infinityNorm: Model.TangentVector
توجه: پارامترهای پیش فرض از پارامترهای ارائه شده در مقاله پیروی می کنند.
اعلام
public init( for model: __shared Model, learningRate: Float = 0.002, beta1: Float = 0.9, beta2: Float = 0.999, epsilon: Float = 1e-8, decay: Float = 0 )
اعلام
public required init(copying other: AdaMax, to device: Device)