रादम

public class RAdam<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
    & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

रेडम अनुकूलक।

रेक्टिफाइड एडम, एडम का एक प्रकार जो अनुकूली सीखने की दर भिन्नता को सुधारने के लिए एक शब्द पेश करता है।

संदर्भ: "अनुकूली सीखने की दर और उससे आगे की भिन्नता पर"

• नमूना
  घोषणा

  public typealias Model = Model

• सीखने की दर
  सीखने की दर.

  घोषणा

  public var learningRate: Float

• बीटा1
  ग्रेडिएंट्स के पहले और दूसरे क्षण की गणना करने के लिए उपयोग किया जाने वाला गुणांक।

  घोषणा

  public var beta1: Float

• बीटा2
  ग्रेडिएंट्स के पहले और दूसरे क्षण की गणना करने के लिए उपयोग किया जाने वाला गुणांक।

  घोषणा

  public var beta2: Float

• एप्सिलॉन
  संख्यात्मक स्थिरता में सुधार के लिए हर में एक छोटा अदिश जोड़ा गया।

  घोषणा

  public var epsilon: Float

• क्षय
  सीखने की दर में गिरावट.

  घोषणा

  public var decay: Float

• कदम
  वर्तमान कदम.

  घोषणा

  public var step: Int

• प्रथम क्षण
  वज़न के पहले क्षण.

  घोषणा

  public var firstMoments: Model.TangentVector

• दूसरा क्षण
  वज़न के दूसरे क्षण.

  घोषणा

  public var secondMoments: Model.TangentVector

• init(के लिए:learningRate:beta1:beta2:epsilon:decay:)
  घोषणा

  public init(
    for model: __shared Model,
    learningRate: Float = 1e-3,
    beta1: Float = 0.9,
    beta2: Float = 0.999,
    epsilon: Float = 1e-8,
    decay: Float = 0
  )

• अद्यतन(_:साथ में:)
  घोषणा

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(प्रतिलिपि:से:)
  घोषणा

  public required init(copying other: RAdam, to device: Device)