에이다맥스

public class AdaMax<Model: Differentiable & KeyPathIterable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
    & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

AdaMax 최적화 프로그램.

무한대 규범을 기반으로 한 아담의 변형입니다.

참조: "Adam - 확률론적 최적화 방법" 의 섹션 7

• 모델
  선언

  public typealias Model = Model

• 학습률
  학습률입니다.

  선언

  public var learningRate: Float

• 베타1
  기울기의 첫 번째 모멘트(평균)를 추정하는 데 사용되는 감쇠율입니다.

  선언

  public var beta1: Float

• 베타2
  지수 가중 무한대 노름을 추정하는 데 사용되는 감쇠율입니다.

  선언

  public var beta2: Float

• 엡실론
  수치 안정성을 향상시키기 위해 분모에 작은 스칼라가 추가되었습니다.

  선언

  public var epsilon: Float

• 부식
  학습률이 감소합니다.

  선언

  public var decay: Float

• 단계
  걸음 수입니다.

  선언

  public var step: Int

• 첫 순간
  가중치의 첫 순간.

  선언

  public var firstMoments: Model.TangentVector

• 무한대표준
  가중치의 기하급수적으로 가중된 무한대 노름입니다.

  선언

  public var infinityNorm: Model.TangentVector

• 초기화(for:learningRate:beta1:beta2:epsilon:decay:)
  참고: 기본 매개변수는 문서에 제공된 매개변수를 따릅니다.

  선언

  public init(
    for model: __shared Model,
    learningRate: Float = 0.002,
    beta1: Float = 0.9,
    beta2: Float = 0.999,
    epsilon: Float = 1e-8,
    decay: Float = 0
  )

• 업데이트(_:along:)
  선언

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• 초기화(복사:대상:)
  선언

  public required init(copying other: AdaMax, to device: Device)