RAdam

public class RAdam<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
    & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Trình tối ưu hóa RAdam.

Đã chỉnh sửa Adam, một biến thể của Adam giới thiệu một thuật ngữ để điều chỉnh phương sai tốc độ học thích ứng.

Tham khảo: “Về sự khác biệt giữa tỷ lệ học tập thích ứng và xa hơn”

• Người mẫu
  Tuyên ngôn

  public typealias Model = Model

• tỷ lệ học tập
  Tỷ lệ học tập.

  Tuyên ngôn

  public var learningRate: Float

• beta1
  Một hệ số được sử dụng để tính toán khoảnh khắc thứ nhất và thứ hai của độ dốc.

  Tuyên ngôn

  public var beta1: Float

• beta2
  Một hệ số được sử dụng để tính toán khoảnh khắc thứ nhất và thứ hai của độ dốc.

  Tuyên ngôn

  public var beta2: Float

• epsilon
  Một đại lượng vô hướng nhỏ được thêm vào mẫu số để cải thiện độ ổn định về số.

  Tuyên ngôn

  public var epsilon: Float

• phân hủy
  Tỷ lệ học tập suy giảm.

  Tuyên ngôn

  public var decay: Float

• bước chân
  Bước hiện tại.

  Tuyên ngôn

  public var step: Int

• khoảnh khắc đầu tiên
  Những khoảnh khắc đầu tiên của tạ.

  Tuyên ngôn

  public var firstMoments: Model.TangentVector

• khoảnh khắc thứ hai
  Khoảnh khắc thứ hai của tạ.

  Tuyên ngôn

  public var secondMoments: Model.TangentVector

• init(for:learningRate:beta1:beta2:epsilon:decay:)
  Tuyên ngôn

  public init(
    for model: __shared Model,
    learningRate: Float = 1e-3,
    beta1: Float = 0.9,
    beta2: Float = 0.999,
    epsilon: Float = 1e-8,
    decay: Float = 0
  )

• cập nhật(_:cùng :)
  Tuyên ngôn

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(đang sao chép:đến:)
  Tuyên ngôn

  public required init(copying other: RAdam, to device: Device)