GeneralOptimizer

public class GeneralOptimizer<Model: EuclideanDifferentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Ogólny optymalizator, który powinien być w stanie wyrazić wiele możliwych optymalizacji. Optymalizator składa się z mapowania z ParameterGroup na ParameterGroupOptimizer. Optymalizator ten zawiera także liczbę elementów pracujących w sumie między replikami. Ma to na celu zapewnienie wydajności i zapobieganie wielokrotnym nieefektywnym iteracjom w gradiencie.

• Model
  Deklaracja

  public typealias Model = Model

• krok
  Zestaw podjętych kroków.

  Deklaracja

  public var step: Int

• crossReplicaSumCount
  Służy do określenia współczynnika skalowania sumy replik krzyżowych.

  Deklaracja

  public var crossReplicaSumCount: Int?

• stan optymalizatora
  globalny stan optymalizatora.

  Deklaracja

  public var optimizerState: OptimizerState

• urządzenie
  Aktualne urządzenie modelu. (Służy do konstruowania hiperparametrów)

  Deklaracja

  public var device: Device

• Indeksy grupy parametrów
  Tablica mapująca zagnieżdżone indeksy wagowe na optymalizatory grup parametrów? Waga i zostanie zoptymalizowana przez parameterGroups[parameterGroupIndices[i]]

  Deklaracja

  public var parameterGroupIndices: [Int]

• Grupy parametrów
  Tablica optymalizatorów grup parametrów.

  Deklaracja

  public var parameterGroups: [ParameterGroupOptimizer]

• Szybkość uczenia się
  Ogólna szybkość uczenia się optymalizatora.

  Deklaracja

  public var learningRate: Float { get set }

• stawki za naukę
  Szybkość uczenia się optymalizatora grupy parametrów.

  Deklaracja

  public var learningRates: [Float] { get set }

• init(for:_:parametrGroupIndices:parametrGrupy:)
  Konstruuje optymalizator z listy optymalizatorów grup parametrów i selektora, który dzieli wagi na różne grupy parametrów. Jest to najbardziej ogólny konstruktor, ponieważ wektor selektora można skonstruować na wiele sposobów.

  Deklaracja

  public init(
    for model: __shared Model,
    _ kpPlan: TensorVisitorPlan<Model.TangentVector>,
    parameterGroupIndices: [Int],
    parameterGroups: [ParameterGroupOptimizer]
  )

• init(for:_:parametrGrupy:domyślnyOptymalizator:)
  Konstruuje optymalizator na podstawie sekwencji optymalizatorów grup parametrów, a następnie ostatecznego domyślnego optymalizatora grupy parametrów. Tablica [Bool] dotyczy wag i jest prawdziwa dla wag w tej grupie parametrów. Pierwsza grupa parametrów będzie używana nad kolejnymi.

  Deklaracja

  public convenience init(
    for model: __shared Model,
    _ kpPlan: TensorVisitorPlan<Model.TangentVector>,
    parameterGroups: ([Bool], ParameterGroupOptimizer)...,
    defaultOptimizer: ParameterGroupOptimizer
  )

• aktualizacja(_:razem:)
  Rzeczywisty krok optymalizatora. Mapuje wszystkie tensory gradientu i stosuje optymalizatory według wagi zdefiniowane przez ParameterGroupOptimizer.

  Deklaracja

  public func update(_ model: inout Model, along direction: Model.TangentVector)

• init(kopiowanie:do:)
  Kopiuje optymalizator na określone urządzenie.

  Deklaracja

  public required init(copying other: GeneralOptimizer, to device: Device)