Rozproszona wersja optymalizatora stochastycznego podwójnego wznoszenia współrzędnych (SDCA) dla
modele liniowe z regularyzacją L1 + L2. Ponieważ cel optymalizacji globalnej jest silnie wypukły, optymalizator optymalizuje cel podwójny na każdym kroku. Optymalizator stosuje każdą aktualizację po jednym przykładzie na raz. Przykłady są próbkowane równomiernie, a optymalizator nie ma szybkości uczenia się i cieszy się współczynnikiem zbieżności liniowej.
[Proksymalne wznoszenie stochastyczne z podwójnymi współrzędnymi] (http://arxiv.org/pdf/1211.2717v1.pdf).
Shai Shalev-Shwartz, Tong Zhang. 2012
$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$
[Dodawanie a uśrednianie w rozproszonej optymalizacji pierwotnej i podwójnej] (http://arxiv.org/abs/1502.03508).
Chenxin Ma, Virginia Smith, Martin Jaggi, Michael I. Jordan, Peter Richtarik, Martin Takac. 2015
[Stochastyczne wznoszenie podwójnych współrzędnych z prawdopodobieństwami adaptacyjnymi] (https://arxiv.org/abs/1502.08053).
Dominik Csiba, Zheng Qu, Peter Richtarik. 2015
Klasy zagnieżdżone
| klasa | Opcje SdcaOptimizer | Opcjonalne atrybuty dla SdcaOptimizer | |
Stałe
| Strunowy | OP_NAME | Nazwa tej operacji znana silnikowi rdzenia TensorFlow |
Metody publiczne
| statyczne SdcaOptimizer.Options | adaptacyjny (boolowski adaptacyjny) |
| statyczny SdcaOptimizer | utwórz (Zakres zasięgu , Iterable< Operand < TInt64 >> sparseExampleIndices, Iterable< Operand < TInt64 >> sparseFeatureIndices, Iterable< Operand < TFloat32 >> sparseFeatureValues, Iterable< Operand < TFloat32 >> gęsteFeatures, Operand < TFloat32 > exampleWeights, Operand < TFloat32 > exampleLabels, Iterable< Operand < TInt64 >> sparseIndices, Iterable< Operand < TFloat32 >> sparseWeights, Iterable< Operand < TFloat32 >> gęsteWeights, Operand < TFloat32 > exampleStateData, String lossType, Float l1, Float l2, Long numLossPartitions, Long numInnerIterations , Opcje... opcje) Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację SdcaOptimizer. |
| Lista< Wyjście < TFloat32 >> | outDeltaDenseWeights () lista wektorów, których wartościami są wagi delta powiązane z gęstą grupą obiektów. |
| Lista< Wyjście < TFloat32 >> | outDeltaSparseWeights () lista wektorów, gdzie każda wartość jest wagą delta powiązaną z rzadką grupą cech. |
| Dane wyjściowe <TFloat32> | outExampleStateData () lista wektorów zawierających zaktualizowane przykładowe dane stanu. |
Metody dziedziczone
Stałe
publiczny statyczny końcowy ciąg znaków OP_NAME
Nazwa tej operacji znana silnikowi rdzenia TensorFlow
Metody publiczne
publiczny statyczny SdcaOptimizer.Options adaptacyjny (boolowski adaptacyjny)
Parametry
| adaptacyjny | Określa, czy używać adaptacyjnego SDCA dla pętli wewnętrznej. |
|---|
public static SdcaOptimizer create ( Zakres zakresu, Iterable< Operand < TInt64 >> sparseExampleIndices, Iterable< Operand < TInt64 >> sparseFeatureIndices, Iterable< Operand < TFloat32 >> sparseFeatureValues, Iterable< Operand < TFloat32 >> gęsteFeatures, Operand < TFloat32 > exampleWeights, Operand < TFloat32 > exampleLabels, Iterable< Operand < TInt64 >> sparseIndices, Iterable< Operand < TFloat32 >> sparseWeights, Iterable< Operand < TFloat32 >> gęsteWeights, Operand < TFloat32 > exampleStateData, String lossType, Float l1, Float l2, Long numLossPartitions , Long numInnerIterations, Opcje... opcje)
Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację SdcaOptimizer.
Parametry
| zakres | aktualny zakres |
|---|---|
| sparseExampleIndices | lista wektorów zawierających przykładowe indeksy. |
| sparseFeatureIndices | lista wektorów zawierających indeksy cech. |
| rzadkie wartości funkcji | lista wektorów zawierająca wartości cech powiązane z każdą grupą cech. |
| gęstyCechy | lista macierzy zawierająca wartości gęstych cech. |
| przykładWagi | wektor zawierający wagę związaną z każdym przykładem. |
| przykładEtykiety | wektor zawierający etykietę/cel powiązany z każdym przykładem. |
| rzadkieIndeksy | lista wektorów, gdzie każda wartość jest indeksem, któremu odpowiadają wagi w parametrach sparse_weights. Pole to można pominąć w przypadku podejścia gęstego. |
| rzadkieWagi | lista wektorów, gdzie każda wartość jest wagą powiązaną z rzadką grupą cech. |
| gęstyWagi | lista wektorów, których wartościami są wagi powiązane z gęstą grupą obiektów. |
| przykładowe dane stanu | lista wektorów zawierających przykładowe dane stanu. |
| Typ straty | Rodzaj straty pierwotnej. Obecnie SdcaSolver obsługuje straty logistyczne, kwadratowe i zawiasowe. |
| l1 | Symetryczna siła regularyzacji l1. |
| l2 | Symetryczna siła regularyzacji l2. |
| numLossPartitions | Liczba podziałów globalnej funkcji straty. |
| liczba wewnętrznych iteracji | Liczba iteracji na mini-partię. |
| opcje | przenosi opcjonalne wartości atrybutów |
Zwroty
- nowa instancja SdcaOptimizer
public List< Output < TFloat32 >> outDeltaDenseWeights ()
lista wektorów, których wartościami są wagi delta powiązane z gęstą grupą obiektów.
public List< Output < TFloat32 >> outDeltaSparseWeights ()
lista wektorów, gdzie każda wartość jest wagą delta powiązaną z rzadką grupą cech.