Versi terdistribusi dari pengoptimal Stochastic Dual Coordinate Ascent (SDCA) untuk
model linier dengan regularisasi L1 + L2. Karena tujuan pengoptimalan global sangat cembung, pengoptimal mengoptimalkan tujuan ganda di setiap langkah. Pengoptimal menerapkan setiap pembaruan satu contoh dalam satu waktu. Contoh diambil sampelnya secara seragam, dan pengoptimalnya bebas kecepatan pembelajaran serta menikmati tingkat konvergensi linier.
[Pendakian Koordinat Ganda Stokastik Proksimal](http://arxiv.org/pdf/1211.2717v1.pdf).
Shai Shalev-Shwartz, Tong Zhang. 2012
$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$
[Menambahkan vs. Rata-rata dalam Optimasi Primal-Dual Terdistribusi](http://arxiv.org/abs/1502.03508).
Chenxin Ma, Virginia Smith, Martin Jaggi, Michael I. Jordan, Peter Richtarik, Martin Takac. 2015
[Pendakian Koordinat Ganda Stokastik dengan Probabilitas Adaptif](https://arxiv.org/abs/1502.08053).
Dominik Csiba, Zheng Qu, Peter Richtarik. 2015
Kelas Bersarang
| kelas | SdcaOptimizer.Opsi | Atribut opsional untuk SdcaOptimizer | |
Konstanta
| Rangkaian | OP_NAME | Nama operasi ini dikenal dengan mesin inti TensorFlow |
Metode Publik
| SdcaOptimizer.Options statis | adaptif (adaptif Boolean) |
| SdcaOptimizer statis | buat ( Lingkup cakupan, Iterable< Operand < TInt64 >> sparseExampleIndices, Iterable< Operand < TInt64 >> sparseFeatureIndices, Iterable< Operand < TFloat32 >> sparseFeatureValues, Iterable< Operand < TFloat32 >> solidFeatures, Operand < TFloat32 > exampleWeights, Operand < TFloat32 > exampleLabels, Iterable< Operand < TInt64 >> sparseIndices, Iterable< Operand < TFloat32 >> sparseWeights, Iterable< Operand < TFloat32 >> solidWeights, Operand < TFloat32 > exampleStateData, String lossType, Float l1, Float l2, Long numLossPartitions, Long numInnerIterations , Pilihan... pilihan) Metode pabrik untuk membuat kelas yang membungkus operasi SdcaOptimizer baru. |
| Daftar< Keluaran < TFloat32 >> | keluarDeltaDenseWeights () daftar vektor yang nilainya adalah bobot delta yang terkait dengan grup fitur padat. |
| Daftar< Keluaran < TFloat32 >> | keluarDeltaSparseWeights () daftar vektor yang setiap nilainya adalah bobot delta yang terkait dengan grup fitur renggang. |
| Keluaran < TFloat32 > | keluarContohStateData () daftar vektor yang berisi contoh data status yang diperbarui. |
Metode Warisan
Konstanta
String akhir statis publik OP_NAME
Nama operasi ini dikenal dengan mesin inti TensorFlow
Metode Publik
SdcaOptimizer statis publik. Opsi adaptif (adaptif Boolean)
Parameter
| adaptif | Apakah akan menggunakan SDCA Adaptif untuk loop dalam. |
|---|
public static SdcaOptimizer buat ( Lingkup lingkup, Iterable< Operand < TInt64 >> sparseExampleIndices, Iterable< Operand < TInt64 >> sparseFeatureIndices, Iterable< Operand < TFloat32 >> sparseFeatureValues, Iterable< Operand < TFloat32 >> solidFeatures, Operand < TFloat32 > exampleWeights, Operand < TFloat32 > exampleLabels, Iterable< Operand < TInt64 >> sparseIndices, Iterable< Operand < TFloat32 >> sparseWeights, Iterable< Operand < TFloat32 >> solidWeights, Operand < TFloat32 > exampleStateData, String lossType, Float l1, Float l2, Long numLossPartitions , Jumlah panjangInnerIterations, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi SdcaOptimizer baru.
Parameter
| cakupan | ruang lingkup saat ini |
|---|---|
| sparseExampleIndices | daftar vektor yang berisi contoh indeks. |
| sparseFeatureIndices | daftar vektor yang berisi indeks fitur. |
| sparseFeatureValues | daftar vektor yang berisi nilai fitur yang terkait dengan setiap grup fitur. |
| Fitur padat | daftar matriks yang berisi nilai fitur padat. |
| contohBerat | sebuah vektor yang berisi bobot yang terkait dengan setiap contoh. |
| contohLabel | vektor yang berisi label/target yang terkait dengan setiap contoh. |
| indeks jarang | daftar vektor yang setiap nilainya adalah indeks yang memiliki bobot terkait di sparse_weights. Bidang ini mungkin dihilangkan karena pendekatan padat. |
| sparseWeights | daftar vektor yang setiap nilainya adalah bobot yang terkait dengan grup fitur renggang. |
| padatBerat | daftar vektor yang nilainya adalah bobot yang terkait dengan grup fitur padat. |
| contohStateData | daftar vektor yang berisi contoh data keadaan. |
| tipe kerugian | Jenis kerugian utama. Saat ini SdcaSolver mendukung kerugian logistik, kuadrat, dan engsel. |
| l1 | Kekuatan regularisasi l1 simetris. |
| l2 | Kekuatan regularisasi l2 simetris. |
| numLossPartitions | Jumlah partisi dari fungsi kerugian global. |
| numInnerIterations | Jumlah iterasi per mini-batch. |
| pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru SdcaOptimizer
Daftar publik< Output < TFloat32 >> outDeltaDenseWeights ()
daftar vektor yang nilainya adalah bobot delta yang terkait dengan grup fitur padat.
Daftar publik< Output < TFloat32 >> outDeltaSparseWeights ()
daftar vektor yang setiap nilainya adalah bobot delta yang terkait dengan grup fitur renggang.