SdcaOptimizer

clase final pública SdcaOptimizer

Versión distribuida del optimizador Stochastic Dual Coordinate Ascent (SDCA) para

Modelos lineales con regularización L1 + L2. Como el objetivo de optimización global es fuertemente convexo, el optimizador optimiza el objetivo dual en cada paso. El optimizador aplica cada actualización un ejemplo a la vez. Los ejemplos se muestrean de manera uniforme y el optimizador no tiene tasa de aprendizaje y disfruta de una tasa de convergencia lineal.

[Ascenso de coordenadas duales estocástico proximal] (http://arxiv.org/pdf/1211.2717v1.pdf).
Shai Shalev-Shwartz, Tong Zhang. 2012

$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$

[Sumar versus promediar en optimización dual primaria distribuida] (http://arxiv.org/abs/1502.03508).
Chenxin Ma, Virginia Smith, Martin Jaggi, Michael I. Jordan, Peter Richtarik, Martin Takac. 2015

[Ascenso estocástico de coordenadas duales con probabilidades adaptativas] (https://arxiv.org/abs/1502.08053).
Dominik Csiba, Zheng Qu, Peter Richtarik. 2015

Clases anidadas

clase SdcaOptimizer.Opciones Atributos opcionales para SdcaOptimizer

Constantes

Cadena OP_NOMBRE El nombre de esta operación, como lo conoce el motor central de TensorFlow.

Métodos públicos

Opciones estáticas de SdcaOptimizer.
adaptativo (adaptativo booleano)
SdcaOptimizer estático
crear ( Alcance alcance, Iterable< Operando < TInt64 >> sparseExampleIndices, Iterable< Operando < TInt64 >> sparseFeatureIndices, Iterable< Operando < TFloat32 >> sparseFeatureValues, Iterable< Operando < TFloat32 >> densaFeatures, Operando < TFloat32 > exampleWeights, Operando < TFloat32 > exampleLabels, Iterable< Operand < TInt64 >> sparseIndices, Iterable< Operand < TFloat32 >> sparseWeights, Iterable< Operand < TFloat32 >> densoWeights, Operand < TFloat32 > exampleStateData, String lossType, Float l1, Float l2, Long numLossPartitions, Long numInnerIterations , Opciones... opciones)
Método de fábrica para crear una clase que envuelve una nueva operación SdcaOptimizer.
Lista < Salida < TFloat32 >>
outDeltaDenseWeights ()
una lista de vectores donde los valores son los pesos delta asociados con un grupo de características denso.
Lista < Salida < TFloat32 >>
outDeltaSparseWeights ()
una lista de vectores donde cada valor son los pesos delta asociados con un grupo de características dispersas.
Salida <TFloat32>
outExampleStateData ()
una lista de vectores que contienen los datos de estado de ejemplo actualizados.

Métodos heredados

Constantes

Cadena final estática pública OP_NAME

El nombre de esta operación, como lo conoce el motor central de TensorFlow.

Valor constante: "SdcaOptimizerV2"

Métodos públicos

público estático SdcaOptimizer.Options adaptativo (booleano adaptativo)

Parámetros
adaptado Si se debe utilizar SDCA adaptable para el bucle interno.

creación estática pública de SdcaOptimizer (alcance del alcance , Iterable < Operando < TInt64 >> sparseExampleIndices, Iterable < Operando < TInt64 >> sparseFeatureIndices, Iterable < Operando < TFloat32 >> sparseFeatureValues, Iterable < Operando < TFloat32 >> densaFeatures, Operando < TFloat32 > exampleWeights, Operando < TFloat32 > etiquetas de ejemplo, Iterable < Operando < TInt64 >> índices dispersos, Iterable < Operando < TFloat32 >> pesos dispersos, Iterable < Operando < TFloat32 >> pesos densos, Operando < TFloat32 > ejemploStateData, String lossType, Float l1, Float l2, Long numLossPartitions , Long numInnerIterations, Opciones... opciones)

Método de fábrica para crear una clase que envuelve una nueva operación SdcaOptimizer.

Parámetros
alcance alcance actual
índices de ejemplo dispersos una lista de vectores que contienen índices de ejemplo.
índices de características dispersas una lista de vectores que contienen índices de características.
valores de características dispersas una lista de vectores que contiene el valor de característica asociado con cada grupo de características.
características densas una lista de matrices que contiene los valores de características densas.
ejemploPesos un vector que contiene el peso asociado a cada ejemplo.
ejemploEtiquetas un vector que contiene la etiqueta/objetivo asociado con cada ejemplo.
índices dispersos una lista de vectores donde cada valor son los índices que tienen pesos correspondientes en sparse_weights. Este campo puede omitirse para el enfoque denso.
pesos dispersos una lista de vectores donde cada valor es el peso asociado con un grupo de características dispersas.
pesos densos una lista de vectores donde los valores son los pesos asociados con un grupo de características denso.
ejemploEstadoDatos una lista de vectores que contienen los datos de estado de ejemplo.
tipo de pérdida Tipo de pérdida primaria. Actualmente, SdcaSolver admite pérdidas logísticas, cuadradas y de bisagra.
l1 Fuerza de regularización simétrica l1.
l2 Fuerza de regularización simétrica l2.
numLossPartitions Número de particiones de la función de pérdida global.
numIteracionesInteriores Número de iteraciones por minilote.
opciones lleva valores de atributos opcionales
Devoluciones
  • una nueva instancia de SdcaOptimizer

Lista pública < Salida < TFloat32 >> outDeltaDenseWeights ()

una lista de vectores donde los valores son los pesos delta asociados con un grupo de características denso.

Lista pública < Salida < TFloat32 >> outDeltaSparseWeights ()

una lista de vectores donde cada valor son los pesos delta asociados con un grupo de características dispersas.

Salida pública <TFloat32> outExampleStateData ()

una lista de vectores que contienen los datos de estado de ejemplo actualizados.