@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint
Una capa de normalización por lotes.
Normaliza las activaciones de la capa anterior en cada lote, es decir, se aplica una transformación que mantiene la activación cerca media a 0
y la activación desviación estándar cerca de 1
.
Referencia: Lote Normalización: La aceleración de Deep Red de Formación mediante la reducción de Covarianza de cambio interno .
La dimensión de la característica.
Declaración
@noDerivative public let axis: Int
El impulso de la media móvil y la varianza corriente.
Declaración
@noDerivative public let momentum: Scalar
El valor de compensación, también conocido como beta.
Declaración
public var offset: Tensor<Scalar>
El valor de escala, también conocido como gamma.
Declaración
public var scale: Tensor<Scalar>
El valor épsilon de la varianza.
Declaración
@noDerivative public let epsilon: Scalar
La media corriente.
Declaración
@noDerivative public var runningMean: Parameter<Scalar>
La variación corriente.
Declaración
@noDerivative public var runningVariance: Parameter<Scalar>
Crea una capa de normalización por lotes.
Declaración
Parámetros
axis
El eje que no debe normalizarse (normalmente el eje de características).
momentum
El impulso de la media móvil.
offset
El desplazamiento que se agregará al tensor normalizado.
scale
La escala por la que se multiplica el tensor normalizado.
epsilon
Un pequeño escalar agregado al denominador para mejorar la estabilidad numérica.
runningMean
La media corriente.
runningVariance
La variación corriente.
Crea una capa de normalización por lotes.
Declaración
public init( featureCount: Int, axis: Int = -1, momentum: Scalar = 0.99, epsilon: Scalar = 0.001 )
Parámetros
featureCount
El número de funciones.
axis
El eje que debe normalizarse (normalmente el eje de características).
momentum
El impulso de la media móvil.
epsilon
Un pequeño escalar agregado al denominador para mejorar la estabilidad numérica.