Инициализатор Glorot, также называемый инициализатором Xavier.
Рисует образцы из случайного распределения.
Если распределение TRUNCATED_NORMAL, то распределение центрируется на 0 с помощью stddev = Math.sqrt(2. / (fanIn + fanOut))
где fanIn
— это количество входных единиц в тензоре веса, а fanOut
— это количество выходных единиц в весовой тензор.
Если распределение UNIFORM, то выборки берутся из равномерного распределения в пределах [-limit, limit]
, где limit = sqrt(6 / (fanIn + fanOut))
( fanIn
— это количество входных единиц в весовом тензоре, а fanOut
— это количество выходных единиц).
Примеры:
Глорот Обычный:
long seed = 1001l; Glorot<TFloat32, TFloat32> initializer = new org.tensorflow.framework.initializers.Glorot<>(tf, Distribution.TRUNCATED_NORMAL, seed); Operand<TFloat32> values = initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
Униформа Глорота:
long seed = 1001l; Glorot<TFloat32, TFloat32> initializer = new org.tensorflow.framework.initializers.Glorot<>(tf, Distribution.UNIFORM, seed); Operand<TFloat32> values = initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
ПРИМЕЧАНИЕ:
Для эквивалентного инициализатора GlorotNormal используйте TRUNCATED_NORMAL
в качестве параметра распределения.
Для эквивалентного инициализатора GlorotUniform используйте UNIFORM
в качестве параметра распределения.
Смотрите также
Константы
двойной | ШКАЛА |
Унаследованные константы
Унаследованные поля
Публичные конструкторы
Glorot (Ops tf, распределение VarianceScaling.Distribution , длинное начальное число) Создает инициализатор Glorot |
Унаследованные методы
Константы
публичный статический финальный двойной SCALE
Публичные конструкторы
публичный Glorot (Ops tf, распределение VarianceScaling.Distribution , длинное начальное число)
Создает инициализатор Glorot
Параметры
ТС | Операции TensorFlow |
---|---|
распределение | Тип распространения инициализатора Glorot. |
семя | начальное значение для генерации случайных чисел. Инициализатор, созданный с заданным начальным значением, всегда будет создавать один и тот же случайный тензор для заданной формы и типа d. |