tensorflow::ops::QuantizeV2

#include <array_ops.h>

Преобразуйте тензор «входа» типа float в тензор «выхода» типа T.

Краткое содержание

[min_range, max_range] — это скалярные числа с плавающей запятой, определяющие диапазон входных данных. Атрибут 'mode' точно определяет, какие вычисления используются для преобразования значений с плавающей запятой в их квантованные эквиваленты. Атрибут 'round_mode' определяет, какой алгоритм округления используется при округлении значений с плавающей запятой до их квантованных эквивалентов.

В режиме 'MIN_COMBINED' каждое значение тензора будет подвергаться следующим изменениям: 

out[i] = (in[i] - min_range) * range(T) / (max_range - min_range)
if T == qint8: out[i] -= (range(T) + 1) / 2.0

здесь range(T) = numeric_limits ::max() - numeric_limits ::min()

Пример режима MIN_COMBINED

Предположим, входные данные имеют тип float и возможный диапазон значений [0.0, 6.0], а выходные данные — тип quint8 ([0, 255]). Значения min_range и max_range должны быть указаны как 0.0 и 6.0. Квантование из типа float в quint8 приведет к умножению каждого входного значения на 255/6 и преобразованию в тип quint8.

Если тип выходных данных — qint8 ([-128, 127]), то перед преобразованием типа из каждого значения будет дополнительно вычтено 128, чтобы диапазон значений совпадал с диапазоном qint8.

Если установлен режим 'MIN_FIRST', то используется следующий подход: 

num_discrete_values = 1 << (# of bits in T)
range_adjust = num_discrete_values / (num_discrete_values - 1)
range = (range_max - range_min) * range_adjust
range_scale = num_discrete_values / range
quantized = round(input * range_scale) - round(range_min * range_scale) +
  numeric_limits::min()
quantized = max(quantized, numeric_limits::min())
quantized = min(quantized, numeric_limits::max())

Главное отличие от MIN_COMBINED заключается в том, что здесь сначала округляется минимальный диапазон, а затем он вычитается из округленного значения. В случае с MIN_COMBINED вводится небольшая погрешность, поскольку повторные итерации квантования и деквантования приводят к всё большей и большей ошибке.

Пример масштабируемого режима

Режим SCALED соответствует подходу квантования, используемому в QuantizeAndDequantize{V2|V3} .

Если установлен режим SCALED , квантование выполняется путем умножения каждого входного значения на коэффициент масштабирования. Коэффициент масштабирования определяется на основе значений min_range и max_range и устанавливается таким образом, чтобы диапазон от min_range до max_range был представим в пределах значений типа T. 

  

  

    
  const int min_T = std::numeric_limits::min();
  const int max_T = std::numeric_limits::max();
  const float max_float = std::numeric_limits::max();
  const float scale_factor_from_min_side =
      (min_T * min_range > 0) ? min_T / min_range : max_float;
  const float scale_factor_from_max_side =
      (max_T * max_range > 0) ? max_T / max_range : max_float;
  const float scale_factor = std::min(scale_factor_from_min_side,
                                      scale_factor_from_max_side);
 Далее мы используем параметр scale_factor для корректировки параметров min_range и max_range следующим образом: 
      min_range = min_T / scale_factor;
      max_range = max_T / scale_factor;
 Например, если T = qint8, и изначально min_range = -10, а max_range = 9, мы сравним -128/-10.0 = 12.8 с 127/9.0 = 14.11 и установим scaling_factor = 12.8. В этом случае min_range останется -10, но max_range будет скорректирован до 127 / 12.8 = 9.921875.
 Таким образом, мы будем квантовать входные значения в диапазоне от (-10, 9,921875) до (-128, 127).
 Теперь входной тензор можно квантовать, ограничив значения диапазоном от min_range до max_range , а затем умножив на scale_factor следующим образом: 
result = round(min(max_range, max(min_range, input)) * scale_factor)
 Скорректированные min_range и max_range возвращаются в качестве выходных данных 2 и 3 этой операции. Эти выходные данные следует использовать в качестве диапазона для любых дальнейших вычислений.
 атрибут narrow_range (логическое значение)
 Если это так, мы не используем минимальное квантованное значение. То есть для int8 квантованный выход будет ограничен диапазоном от -127 до 127 вместо полного диапазона от -128 до 127. Это предусмотрено для совместимости с некоторыми бэкэндами вывода. (Применяется только к режиму SCALED)
 атрибут оси (целое число)
 Необязательный атрибут axis может указывать индекс размерности входного тензора, так что диапазоны квантования будут вычисляться и применяться отдельно для каждого среза тензора вдоль этой размерности. Это полезно для квантования по каждому каналу.
 Если указана ось, то min_range и max_range.
 Если axis = None, квантование каждого тензора выполняется как обычно.
 атрибут ensure_minimum_range (float)
 Гарантирует, что минимальный диапазон квантования будет не меньше этого значения. Устаревшее значение по умолчанию для этого параметра равно 0,01, но настоятельно рекомендуется установить его равным 0 для новых применений.
 Аргументы:
  •  scope: Объект Scope
  •  min_range: Минимальное значение диапазона квантования. Это значение может быть скорректировано операцией в зависимости от других параметров. Скорректированное значение записывается в output_min . Если указан атрибут axis , это должен быть одномерный тензор, размер которого соответствует размерности axis входного и выходного тензоров.
  •  max_range: Максимальное значение диапазона квантования. Это значение может быть скорректировано операцией в зависимости от других параметров. Скорректированное значение записывается в output_max . Если указан атрибут axis , это должен быть одномерный тензор, размер которого соответствует размерности axis входного и выходного тензоров.
 Возвращает:
  •  Output данные: квантованные данные, полученные из входных данных в виде чисел с плавающей запятой.
  •  Output output_min: Минимальный диапазон квантования, используемый для обрезки входных значений перед масштабированием и округлением до квантованных значений. Если указан атрибут axis , это будет одномерный тензор, размер которого соответствует размерности axis входного и выходного тензоров.
  •  Output параметр output_max: Максимальный диапазон квантования, используемый для обрезки входных значений перед масштабированием и округлением до квантованных значений. Если указан атрибут axis , это будет одномерный тензор, размер которого соответствует размерности axis входного и выходного тензоров. 
 Конструкторы и Деструкторы
 QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T)
 QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T, const QuantizeV2::Attrs & attrs) 
 Общедоступные атрибуты
 operation
 output
 output_max
 output_min
Открытые статические функции
 Axis (int64 x)
 EnsureMinimumRange (float x)
 Mode (StringPiece x)
 NarrowRange (bool x)
 RoundMode (StringPiece x)
 Структуры
 tensorflow::ops::QuantizeV2::Attrs
 Дополнительные параметры установки атрибутов для QuantizeV2 .
 Общедоступные атрибуты 
 операция 
Operation operation
 выход 
::tensorflow::Output output
 output_max 
::tensorflow::Output output_max
 output_min 
::tensorflow::Output output_min
Общественные функции 
 QuantizeV2 
 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T
)
 QuantizeV2 
 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T,
  const QuantizeV2::Attrs & attrs
)
 Открытые статические функции 
 Ось 
Attrs Axis(
  int64 x
)
 EnsureMinimumRange 
Attrs EnsureMinimumRange(
  float x
)
 Режим 
Attrs Mode(
  StringPiece x
)
 Узкий диапазон 
Attrs NarrowRange(
  bool x
)
 Круглый режим 
Attrs RoundMode(
  StringPiece x
)