tensorflow::ops::QuantizeV2

#include <array_ops.h>

Преобразуйте тензор «входа» типа float в тензор «выхода» типа T.

Краткое содержание

[min_range, max_range] — это скалярные числа с плавающей запятой, определяющие диапазон для входных данных. Атрибут 'mode' точно определяет, какие вычисления используются для преобразования значений с плавающей запятой в их квантованные эквиваленты. Атрибут 'round_mode' определяет, какой алгоритм округления используется при округлении значений с плавающей запятой до их квантованных эквивалентов.

В режиме 'MIN_COMBINED' каждое значение тензора будет подвергаться следующим изменениям: 

out[i] = (in[i] - min_range) * range(T) / (max_range - min_range)
if T == qint8: out[i] -= (range(T) + 1) / 2.0

здесь range(T) = numeric_limits ::max() - numeric_limits ::min()

Пример режима MIN_COMBINED

Предположим, входные данные имеют тип float и возможный диапазон значений [0.0, 6.0], а выходные данные — тип quint8 ([0, 255]). Значения min_range и max_range должны быть указаны как 0.0 и 6.0. Квантование из типа float в quint8 приведет к умножению каждого входного значения на 255/6 и преобразованию в тип quint8.

Если тип выходных данных — qint8 ([-128, 127]), то перед преобразованием типа из каждого значения будет дополнительно вычтено 128, чтобы диапазон значений совпадал с диапазоном qint8.

Если установлен режим 'MIN_FIRST', то используется следующий подход: 

num_discrete_values = 1 << (# of bits in T)
range_adjust = num_discrete_values / (num_discrete_values - 1)
range = (range_max - range_min) * range_adjust
range_scale = num_discrete_values / range
quantized = round(input * range_scale) - round(range_min * range_scale) +
  numeric_limits::min()
quantized = max(quantized, numeric_limits::min())
quantized = min(quantized, numeric_limits::max())

Главное отличие от MIN_COMBINED заключается в том, что здесь сначала округляется минимальный диапазон, а затем он вычитается из округленного значения. В случае с MIN_COMBINED вводится небольшая погрешность, поскольку повторные итерации квантования и деквантования приводят к всё большей и большей ошибке.

Пример масштабируемого режима

Режим SCALED соответствует подходу квантования, используемому в QuantizeAndDequantize{V2|V3} .

Если установлен режим SCALED , мы не используем полный диапазон выходного типа, выбирая для симметрии опускание наименьшего возможного значения (например, диапазон выходных значений составляет от -127 до 127, а не от -128 до 127 для знакового 8-битного квантования), так что 0,0 соответствует 0.

Сначала мы определяем диапазон значений в нашем тензоре. Используемый нами диапазон всегда центрирован на 0, поэтому мы находим m такое, что 

  m = max(abs(input_min), abs(input_max))

Диапазон входного тензора тогда равен [-m, m] .

Далее мы выбираем интервалы квантования с фиксированной точкой: [min_fixed, max_fixed] . Если T — знаковое число, то это: 

  num_bits = sizeof(T) * 8
  [min_fixed, max_fixed] =
      [-(1 << (num_bits - 1) - 1), (1 << (num_bits - 1)) - 1]

В противном случае, если T — беззнаковое число, диапазон значений с фиксированной точкой равен 

  [min_fixed, max_fixed] = [0, (1 << num_bits) - 1]

Исходя из этого, мы вычисляем наш масштабный коэффициент s: 

  s = (max_fixed - min_fixed) / (2 * m)

Теперь мы можем квантовать элементы нашего тензора: 

result = round(input * s)

Следует учитывать, что оператор может немного скорректировать запрашиваемые минимальные и максимальные значения в процессе квантования, поэтому всегда используйте выходные порты в качестве диапазона для дальнейших вычислений. Например, если запрашиваемые минимальное и максимальное значения близки друг к другу, они будут разделены небольшим значением эпсилон, чтобы предотвратить создание некорректно сформированных квантованных буферов. В противном случае могут получиться буферы, в которых все квантованные значения соответствуют одному и тому же значению типа float, что создаст проблемы для операций, которым необходимо выполнить над ними дальнейшие вычисления.

Аргументы:

  • scope: Объект Scope
  • min_range: Минимальное скалярное значение, которое может быть получено для входных данных.
  • max_range: Максимально возможное скалярное значение, которое может быть получено для входных данных.

Возвращает:

  • Output данные: квантованные данные, полученные из входных данных в виде чисел с плавающей запятой.
  • Output : Фактическое минимальное скалярное значение, используемое для вывода.
  • Output : Фактическое максимальное скалярное значение, используемое для вывода.

Конструкторы и Деструкторы

QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T)
QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T, const QuantizeV2::Attrs & attrs)

Общедоступные атрибуты

operation
output
output_max
output_min

Открытые статические функции

Mode (StringPiece x)
RoundMode (StringPiece x)

Структуры

tensorflow::ops::QuantizeV2::Attrs

Дополнительные параметры установки атрибутов для QuantizeV2 .

Общедоступные атрибуты

операция 

Operation operation

выход 

::tensorflow::Output output

output_max 

::tensorflow::Output output_max

output_min 

::tensorflow::Output output_min

Общественные функции

QuantizeV2 

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T
)

QuantizeV2 

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T,
  const QuantizeV2::Attrs & attrs
)

Открытые статические функции

Режим 

Attrs Mode(
  StringPiece x
)

Круглый режим 

Attrs RoundMode(
  StringPiece x
)