tensorflow:: ops:: QuantizeV2

#include <array_ops.h>

float型の「input」テンソルを、T型の「output」テンソルに量子化します。

まとめ

[min_range、max_range]は、入力データの範囲を指定するスカラー浮動小数点数です。「mode」属性は、浮動小数点値を量子化された値に変換するために使用する計算方法を正確に制御します。「round_mode」属性は、浮動小数点値を量子化された値に丸める際に使用する丸めタイブレークアルゴリズムを制御します。

「MIN_COMBINED」モードでは、テンソルの各値は以下の処理を受けます。 

out[i] = (in[i] - min_range) * range(T) / (max_range - min_range)
if T == qint8: out[i] -= (range(T) + 1) / 2.0

ここで、 range(T) = numeric_limits ::max() - numeric_limits ::min()

MIN_COMBINEDモードの例

入力は float 型で、値の範囲は [0.0, 6.0] であると仮定します。出力は quint8 ([0, 255]) 型です。min_range と max_range の値はそれぞれ 0.0 と 6.0 に指定する必要があります。float 型から quint8 型への量子化では、入力の各値が 255/6 倍され、quint8 型にキャストされます。

出力型が qint8 ([-128, 127]) の場合、キャスト前に各値から 128 を減算することで、値の範囲が qint8 の範囲と一致するようにします。

モードが「MIN_FIRST」の場合は、この方法が使用されます。 

num_discrete_values = 1 << (# of bits in T)
range_adjust = num_discrete_values / (num_discrete_values - 1)
range = (range_max - range_min) * range_adjust
range_scale = num_discrete_values / range
quantized = round(input * range_scale) - round(range_min * range_scale) +
  numeric_limits::min()
quantized = max(quantized, numeric_limits::min())
quantized = min(quantized, numeric_limits::max())

これとMIN_COMBINEDの最大の違いは、最小範囲が最初に丸められ、その後丸められた値から減算される点です。MIN_COMBINEDでは、量子化と逆量子化を繰り返すことで誤差が徐々に大きくなるという小さなバイアスが生じます。

スケーリングモードの例

SCALEDモードはQuantizeAndDequantize{V2|V3}で使用される量子化アプローチと一致します。

モードがSCALEDの場合、出力タイプの全範囲を使用せず、対称性のために可能な限り低い値を省略することを選択します (たとえば、符号付き 8 ビット量子化の場合、出力範囲は -127 ～ 127 であり、-128 ～ 127 ではありません)。そのため、0.0 は 0 にマッピングされます。

まず、テンソルの値の範囲を求めます。使用する範囲は常に0を中心としているので、mは次のようになります。 

  m = max(abs(input_min), abs(input_max))

入力テンソルの範囲は[-m, m]です。

次に、固定小数点量子化バケット[min_fixed, max_fixed]を選択します。T が符号付きの場合、これは

  num_bits = sizeof(T) * 8
  [min_fixed, max_fixed] =
      [-(1 << (num_bits - 1) - 1), (1 << (num_bits - 1)) - 1]

それ以外の場合、Tが符号なしであれば、固定小数点範囲は

  [min_fixed, max_fixed] = [0, (1 << num_bits) - 1]

これからスケーリング係数sを計算します。 

  s = (max_fixed - min_fixed) / (2 * m)

これで、テンソルの要素を量子化できます。 

result = round(input * s)

注意すべき点の1つは、量子化処理中にオペレーターが要求された最小値と最大値をわずかに調整する可能性があるため、後続の計算範囲としては常に出力ポートを使用する必要があることです。たとえば、要求された最小値と最大値がほぼ等しい場合、不正な量子化バッファが作成されないように、小さなイプシロン値で区切られます。そうしないと、すべての量子化値が同じ浮動小数点値にマッピングされるバッファが作成され、そのバッファに対して後続の計算を実行する必要がある操作で問題が発生する可能性があります。

議論:

  • スコープ:スコープオブジェクト
  • min_range: 入力に対して生成される可能性のある最小スカラー値。
  • max_range: 入力に対して生成可能な最大スカラー値。

返品:

  • Output ：浮動小数点入力から生成された量子化データ。
  • Output output_min: 出力に使用される実際の最小スカラー値。
  • Output output_max: 出力に使用される実際の最大スカラー値。

コンストラクターとデストラクタ

QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T)
QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T, const QuantizeV2::Attrs & attrs)

公開属性

operation
output
output_max
output_min

パブリック静的関数

Mode (StringPiece x)
RoundMode (StringPiece x)

構造

tensorflow:: ops:: QuantizeV2:: Attrs

QuantizeV2のオプション属性設定子。

公開属性

手術

Operation operation

出力

::tensorflow::Output output

出力最大

::tensorflow::Output output_max

出力最小値

::tensorflow::Output output_min

公的機能

QuantizeV2 

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T
)

QuantizeV2 

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T,
  const QuantizeV2::Attrs & attrs
)

パブリック静的関数

モード

Attrs Mode(
  StringPiece x
)

ラウンドモード

Attrs RoundMode(
  StringPiece x
)