tensorflow:: ops:: QuantizeV2

#include <array_ops.h>

Kwantyzuj tensor 'wejściowy' typu float na tensor 'wyjściowy' typu 'T'.

Streszczenie

[min_range, max_range] to skalarne zmiennoprzecinkowe wartości liczbowe, które określają zakres danych wejściowych. Atrybut „mode” kontroluje dokładnie, które obliczenia są używane do konwersji wartości zmiennoprzecinkowych na ich skwantyzowane odpowiedniki. Atrybut „round_mode” kontroluje, który algorytm rozstrzygania remisów jest używany podczas zaokrąglania wartości zmiennoprzecinkowych do ich skwantyzowanych odpowiedników.

W trybie „MIN_COMBINED” każda wartość tensora będzie podlegać następującym procedurom: 

out[i] = (in[i] - min_range) * range(T) / (max_range - min_range)
if T == qint8: out[i] -= (range(T) + 1) / 2.0

tutaj range(T) = numeric_limits ::max() - numeric_limits ::min()

Przykład trybu MIN_COMBINED

Załóżmy, że dane wejściowe są typu float i mają możliwy zakres [0,0, 6,0], a dane wyjściowe to quint8 ([0, 255]). Wartości min_range i max_range powinny być określone jako 0,0 i 6,0. Kwantyzacja z float na quint8 spowoduje pomnożenie każdej wartości wejściowej przez 255/6 i rzutowanie na quint8.

Jeśli typ wyjściowy to qint8 ([-128, 127]), operacja dodatkowo odejmie każdą wartość o 128 przed rzutowaniem, tak aby zakres wartości był zgodny z zakresem qint8.

Jeżeli trybem jest „MIN_FIRST”, wówczas stosuje się takie podejście: 

num_discrete_values = 1 << (# of bits in T)
range_adjust = num_discrete_values / (num_discrete_values - 1)
range = (range_max - range_min) * range_adjust
range_scale = num_discrete_values / range
quantized = round(input * range_scale) - round(range_min * range_scale) +
  numeric_limits::min()
quantized = max(quantized, numeric_limits::min())
quantized = min(quantized, numeric_limits::max())

Największą różnicą między tą funkcją a funkcją MIN_COMBINED jest to, że zakres minimalny jest najpierw zaokrąglany, zanim zostanie odjęty od zaokrąglonej wartości. W przypadku funkcji MIN_COMBINED wprowadzane jest niewielkie odchylenie, gdzie wielokrotne iteracje kwantyzacji i dekwantyzacji będą wprowadzać coraz większy błąd.

Przykład trybu skalowanego

Tryb SCALED jest zgodny z podejściem kwantyzacji używanym w QuantizeAndDequantize{V2|V3} .

Jeżeli tryb jest SCALED , nie wykorzystujemy pełnego zakresu typu wyjściowego, wybierając pominięcie najniższej możliwej wartości ze względu na symetrię (np. zakres wyjściowy wynosi od -127 do 127, a nie od -128 do 127 w przypadku kwantyzacji 8-bitowej ze znakiem), tak aby 0,0 było odwzorowywane na 0.

Najpierw znajdujemy zakres wartości w naszym tensorze. Zakres, którego używamy, jest zawsze wyśrodkowany na 0, więc znajdujemy m takie, że 

  m = max(abs(input_min), abs(input_max))

Nasz zakres tensora wejściowego wynosi zatem [-m, m] .

Następnie wybieramy nasze przedziały kwantyzacji stałoprzecinkowej, [min_fixed, max_fixed] . Jeśli T jest ze znakiem, to jest to 

  num_bits = sizeof(T) * 8
  [min_fixed, max_fixed] =
      [-(1 << (num_bits - 1) - 1), (1 << (num_bits - 1)) - 1]

W przeciwnym wypadku, jeśli T jest bez znaku, zakres punktu stałego wynosi 

  [min_fixed, max_fixed] = [0, (1 << num_bits) - 1]

Na tej podstawie obliczamy nasz współczynnik skalowania s: 

  s = (max_fixed - min_fixed) / (2 * m)

Teraz możemy skwantyzować elementy naszego tensora: 

result = round(input * s)

Należy pamiętać, że operator może nieznacznie dostosować żądane wartości minimalne i maksymalne podczas procesu kwantyzacji, dlatego zawsze należy używać portów wyjściowych jako zakresu do dalszych obliczeń. Na przykład, jeśli żądane wartości minimalne i maksymalne są niemal równe, zostaną one rozdzielone niewielką wartością epsilon, aby zapobiec tworzeniu niepoprawnie sformatowanych buforów skwantyzowanych. W przeciwnym razie może to doprowadzić do powstania buforów, w których wszystkie skwantyzowane wartości są mapowane na tę samą wartość zmiennoprzecinkową, co stwarza problemy dla operacji, które muszą wykonywać na nich dalsze obliczenia.

Argumenty:

  • zakres: obiekt zakresu
  • min_range: Minimalna wartość skalarna, jaką można uzyskać dla danych wejściowych.
  • max_range: Maksymalna wartość skalarna, jaką można uzyskać dla danych wejściowych.

Zwroty:

  • Output : skwantyzowane dane wygenerowane z wejścia zmiennoprzecinkowego.
  • Output output_min: Rzeczywista minimalna wartość skalarna używana do wyjścia.
  • Output output_max: Rzeczywista maksymalna wartość skalarna używana dla wyjścia.

Konstruktory i destruktory

QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T)
QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T, const QuantizeV2::Attrs & attrs)

Atrybuty publiczne

operation
output
output_max
output_min

Publiczne funkcje statyczne

Mode (StringPiece x)
RoundMode (StringPiece x)

Struktury

tensorflow:: ops:: QuantizeV2:: Attrs

Opcjonalne settery atrybutów dla QuantizeV2 .

Atrybuty publiczne

działanie 

Operation operation

wyjście 

::tensorflow::Output output

wyjście_max 

::tensorflow::Output output_max

wyjście_min 

::tensorflow::Output output_min

Funkcje publiczne

QuantizeV2 

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T
)

QuantizeV2 

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T,
  const QuantizeV2::Attrs & attrs
)

Publiczne funkcje statyczne

Tryb 

Attrs Mode(
  StringPiece x
)

Tryb okrągły 

Attrs RoundMode(
  StringPiece x
)