tensorflow::ops::QuantizeV2

#include <array_ops.h>

แปลงเทนเซอร์ 'อินพุต' ชนิด float ให้เป็นเทนเซอร์ 'เอาต์พุต' ชนิด 'T'

สรุป

[min_range, max_range] เป็นค่าทศนิยมแบบสเกลาร์ที่ระบุช่วงสำหรับข้อมูล 'อินพุต' คุณสมบัติ 'mode' ควบคุมการคำนวณที่ใช้ในการแปลงค่าทศนิยมเป็นค่าควอนไทซ์ คุณสมบัติ 'round_mode' ควบคุมอัลกอริทึมการปัดเศษที่ใช้ในการปัดเศษค่าทศนิยมเป็นค่าควอนไทซ์

ในโหมด 'MIN_COMBINED' ค่าแต่ละค่าของเทนเซอร์จะได้รับการประมวลผลดังต่อไปนี้:

out[i] = (in[i] - min_range) * range(T) / (max_range - min_range)
if T == qint8: out[i] -= (range(T) + 1) / 2.0

range(T) = numeric_limits ::max() - numeric_limits ::min()

ตัวอย่างโหมด MIN_COMBINED

สมมติว่าข้อมูลนำเข้าเป็นชนิด float และมีช่วงค่าที่เป็นไปได้คือ [0.0, 6.0] และชนิดข้อมูลส่งออกเป็น quint8 ([0, 255]) ค่า min_range และ max_range ควรระบุเป็น 0.0 และ 6.0 ตามลำดับ การแปลง float เป็น quint8 จะคูณแต่ละค่าของข้อมูลนำเข้าด้วย 255/6 แล้วแปลงเป็น quint8

หากประเภทเอาต์พุตเป็น qint8 ([-128, 127]) การดำเนินการจะลบแต่ละค่าด้วย 128 เพิ่มเติมก่อนการแปลง เพื่อให้ช่วงของค่าตรงกับช่วงของ qint8

หากตั้งค่าโหมดเป็น 'MIN_FIRST' จะใช้วิธีการดังนี้:

num_discrete_values = 1 << (# of bits in T)
range_adjust = num_discrete_values / (num_discrete_values - 1)
range = (range_max - range_min) * range_adjust
range_scale = num_discrete_values / range
quantized = round(input * range_scale) - round(range_min * range_scale) +
  numeric_limits::min()
quantized = max(quantized, numeric_limits::min())
quantized = min(quantized, numeric_limits::max())

ความแตกต่างที่สำคัญที่สุดระหว่างวิธีนี้กับ MIN_COMBINED คือ ค่าช่วงต่ำสุดจะถูกปัดเศษก่อน จากนั้นจึงนำไปลบออกจากค่าที่ปัดเศษแล้ว ส่วน MIN_COMBINED นั้น จะมีความคลาดเคลื่อนเล็กน้อยเกิดขึ้น โดยการทำซ้ำกระบวนการควอนไทซ์และดีควอนไทซ์หลายครั้งจะทำให้เกิดข้อผิดพลาดที่มากขึ้นเรื่อยๆ

ตัวอย่างโหมดปรับขนาด

โหมด SCALED ตรงกับวิธีการควอนไทเซชันที่ใช้ใน QuantizeAndDequantize{V2|V3}

หากโหมดเป็น SCALED เราจะไม่ใช้ช่วงทั้งหมดของประเภทเอาต์พุต โดยเลือกที่จะละเว้นค่าต่ำสุดที่เป็นไปได้เพื่อความสมมาตร (เช่น ช่วงเอาต์พุตคือ -127 ถึง 127 ไม่ใช่ -128 ถึง 127 สำหรับการควอนไทเซชันแบบ 8 บิตที่มีเครื่องหมาย) ดังนั้น 0.0 จึงถูกแปลงเป็น 0

ขั้นแรก เราหาช่วงของค่าในเทนเซอร์ของเรา ช่วงที่เราใช้จะอยู่กึ่งกลางที่ 0 เสมอ ดังนั้นเราจึงหาค่า m ที่ทำให้

  m = max(abs(input_min), abs(input_max))

ช่วงของเทนเซอร์อินพุตของเราคือ [-m, m]

ถัดไป เราเลือกบัคเก็ตการควอนไทเซชันแบบจุดคงที่ [min_fixed, max_fixed] ถ้า T เป็นจำนวนเต็มบวกหรือลบ ค่านี้จะเป็นดังนี้

  num_bits = sizeof(T) * 8
  [min_fixed, max_fixed] =
      [-(1 << (num_bits - 1) - 1), (1 << (num_bits - 1)) - 1]

มิฉะนั้น ถ้า T เป็นจำนวนเต็มบวกที่ไม่มีเครื่องหมาย ช่วงของจุดคงที่คือ

  [min_fixed, max_fixed] = [0, (1 << num_bits) - 1]

จากนั้นเราจะคำนวณค่าตัวประกอบการปรับขนาด s ได้ดังนี้:

  s = (max_fixed - min_fixed) / (2 * m)

ตอนนี้เราสามารถกำหนดปริมาณขององค์ประกอบในเทนเซอร์ของเราได้แล้ว:

result = round(input * s)

สิ่งหนึ่งที่ต้องระวังคือ ผู้ดำเนินการอาจเลือกที่จะปรับค่าต่ำสุดและสูงสุดที่ร้องขอเล็กน้อยในระหว่างกระบวนการควอนไทเซชัน ดังนั้นคุณควรใช้พอร์ตเอาต์พุตเป็นช่วงสำหรับการคำนวณเพิ่มเติมเสมอ ตัวอย่างเช่น หากค่าต่ำสุดและสูงสุดที่ร้องขอใกล้เคียงกัน ค่าเหล่านั้นจะถูกคั่นด้วยค่าเอปไซลอนเล็กน้อยเพื่อป้องกันไม่ให้เกิดบัฟเฟอร์ควอนไทซ์ที่ไม่ถูกต้อง มิเช่นนั้น คุณอาจได้บัฟเฟอร์ที่ค่าควอนไทซ์ทั้งหมดแมปไปยังค่าทศลอยเดียวกัน ซึ่งจะทำให้เกิดปัญหาสำหรับการดำเนินการที่ต้องทำการคำนวณเพิ่มเติมกับบัฟเฟอร์เหล่านั้น

ข้อโต้แย้ง:

• ขอบเขต: วัตถุ ขอบเขต
• min_range: ค่าสเกลาร์ต่ำสุดที่เป็นไปได้สำหรับข้อมูลที่ป้อนเข้ามา
• max_range: ค่าสเกลาร์สูงสุดที่เป็นไปได้สำหรับข้อมูลที่ป้อนเข้ามา

การส่งคืนสินค้า:

• Output : ข้อมูลที่ถูกแปลงเป็นค่าควอนตัมจากข้อมูลทศนิยมที่ป้อนเข้ามา
• ค่า Output output_min: ค่าสเกลาร์ต่ำสุดที่ใช้จริงสำหรับเอาต์พุต
• ค่า Output สูงสุด (output_max): ค่าสเกลาร์สูงสุดที่ใช้จริงสำหรับเอาต์พุต

ตัวสร้างและตัวทำลาย
QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T)
QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T, const QuantizeV2::Attrs & attrs)

คุณลักษณะสาธารณะ
operation	Operation
output	:: tensorflow::Output
output_max	:: tensorflow::Output
output_min	:: tensorflow::Output

ฟังก์ชันคงที่สาธารณะ
Mode (StringPiece x)	Attrs
RoundMode (StringPiece x)	Attrs

โครงสร้าง
tensorflow::ops::QuantizeV2::Attrs	ตัวเลือกการตั้งค่าแอตทริบิวต์สำหรับ QuantizeV2

คุณลักษณะสาธารณะ

การดำเนินการ

Operation operation

เอาต์พุต

::tensorflow::Output output

เอาต์พุตสูงสุด

::tensorflow::Output output_max

เอาต์พุตขั้นต่ำ

::tensorflow::Output output_min

หน้าที่สาธารณะ

ควอนไทซ์ V2

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T
)

ควอนไทซ์ V2

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T,
  const QuantizeV2::Attrs & attrs
)

ฟังก์ชันคงที่สาธารณะ

โหมด

Attrs Mode(
  StringPiece x
)

โหมดกลม

Attrs RoundMode(
  StringPiece x
)