Kwantyzacja po treningu

Kwantyzacja po szkoleniu obejmuje ogólne techniki zmniejszania opóźnień procesora i akceleratora sprzętowego, przetwarzania, mocy i rozmiaru modelu przy niewielkim pogorszeniu dokładności modelu. Techniki te można wykonać na już przeszkolonym modelu pływaka TensorFlow i zastosować podczas konwersji TensorFlow Lite. Techniki te są włączone jako opcje w konwerterze TensorFlow Lite .

Aby przejść od razu do kompletnych przykładów, zapoznaj się z następującymi samouczkami:

Kwantyzacja wag

Wagi można przekonwertować na typy o zmniejszonej precyzji, takie jak 16-bitowe liczby zmiennoprzecinkowe lub 8-bitowe liczby całkowite. Ogólnie zalecamy 16-bitowe liczby zmiennoprzecinkowe do przyspieszania GPU i 8-bitowe liczby całkowite do wykonywania przez procesor.

Na przykład, oto jak określić kwantyzację 8-bitowych liczb całkowitych:

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_quant_model = converter.convert()

Wnioskując, najbardziej krytyczne części są obliczane za pomocą 8 bitów zamiast zmiennoprzecinkowych. Istnieje pewien narzut wydajności w czasie wnioskowania, w odniesieniu do kwantyzacji zarówno wag, jak i aktywacji poniżej.

Aby uzyskać więcej informacji, zobacz przewodnik kwantyzacji po treningu TensorFlow Lite.

Pełna kwantyzacja liczb całkowitych wag i aktywacji

Popraw opóźnienia, przetwarzanie i zużycie energii oraz uzyskaj dostęp do akceleratorów sprzętowych opartych wyłącznie na liczbach całkowitych, upewniając się, że zarówno wagi, jak i aktywacje są kwantyzowane. Wymaga to małego reprezentatywnego zestawu danych.

import tensorflow as tf

def representative_dataset_gen():
  for _ in range(num_calibration_steps):
    # Get sample input data as a numpy array in a method of your choosing.
    yield [input]

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_quant_model = converter.convert()

Wynikowy model nadal będzie dla wygody pobierał dane wejściowe i wyjściowe zmiennoprzecinkowe.

Aby uzyskać więcej informacji, zobacz przewodnik kwantyzacji po treningu TensorFlow Lite.