Kwantyzacja po szkoleniu obejmuje ogólne techniki zmniejszania opóźnień procesora i akceleratora sprzętowego, przetwarzania, mocy i rozmiaru modelu przy niewielkim pogorszeniu dokładności modelu. Techniki te można wykonać na już przeszkolonym modelu pływaka TensorFlow i zastosować podczas konwersji TensorFlow Lite. Techniki te są włączone jako opcje w konwerterze TensorFlow Lite .
Aby przejść od razu do kompletnych przykładów, zapoznaj się z następującymi samouczkami:
- Kwantyzacja zakresu dynamicznego po treningu
- Po szkoleniu pełna kwantyzacja liczb całkowitych
- Kwantyzacja float16 po treningu
Kwantyzacja wag
Wagi można przekonwertować na typy o zmniejszonej precyzji, takie jak 16-bitowe liczby zmiennoprzecinkowe lub 8-bitowe liczby całkowite. Ogólnie zalecamy 16-bitowe liczby zmiennoprzecinkowe do przyspieszania GPU i 8-bitowe liczby całkowite do wykonywania przez procesor.
Na przykład, oto jak określić kwantyzację 8-bitowych liczb całkowitych:
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_quant_model = converter.convert()
Wnioskując, najbardziej krytyczne części są obliczane za pomocą 8 bitów zamiast zmiennoprzecinkowych. Istnieje pewien narzut wydajności w czasie wnioskowania, w odniesieniu do kwantyzacji zarówno wag, jak i aktywacji poniżej.
Aby uzyskać więcej informacji, zobacz przewodnik kwantyzacji po treningu TensorFlow Lite.
Pełna kwantyzacja liczb całkowitych wag i aktywacji
Popraw opóźnienia, przetwarzanie i zużycie energii oraz uzyskaj dostęp do akceleratorów sprzętowych opartych wyłącznie na liczbach całkowitych, upewniając się, że zarówno wagi, jak i aktywacje są kwantyzowane. Wymaga to małego reprezentatywnego zestawu danych.
import tensorflow as tf
def representative_dataset_gen():
for _ in range(num_calibration_steps):
# Get sample input data as a numpy array in a method of your choosing.
yield [input]
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_quant_model = converter.convert()
Wynikowy model nadal będzie dla wygody pobierał dane wejściowe i wyjściowe zmiennoprzecinkowe.
Aby uzyskać więcej informacji, zobacz przewodnik kwantyzacji po treningu TensorFlow Lite.