Entrenamiento consciente de la cuantificación

_{Mantenido por la optimización del modelo TensorFlow}

Hay dos formas de cuantificación: cuantificación posterior al entrenamiento y entrenamiento consciente de la cuantificación. Comience con la cuantificación posterior al entrenamiento , ya que es más fácil de usar, aunque el entrenamiento consciente de la cuantificación suele ser mejor para la precisión del modelo.

Esta página proporciona una descripción general sobre la capacitación consciente de la cuantificación para ayudarlo a determinar cómo se adapta a su caso de uso.

• Para profundizar en un ejemplo de un extremo a otro, consulte el ejemplo de entrenamiento con reconocimiento de cuantificación .
• Para encontrar rápidamente las API que necesita para su caso de uso, consulte la guía completa de capacitación con reconocimiento de cuantificación .

Descripción general

El entrenamiento consciente de la cuantificación emula la cuantificación del tiempo de inferencia, creando un modelo que las herramientas posteriores utilizarán para producir modelos realmente cuantificados. Los modelos cuantificados utilizan una precisión más baja (por ejemplo, 8 bits en lugar de 32 bits flotantes), lo que genera beneficios durante la implementación.

Implementar con cuantificación

La cuantización aporta mejoras mediante la compresión del modelo y la reducción de la latencia. Con los valores predeterminados de la API, el tamaño del modelo se reduce 4 veces y normalmente vemos mejoras de entre 1,5 y 4 veces en la latencia de la CPU en los backends probados. Con el tiempo, se pueden ver mejoras de latencia en aceleradores de aprendizaje automático compatibles, como EdgeTPU y NNAPI.

La técnica se utiliza en producción en casos de uso de voz, visión, texto y traducción. El código actualmente admite un subconjunto de estos modelos .

Experimente con la cuantización y el hardware asociado.

Los usuarios pueden configurar los parámetros de cuantificación (por ejemplo, número de bits) y, hasta cierto punto, los algoritmos subyacentes. Tenga en cuenta que con estos cambios de los valores predeterminados de la API, actualmente no existe ninguna ruta compatible para la implementación en un backend. Por ejemplo, la conversión TFLite y las implementaciones del kernel solo admiten la cuantificación de 8 bits.

Las API específicas de esta configuración son experimentales y no están sujetas a compatibilidad con versiones anteriores.

Compatibilidad API

Los usuarios pueden aplicar la cuantificación con las siguientes API:

• Construcción de modelos: keras con solo modelos Secuenciales y Funcionales.
• Versiones de TensorFlow: TF 2.x para tf-nightly.
  • No se admite tf.compat.v1 con un paquete TF 2.X.
• Modo de ejecución de TensorFlow: ejecución ansiosa

Está en nuestra hoja de ruta agregar soporte en las siguientes áreas:

• Construcción de modelos: aclarar cómo los modelos subclasificados tienen soporte limitado o nulo
• Formación distribuida: tf.distribute

Matriz de apoyo general

El soporte está disponible en las siguientes áreas:

• Cobertura del modelo: modelos que utilizan capas incluidas en la lista permitida , BatchNormalization cuando sigue las capas Conv2D y DepthwiseConv2D y, en casos limitados, Concat .
• Aceleración de hardware: nuestros valores predeterminados de API son compatibles con la aceleración en backends EdgeTPU, NNAPI y TFLite, entre otros. Vea la advertencia en la hoja de ruta.
• Implementación con cuantificación: actualmente solo se admite la cuantificación por eje para capas convolucionales, no la cuantificación por tensor.

Está en nuestra hoja de ruta agregar soporte en las siguientes áreas:

• Cobertura del modelo: ampliada para incluir RNN/LSTM y soporte general de Concat.
• Aceleración de hardware: asegúrese de que el convertidor TFLite pueda producir modelos enteros. Consulte este número para obtener más detalles.
• Experimente con casos de uso de cuantificación:
  • Experimente con algoritmos de cuantificación que abarquen capas de Keras o requieran el paso de entrenamiento.
  • Estabilizar las API.

Resultados

Clasificación de imágenes con herramientas.

Modelo	Precisión Top-1 no cuantificada	Precisión cuantificada de 8 bits
MóvilnetV1 224	71,03%	71,06%
resnet v1 50	76,3%	76,1%
MóvilnetV2 224	70,77%	70,01%

Los modelos se probaron en Imagenet y se evaluaron tanto en TensorFlow como en TFLite.

Clasificación de imágenes por técnica.

Modelo	Precisión Top-1 no cuantificada	Precisión cuantificada de 8 bits
Nasnet-Móvil	74%	73%
Resnet-v2 50	75,6%	75%

Los modelos se probaron en Imagenet y se evaluaron tanto en TensorFlow como en TFLite.

Ejemplos

Además del ejemplo de entrenamiento con reconocimiento de cuantificación , consulte los siguientes ejemplos:

• Modelo CNN en la tarea de clasificación de dígitos escritos a mano de MNIST con cuantificación: código

Para obtener información sobre algo similar, consulte el artículo Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference . Este artículo presenta algunos conceptos que utiliza esta herramienta. La implementación no es exactamente la misma y se utilizan conceptos adicionales en esta herramienta (por ejemplo, cuantificación por eje).