El delegado de TensorFlow Lite Core ML permite ejecutar modelos de TensorFlow Lite en el marco Core ML , lo que da como resultado una inferencia de modelo más rápida en dispositivos iOS.
Versiones y dispositivos iOS compatibles:
- iOS 12 y posterior. En las versiones anteriores de iOS, el delegado de Core ML recurrirá automáticamente a la CPU.
- De forma predeterminada, el delegado de Core ML solo estará habilitado en dispositivos con SoC A12 y posteriores (iPhone Xs y posteriores) para usar Neural Engine para una inferencia más rápida. Si desea utilizar el delegado de Core ML también en los dispositivos más antiguos, consulte las prácticas recomendadas
Modelos compatibles
El delegado de Core ML actualmente admite modelos flotantes (FP32 y FP16).
Probar el delegado de Core ML en su propio modelo
El delegado de Core ML ya está incluido en el lanzamiento nocturno de TensorFlow lite CocoaPods. Para usar el delegado de Core ML, cambie su pod TensorFlow lite para incluir la subespecificación CoreML
en su Podfile
.
target 'YourProjectName'
pod 'TensorFlowLiteSwift/CoreML', '~> 2.4.0' # Or TensorFlowLiteObjC/CoreML
O
# Particularily useful when you also want to include 'Metal' subspec.
target 'YourProjectName'
pod 'TensorFlowLiteSwift', '~> 2.4.0', :subspecs => ['CoreML']
Rápido
let coreMLDelegate = CoreMLDelegate() var interpreter: Interpreter // Core ML delegate will only be created for devices with Neural Engine if coreMLDelegate != nil { interpreter = try Interpreter(modelPath: modelPath, delegates: [coreMLDelegate!]) } else { interpreter = try Interpreter(modelPath: modelPath) }
C objetivo
// Import module when using CocoaPods with module support @import TFLTensorFlowLite; // Or import following headers manually # import "tensorflow/lite/objc/apis/TFLCoreMLDelegate.h" # import "tensorflow/lite/objc/apis/TFLTensorFlowLite.h" // Initialize Core ML delegate TFLCoreMLDelegate* coreMLDelegate = [[TFLCoreMLDelegate alloc] init]; // Initialize interpreter with model path and Core ML delegate TFLInterpreterOptions* options = [[TFLInterpreterOptions alloc] init]; NSError* error = nil; TFLInterpreter* interpreter = [[TFLInterpreter alloc] initWithModelPath:modelPath options:options delegates:@[ coreMLDelegate ] error:&error]; if (error != nil) { /* Error handling... */ } if (![interpreter allocateTensorsWithError:&error]) { /* Error handling... */ } if (error != nil) { /* Error handling... */ } // Run inference ...
C (Hasta 2.3.0)
#include "tensorflow/lite/delegates/coreml/coreml_delegate.h" // Initialize interpreter with model TfLiteModel* model = TfLiteModelCreateFromFile(model_path); // Initialize interpreter with Core ML delegate TfLiteInterpreterOptions* options = TfLiteInterpreterOptionsCreate(); TfLiteDelegate* delegate = TfLiteCoreMlDelegateCreate(NULL); // default config TfLiteInterpreterOptionsAddDelegate(options, delegate); TfLiteInterpreterOptionsDelete(options); TfLiteInterpreter* interpreter = TfLiteInterpreterCreate(model, options); TfLiteInterpreterAllocateTensors(interpreter); // Run inference ... /* ... */ // Dispose resources when it is no longer used. // Add following code to the section where you dispose of the delegate // (e.g. `dealloc` of class). TfLiteInterpreterDelete(interpreter); TfLiteCoreMlDelegateDelete(delegate); TfLiteModelDelete(model);
Mejores prácticas
Uso del delegado de Core ML en dispositivos sin Neural Engine
De forma predeterminada, el delegado de Core ML solo se creará si el dispositivo tiene Neural Engine y devolverá un null
si no se crea el delegado. Si desea ejecutar el delegado de Core ML en otros entornos (por ejemplo, un simulador), pase .all
como una opción mientras crea el delegado en Swift. En C++ (y Objective-C), puede pasar TfLiteCoreMlDelegateAllDevices
. El siguiente ejemplo muestra cómo hacer esto:
Rápido
var options = CoreMLDelegate.Options() options.enabledDevices = .all let coreMLDelegate = CoreMLDelegate(options: options)! let interpreter = try Interpreter(modelPath: modelPath, delegates: [coreMLDelegate])
C objetivo
TFLCoreMLDelegateOptions* coreMLOptions = [[TFLCoreMLDelegateOptions alloc] init]; coreMLOptions.enabledDevices = TFLCoreMLDelegateEnabledDevicesAll; TFLCoreMLDelegate* coreMLDelegate = [[TFLCoreMLDelegate alloc] initWithOptions:coreMLOptions]; // Initialize interpreter with delegate
C
TfLiteCoreMlDelegateOptions options; options.enabled_devices = TfLiteCoreMlDelegateAllDevices; TfLiteDelegate* delegate = TfLiteCoreMlDelegateCreate(&options); // Initialize interpreter with delegate
Usando el delegado de Metal (GPU) como respaldo.
Cuando no se crea el delegado de Core ML, también puede usar el delegado de Metal para obtener beneficios de rendimiento. El siguiente ejemplo muestra cómo hacer esto:
Rápido
var delegate = CoreMLDelegate() if delegate == nil { delegate = MetalDelegate() // Add Metal delegate options if necessary. } let interpreter = try Interpreter(modelPath: modelPath, delegates: [delegate!])
C objetivo
TFLDelegate* delegate = [[TFLCoreMLDelegate alloc] init]; if (!delegate) { // Add Metal delegate options if necessary delegate = [[TFLMetalDelegate alloc] init]; } // Initialize interpreter with delegate
C
TfLiteCoreMlDelegateOptions options = {}; delegate = TfLiteCoreMlDelegateCreate(&options); if (delegate == NULL) { // Add Metal delegate options if necessary delegate = TFLGpuDelegateCreate(NULL); } // Initialize interpreter with delegate
La lógica de creación de delegados lee la identificación de la máquina del dispositivo (por ejemplo, iPhone11,1) para determinar su disponibilidad de Neural Engine. Consulte el código para obtener más detalles. Como alternativa, puede implementar su propio conjunto de dispositivos de lista de denegación utilizando otras bibliotecas como DeviceKit .
Usar una versión anterior de Core ML
Aunque iOS 13 es compatible con Core ML 3, el modelo podría funcionar mejor cuando se convierte con la especificación del modelo Core ML 2. La versión de conversión de destino se establece en la última versión de forma predeterminada, pero puede cambiar esto configurando coreMLVersion
(en Swift, coreml_version
en C API) en la opción de delegado a una versión anterior.
Operaciones admitidas
Las siguientes operaciones son compatibles con el delegado de Core ML.
- Agregar
- Solo se pueden transmitir ciertas formas. En el diseño de tensor Core ML, las siguientes formas de tensor se pueden transmitir.
[B, C, H, W]
,[B, C, 1, 1]
,[B, 1, H, W]
,[B, 1, 1, 1]
.
- Solo se pueden transmitir ciertas formas. En el diseño de tensor Core ML, las siguientes formas de tensor se pueden transmitir.
- PromedioPool2D
- concat
- La concatenación debe hacerse a lo largo del eje del canal.
- Conv2D
- Los pesos y el sesgo deben ser constantes.
- DepthwiseConv2D
- Los pesos y el sesgo deben ser constantes.
- Totalmente conectado (también conocido como Dense o InnerProduct)
- Los pesos y sesgos (si los hay) deben ser constantes.
- Solo admite casos de un solo lote. Las dimensiones de entrada deben ser 1, excepto la última dimensión.
- duro
- Logística (también conocido como Sigmoid)
- MaxPool2D
- espejopad
- Solo se admite la entrada 4D con el modo
REFLECT
. El relleno debe ser constante y solo se permite para las dimensiones H y W.
- Solo se admite la entrada 4D con el modo
- Múltiple
- Solo se pueden transmitir ciertas formas. En el diseño de tensor Core ML, las siguientes formas de tensor se pueden transmitir.
[B, C, H, W]
,[B, C, 1, 1]
,[B, 1, H, W]
,[B, 1, 1, 1]
.
- Solo se pueden transmitir ciertas formas. En el diseño de tensor Core ML, las siguientes formas de tensor se pueden transmitir.
- Pad y PadV2
- Solo se admite la entrada 4D. El relleno debe ser constante y solo se permite para las dimensiones H y W.
- Relu
- ReluN1To1
- relu6
- remodelar
- Solo se admite cuando la versión objetivo de Core ML es 2, no se admite cuando se orienta a Core ML 3.
- RedimensionarBilineal
- Soft Max
- Tanh
- TransposeConv
- Los pesos deben ser constantes.
Retroalimentación
Para problemas, cree un problema de GitHub con todos los detalles necesarios para reproducir.
Preguntas más frecuentes
- ¿CoreML delegado admite el respaldo a la CPU si un gráfico contiene operaciones no admitidas?
- Sí
- ¿Funciona el delegado de CoreML en el simulador de iOS?
- Sí. La biblioteca incluye objetivos x86 y x86_64 para que pueda ejecutarse en un simulador, pero no verá un aumento de rendimiento sobre la CPU.
- ¿TensorFlow Lite y el delegado de CoreML son compatibles con MacOS?
- TensorFlow Lite solo se prueba en iOS pero no en MacOS.
- ¿Se admiten operaciones TF Lite personalizadas?
- No, el delegado de CoreML no admite operaciones personalizadas y recurrirán a la CPU.
API
- Core ML delegado Swift API
- API C de delegado de ML principal
- Esto se puede usar para códigos Objective-C. ~~~