Делегат ускорения графического процессора с API-интерфейсом интерпретатора

Использование графических процессоров (GPU) для запуска моделей машинного обучения (ML) может значительно повысить производительность и удобство работы пользователей с приложениями с поддержкой ML. На устройствах Android вы можете включить

делегат и один из следующих API:

На этой странице описывается, как включить ускорение графического процессора для моделей TensorFlow Lite в приложениях Android с помощью Interpreter API. Дополнительные сведения об использовании делегата графического процессора для TensorFlow Lite, включая рекомендации и передовые методы, см. на странице делегатов графического процессора .

Используйте GPU с TensorFlow Lite с сервисами Google Play

API интерпретатора TensorFlow Lite предоставляет набор API общего назначения для создания приложений машинного обучения. В этом разделе описывается, как использовать делегата ускорителя графического процессора с этими API с TensorFlow Lite со службами Google Play.

TensorFlow Lite с сервисами Google Play — рекомендуемый способ использования TensorFlow Lite на Android. Если ваше приложение предназначено для устройств, на которых не работает Google Play, см. раздел GPU с Interpreter API и автономным TensorFlow Lite .

Добавить зависимости проекта

Чтобы разрешить доступ к делегату графического процессора, добавьте com.google.android.gms:play-services-tflite-gpu в файл build.gradle вашего приложения:

dependencies {
    ...
    implementation 'com.google.android.gms:play-services-tflite-java:16.0.1'
    implementation 'com.google.android.gms:play-services-tflite-gpu:16.1.0'
}

Включить ускорение графического процессора

Затем инициализируйте TensorFlow Lite с помощью сервисов Google Play с поддержкой графического процессора:

Котлин

    val useGpuTask = TfLiteGpu.isGpuDelegateAvailable(context)

    val interpreterTask = useGpuTask.continueWith { useGpuTask ->
      TfLite.initialize(context,
          TfLiteInitializationOptions.builder()
          .setEnableGpuDelegateSupport(useGpuTask.result)
          .build())
      }

Джава

    Task useGpuTask = TfLiteGpu.isGpuDelegateAvailable(context);

    Task interpreterOptionsTask = useGpuTask.continueWith({ task ->
      TfLite.initialize(context,
      TfLiteInitializationOptions.builder()
        .setEnableGpuDelegateSupport(true)
        .build());
    });

Наконец, вы можете инициализировать интерпретатор, передав GpuDelegateFactory через InterpreterApi.Options :

Котлин


    val options = InterpreterApi.Options()
      .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)
      .addDelegateFactory(GpuDelegateFactory())

    val interpreter = InterpreterApi(model, options)

    // Run inference
    writeToInput(input)
    interpreter.run(input, output)
    readFromOutput(output)

Джава


    Options options = InterpreterApi.Options()
      .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)
      .addDelegateFactory(new GpuDelegateFactory());

    Interpreter interpreter = new InterpreterApi(model, options);

    // Run inference
    writeToInput(input);
    interpreter.run(input, output);
    readFromOutput(output);

Делегат GPU также можно использовать с привязкой модели ML в Android Studio. Дополнительные сведения см. в разделе Создание интерфейсов модели с помощью метаданных .

Используйте GPU с автономным TensorFlow Lite

Если ваше приложение предназначено для устройств, на которых не работает Google Play, можно связать делегата графического процессора с вашим приложением и использовать его с автономной версией TensorFlow Lite.

Добавить зависимости проекта

Чтобы включить доступ к делегату графического процессора, добавьте org.tensorflow:tensorflow-lite-gpu-delegate-plugin в файл build.gradle вашего приложения:

dependencies {
    ...
    implementation 'org.tensorflow:tensorflow-lite'
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Включить ускорение графического процессора

Затем запустите TensorFlow Lite на графическом процессоре с помощью TfLiteDelegate . В Java вы можете указать GpuDelegate через Interpreter.Options .

Котлин

      import org.tensorflow.lite.Interpreter
      import org.tensorflow.lite.gpu.CompatibilityList
      import org.tensorflow.lite.gpu.GpuDelegate

      val compatList = CompatibilityList()

      val options = Interpreter.Options().apply{
          if(compatList.isDelegateSupportedOnThisDevice){
              // if the device has a supported GPU, add the GPU delegate
              val delegateOptions = compatList.bestOptionsForThisDevice
              this.addDelegate(GpuDelegate(delegateOptions))
          } else {
              // if the GPU is not supported, run on 4 threads
              this.setNumThreads(4)
          }
      }

      val interpreter = Interpreter(model, options)

      // Run inference
      writeToInput(input)
      interpreter.run(input, output)
      readFromOutput(output)

Джава

      import org.tensorflow.lite.Interpreter;
      import org.tensorflow.lite.gpu.CompatibilityList;
      import org.tensorflow.lite.gpu.GpuDelegate;

      // Initialize interpreter with GPU delegate
      Interpreter.Options options = new Interpreter.Options();
      CompatibilityList compatList = CompatibilityList();

      if(compatList.isDelegateSupportedOnThisDevice()){
          // if the device has a supported GPU, add the GPU delegate
          GpuDelegate.Options delegateOptions = compatList.getBestOptionsForThisDevice();
          GpuDelegate gpuDelegate = new GpuDelegate(delegateOptions);
          options.addDelegate(gpuDelegate);
      } else {
          // if the GPU is not supported, run on 4 threads
          options.setNumThreads(4);
      }

      Interpreter interpreter = new Interpreter(model, options);

      // Run inference
      writeToInput(input);
      interpreter.run(input, output);
      readFromOutput(output);

Квантовые модели

Библиотеки делегатов графического процессора Android по умолчанию поддерживают квантованные модели. Вам не нужно вносить какие-либо изменения в код, чтобы использовать квантованные модели с делегатом графического процессора. В следующем разделе объясняется, как отключить поддержку квантования для тестирования или экспериментальных целей.

Отключить поддержку квантованной модели

Следующий код показывает, как отключить поддержку квантованных моделей.

Джава

GpuDelegate delegate = new GpuDelegate(new GpuDelegate.Options().setQuantizedModelsAllowed(false));

Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);

Дополнительные сведения о выполнении квантованных моделей с ускорением графического процессора см. в разделе Обзор делегата графического процессора .