Bangun TensorFlow Lite dengan CMake

Halaman ini menjelaskan cara membuat dan menggunakan library TensorFlow Lite dengan alat CMake .

Petunjuk berikut telah diuji pada Ubuntu 16.04.3 PC 64-bit (AMD64) , macOS Catalina (x86_64), Windows 10 dan TensorFlow devel Docker image tensorflow/tensorflow:devel .

Catatan: Fitur ini tersedia sejak versi 2.4.

Langkah 1. Instal alat CMake

Ini membutuhkan CMake 3.16 atau lebih tinggi. Di Ubuntu, Anda cukup menjalankan perintah berikut.

sudo apt-get install cmake

Atau Anda dapat mengikuti panduan instalasi cmake resmi

Langkah 2. Kloning repositori TensorFlow

git clone https://github.com/tensorflow/tensorflow.git tensorflow_src

Catatan: Jika Anda menggunakan gambar TensorFlow Docker, repo sudah disediakan di /tensorflow_src/ .

Langkah 3. Buat direktori build CMake

mkdir tflite_build
cd tflite_build

Langkah 4. Jalankan alat CMake dengan konfigurasi

Rilis membangun

Ini menghasilkan biner rilis yang dioptimalkan secara default. Jika Anda ingin membangun untuk workstation Anda, cukup jalankan perintah berikut.

cmake ../tensorflow_src/tensorflow/lite

Debug build

Jika Anda perlu membuat build debug yang memiliki informasi simbol, Anda perlu menyediakan opsi -DCMAKE_BUILD_TYPE=Debug .

cmake ../tensorflow_src/tensorflow/lite -DCMAKE_BUILD_TYPE=Debug

Bangun dengan tes unit kernel

Agar dapat menjalankan tes kernel, Anda perlu memberikan tanda '-DTFLITE_KERNEL_TEST=on'. Spesifik kompilasi silang pengujian unit dapat ditemukan di subbagian berikutnya.

cmake ../tensorflow_src/tensorflow/lite -DTFLITE_KERNEL_TEST=on

Bangun paket yang dapat diinstal

Untuk membangun paket yang dapat diinstal yang dapat digunakan sebagai ketergantungan oleh proyek CMake lain dengan find_package(tensorflow-lite CONFIG) , gunakan opsi -DTFLITE_ENABLE_INSTALL=ON .

Idealnya Anda juga harus menyediakan dependensi perpustakaan versi Anda sendiri. Ini juga perlu digunakan oleh proyek yang bergantung pada TF Lite. Anda dapat menggunakan -DCMAKE_FIND_PACKAGE_PREFER_CONFIG=ON dan mengatur variabel <PackageName>_DIR untuk menunjuk ke instalasi perpustakaan Anda.

cmake ../tensorflow_src/tensorflow/lite -DTFLITE_ENABLE_INSTALL=ON \
  -DCMAKE_FIND_PACKAGE_PREFER_CONFIG=ON \
  -Dabsl_DIR=<install path>/lib/cmake/absl \
  -DEigen3_DIR=<install path>/share/eigen3/cmake \
  -DFlatbuffers_DIR=<install path>/lib/cmake/flatbuffers \
  -DNEON_2_SSE_DIR=<install path>/lib/cmake/NEON_2_SSE \
  -Dcpuinfo_DIR=<install path>/share/cpuinfo \
  -Druy_DIR=<install path>/lib/cmake/ruy

Catatan: Lihat dokumentasi CMake untuk find_package guna mempelajari lebih lanjut tentang penanganan dan lokasi paket.

Kompilasi silang

Anda dapat menggunakan CMake untuk membuat biner untuk arsitektur target ARM64 atau Android.

Untuk mengkompilasi silang TF Lite, Anda perlu menyediakan jalur ke SDK (misalnya ARM64 SDK atau NDK dalam kasus Android) dengan flag -DCMAKE_TOOLCHAIN_FILE .

cmake -DCMAKE_TOOLCHAIN_FILE=<CMakeToolchainFileLoc> ../tensorflow/lite/

Spesifik kompilasi silang Android

Untuk kompilasi silang Android, Anda perlu menginstal Android NDK dan menyediakan jalur NDK dengan flag -DCMAKE_TOOLCHAIN_FILE yang disebutkan di atas. Anda juga perlu menetapkan target ABI dengan flag -DANDROID_ABI .

cmake -DCMAKE_TOOLCHAIN_FILE=<NDK path>/build/cmake/android.toolchain.cmake \
  -DANDROID_ABI=arm64-v8a ../tensorflow_src/tensorflow/lite

Spesifik kernel (unit) menguji kompilasi silang

Kompilasi silang dari unit test membutuhkan kompiler flatc untuk arsitektur host. Untuk tujuan ini, ada CMakeLists yang terletak di tensorflow/lite/tools/cmake/native_tools/flatbuffers untuk membangun kompiler flatc dengan CMake terlebih dahulu di direktori build terpisah menggunakan toolchain host.

mkdir flatc-native-build && cd flatc-native-build
cmake ../tensorflow_src/tensorflow/lite/tools/cmake/native_tools/flatbuffers
cmake --build .

Dimungkinkan juga untuk menginstal flatc ke lokasi instalasi khusus (mis. ke direktori yang berisi alat bawaan lainnya alih-alih direktori build CMake):

cmake -DCMAKE_INSTALL_PREFIX=<native_tools_dir> ../tensorflow_src/tensorflow/lite/tools/cmake/native_tools/flatbuffers
cmake --build .

Untuk kompilasi silang TF Lite itu sendiri, parameter tambahan -DTFLITE_HOST_TOOLS_DIR=<flatc_dir_path> yang menunjuk ke direktori yang berisi biner flatc asli perlu disediakan bersama dengan -DTFLITE_KERNEL_TEST=on disebutkan di atas.

cmake -DCMAKE_TOOLCHAIN_FILE=${OE_CMAKE_TOOLCHAIN_FILE} -DTFLITE_KERNEL_TEST=on -DTFLITE_HOST_TOOLS_DIR=<flatc_dir_path> ../tensorflow/lite/

Tes kernel (unit) yang dikompilasi silang diluncurkan sesuai target

Tes unit dapat dijalankan sebagai executable terpisah atau menggunakan utilitas CTest. Sejauh menyangkut CTest, jika setidaknya salah satu parameter TFLITE_ENABLE_NNAPI, TFLITE_ENABLE_XNNPACK atau TFLITE_EXTERNAL_DELEGATE diaktifkan untuk pembuatan TF Lite, pengujian yang dihasilkan dihasilkan dengan dua label berbeda (menggunakan pengujian yang sama yang dapat dieksekusi): - polos - menunjukkan pengujian yang dijalankan pada backend CPU - delegasi - menunjukkan pengujian yang mengharapkan argumen peluncuran tambahan yang digunakan untuk spesifikasi delegasi yang digunakan

Baik CTestTestfile.cmake dan run-tests.cmake (sebagaimana disebutkan di bawah) tersedia di <build_dir>/kernels .

Peluncuran unit test dengan CPU backend (asalkan CTestTestfile.cmake hadir sesuai target di direktori saat ini):

ctest -L plain

Luncurkan contoh pengujian unit menggunakan delegasi (asalkan file CTestTestfile.cmake serta run-tests.cmake ada pada target di direktori saat ini):

cmake -E env TESTS_ARGUMENTS=--use_nnapi=true\;--nnapi_accelerator_name=vsi-npu ctest -L delegate
cmake -E env TESTS_ARGUMENTS=--use_xnnpack=true ctest -L delegate
cmake -E env TESTS_ARGUMENTS=--external_delegate_path=<PATH> ctest -L delegate

Batasan yang diketahui dari cara memberikan argumen peluncuran terkait delegasi tambahan untuk pengujian unit adalah bahwa cara ini secara efektif hanya mendukung mereka dengan nilai pengembalian yang diharapkan 0 . Nilai pengembalian yang berbeda akan dilaporkan sebagai kegagalan pengujian.

Delegasi GPU OpenCL

Jika mesin target Anda memiliki dukungan OpenCL, Anda dapat menggunakan delegasi GPU yang dapat memanfaatkan kekuatan GPU Anda.

Untuk mengonfigurasi dukungan delegasi OpenCL GPU:

cmake ../tensorflow_src/tensorflow/lite -DTFLITE_ENABLE_GPU=ON

Catatan: Ini eksperimental dan tersedia mulai dari TensorFlow 2.5. Mungkin ada masalah kompatibilitas. Ini hanya diverifikasi dengan perangkat Android dan NVidia CUDA OpenCL 1.2.

Langkah 5. Bangun TensorFlow Lite

Di direktori tflite_build,

cmake --build . -j

Catatan: Ini menghasilkan perpustakaan statis libtensorflow-lite.a di direktori saat ini tetapi perpustakaan tidak mandiri karena semua dependensi transitif tidak disertakan. Untuk menggunakan perpustakaan dengan benar, Anda perlu membuat proyek CMake. Silakan lihat bagian "Buat proyek CMake yang menggunakan TensorFlow Lite" .

Langkah 6. Bangun Alat Tolok Ukur TensorFlow Lite dan Contoh Label Gambar (Opsional)

Di direktori tflite_build,

cmake --build . -j -t benchmark_model

cmake --build . -j -t label_image

Opsi yang Tersedia untuk membangun TensorFlow Lite

Berikut adalah daftar opsi yang tersedia. Anda dapat menimpanya dengan -D<option_name>=[ON|OFF] . Misalnya, -DTFLITE_ENABLE_XNNPACK=OFF untuk menonaktifkan XNNPACK yang diaktifkan secara default.

Nama Opsi	Fitur	Android	Linux	macOS	jendela
TFLITE_ENABLE_RUY	Aktifkan perpustakaan perkalian matriks RUY	PADA	MATI	MATI	MATI
TFLITE_ENABLE_NNAPI	Aktifkan delegasi NNAPI	PADA	MATI	T/A	T/A
TFLITE_ENABLE_GPU	Aktifkan delegasi GPU	MATI	MATI	T/A	T/A
TFLITE_ENABLE_XNNPACK	Aktifkan delegasi XNNPACK	PADA	PADA	PADA	PADA
TFLITE_ENABLE_MMAP	Aktifkan MMAP	PADA	PADA	PADA	T/A

Buat proyek CMake yang menggunakan TensorFlow Lite

Berikut adalah contoh minimal CMakeLists.txt dari TFLite .

Anda harus memiliki add_subdirectory() untuk direktori TensorFlow Lite dan menautkan tensorflow-lite dengan target_link_libraries().

cmake_minimum_required(VERSION 3.16)
project(minimal C CXX)

set(TENSORFLOW_SOURCE_DIR "" CACHE PATH
  "Directory that contains the TensorFlow project" )
if(NOT TENSORFLOW_SOURCE_DIR)
  get_filename_component(TENSORFLOW_SOURCE_DIR
    "${CMAKE_CURRENT_LIST_DIR}/../../../../" ABSOLUTE)
endif()

add_subdirectory(
  "${TENSORFLOW_SOURCE_DIR}/tensorflow/lite"
  "${CMAKE_CURRENT_BINARY_DIR}/tensorflow-lite" EXCLUDE_FROM_ALL)

add_executable(minimal minimal.cc)
target_link_libraries(minimal tensorflow-lite)

Bangun perpustakaan TensorFlow Lite C

Jika Anda ingin membuat pustaka bersama TensorFlow Lite untuk C API , ikuti langkah 1 hingga langkah 3 terlebih dahulu. Setelah itu, jalankan perintah berikut.

cmake ../tensorflow_src/tensorflow/lite/c
cmake --build . -j

Perintah ini menghasilkan perpustakaan bersama berikut di direktori saat ini.

Platform	Nama perpustakaan
Linux	libtensorflowlite_c.so
macOS	libtensorflowlite_c.dylib
jendela	tensorflowlite_c.dll

Catatan: Anda memerlukan header yang diperlukan (c_api.h, c_api_experimental.h dan common.h) untuk menggunakan pustaka bersama yang dihasilkan.