หน้านี้อธิบายวิธีสร้างและใช้ไลบรารี TensorFlow Lite ด้วยเครื่องมือ CMake
คำแนะนำต่อไปนี้ได้รับการทดสอบบน Ubuntu 16.04.3 พีซี 64 บิต (AMD64) , macOS Catalina (x86_64), Windows 10 และ TensorFlow devel Docker image tensorflow/tensorflow:devel
ขั้นตอนที่ 1 ติดตั้งเครื่องมือ CMake
ต้องใช้ CMake 3.16 หรือสูงกว่า บน Ubuntu คุณสามารถรันคำสั่งต่อไปนี้ได้
sudo apt-get install cmake
หรือคุณสามารถปฏิบัติตาม คู่มือการติดตั้ง cmake อย่างเป็นทางการ
ขั้นตอนที่ 2 ที่เก็บ Clone TensorFlow
git clone https://github.com/tensorflow/tensorflow.git tensorflow_src
ขั้นตอนที่ 3 สร้างไดเร็กทอรีบิลด์ CMake
mkdir tflite_build
cd tflite_build
ขั้นตอนที่ 4 เรียกใช้เครื่องมือ CMake พร้อมการกำหนดค่า
ปล่อยบิลด์
มันสร้างไบนารีรีลีสที่ปรับให้เหมาะสมตามค่าเริ่มต้น หากคุณต้องการสร้างสำหรับเวิร์กสเตชันของคุณ เพียงรันคำสั่งต่อไปนี้
cmake ../tensorflow_src/tensorflow/lite
ดีบักบิลด์
หากคุณต้องการสร้างบิลด์การดีบักซึ่งมีข้อมูลสัญลักษณ์ คุณต้องจัดเตรียมอ็อพชัน -DCMAKE_BUILD_TYPE=Debug
cmake ../tensorflow_src/tensorflow/lite -DCMAKE_BUILD_TYPE=Debug
สร้างด้วยการทดสอบหน่วยเคอร์เนล
เพื่อให้สามารถรันการทดสอบเคอร์เนลได้ คุณต้องจัดเตรียมแฟล็ก -DTFLITE_KERNEL_TEST=on
ข้อมูลเฉพาะของการคอมไพล์ข้ามการทดสอบหน่วยสามารถพบได้ในส่วนย่อยถัดไป
cmake ../tensorflow_src/tensorflow/lite -DTFLITE_KERNEL_TEST=on
สร้างแพ็คเกจที่สามารถติดตั้งได้
หากต้องการสร้างแพ็คเกจที่ติดตั้งได้ซึ่งสามารถใช้เป็นการพึ่งพาโดยโปรเจ็กต์ CMake อื่นด้วย find_package(tensorflow-lite CONFIG)
ให้ใช้ตัวเลือก -DTFLITE_ENABLE_INSTALL=ON
คุณควรจัดเตรียมการพึ่งพาไลบรารีเวอร์ชันของคุณเองด้วย สิ่งเหล่านี้จะต้องใช้โดยโปรเจ็กต์ที่ขึ้นอยู่กับ TF Lite คุณสามารถใช้ -DCMAKE_FIND_PACKAGE_PREFER_CONFIG=ON
และตั้งค่าตัวแปร <PackageName>_DIR
ให้ชี้ไปที่การติดตั้งไลบรารีของคุณ
cmake ../tensorflow_src/tensorflow/lite -DTFLITE_ENABLE_INSTALL=ON \
-DCMAKE_FIND_PACKAGE_PREFER_CONFIG=ON \
-DSYSTEM_FARMHASH=ON \
-DSYSTEM_PTHREADPOOL=ON \
-Dabsl_DIR=<install path>/lib/cmake/absl \
-DEigen3_DIR=<install path>/share/eigen3/cmake \
-DFlatBuffers_DIR=<install path>/lib/cmake/flatbuffers \
-Dgemmlowp_DIR=<install path>/lib/cmake/gemmlowp \
-DNEON_2_SSE_DIR=<install path>/lib/cmake/NEON_2_SSE \
-Dcpuinfo_DIR=<install path>/share/cpuinfo \
-Druy_DIR=<install path>/lib/cmake/ruy
การรวบรวมข้าม
คุณสามารถใช้ CMake เพื่อสร้างไบนารีสำหรับสถาปัตยกรรมเป้าหมาย ARM64 หรือ Android
ในการคอมไพล์ข้าม TF Lite คุณจะต้องระบุเส้นทางไปยัง SDK (เช่น ARM64 SDK หรือ NDK ในกรณีของ Android) ด้วยแฟล็ก -DCMAKE_TOOLCHAIN_FILE
cmake -DCMAKE_TOOLCHAIN_FILE=<CMakeToolchainFileLoc> ../tensorflow/lite/
ข้อมูลจำเพาะของการคอมไพล์ข้าม Android
สำหรับการคอมไพล์ข้าม Android คุณต้องติดตั้ง Android NDK และระบุพาธ NDK ด้วยแฟล็ก -DCMAKE_TOOLCHAIN_FILE
ที่กล่าวถึงข้างต้น คุณต้องตั้งค่า ABI เป้าหมายด้วยแฟล็ก -DANDROID_ABI
cmake -DCMAKE_TOOLCHAIN_FILE=<NDK path>/build/cmake/android.toolchain.cmake \
-DANDROID_ABI=arm64-v8a ../tensorflow_src/tensorflow/lite
ข้อมูลเฉพาะของเคอร์เนล (หน่วย) ทดสอบการคอมไพล์ข้าม
การคอมไพล์ข้ามการทดสอบหน่วยต้องใช้คอมไพเลอร์ flatc สำหรับสถาปัตยกรรมโฮสต์ เพื่อจุดประสงค์นี้ มี CMakeLists อยู่ใน tensorflow/lite/tools/cmake/native_tools/flatbuffers
เพื่อสร้างคอมไพเลอร์ flatc ด้วย CMake ล่วงหน้าในไดเร็กทอรีบิลด์แยกต่างหากโดยใช้ toolchain ของโฮสต์
mkdir flatc-native-build && cd flatc-native-build
cmake ../tensorflow_src/tensorflow/lite/tools/cmake/native_tools/flatbuffers
cmake --build .
นอกจากนี้ยังเป็นไปได้ ที่จะติดตั้ง flatc ไปยังตำแหน่งการติดตั้งแบบกำหนดเอง (เช่นไปยังไดเร็กทอรีที่มีเครื่องมือที่สร้างขึ้นเองอื่น ๆ แทนไดเร็กทอรี build CMake):
cmake -DCMAKE_INSTALL_PREFIX=<native_tools_dir> ../tensorflow_src/tensorflow/lite/tools/cmake/native_tools/flatbuffers
cmake --build .
สำหรับการรวบรวมข้าม TF Lite จำเป็นต้องจัดเตรียมพารามิเตอร์เพิ่มเติม -DTFLITE_HOST_TOOLS_DIR=<flatc_dir_path>
ที่ชี้ไปยังไดเร็กทอรีที่มีไบนารี flatc ดั้งเดิมพร้อมกับแฟล็ก -DTFLITE_KERNEL_TEST=on
ที่กล่าวถึงข้างต้น
cmake -DCMAKE_TOOLCHAIN_FILE=${OE_CMAKE_TOOLCHAIN_FILE} -DTFLITE_KERNEL_TEST=on -DTFLITE_HOST_TOOLS_DIR=<flatc_dir_path> ../tensorflow/lite/
การทดสอบเคอร์เนลที่คอมไพล์ข้าม (หน่วย) เปิดตัวตามเป้าหมาย
การทดสอบหน่วยสามารถรันเป็นโปรแกรมปฏิบัติการแยกกันหรือใช้ยูทิลิตี้ CTest เท่าที่เกี่ยวข้องกับ CTest หากเปิดใช้งานพารามิเตอร์ TFLITE_ENABLE_NNAPI, TFLITE_ENABLE_XNNPACK
หรือ TFLITE_EXTERNAL_DELEGATE
อย่างน้อยหนึ่งรายการสำหรับรุ่น TF Lite การทดสอบผลลัพธ์จะถูกสร้างขึ้นด้วย ป้ายกำกับ ที่แตกต่างกันสองรายการ (ใช้การทดสอบแบบเดียวกันที่ปฏิบัติการได้): - ธรรมดา - แสดงถึงการทดสอบ อันที่ทำงานบนแบ็กเอนด์ CPU - ผู้รับมอบสิทธิ์ - แสดงถึงการทดสอบที่คาดว่าจะมีอาร์กิวเมนต์การเปิดตัวเพิ่มเติมที่ใช้สำหรับข้อกำหนดของผู้รับมอบสิทธิ์ที่ใช้
ทั้ง CTestTestfile.cmake
และ run-tests.cmake
(ตามที่อ้างอิงด้านล่าง) มีอยู่ใน <build_dir>/kernels
การเปิดตัวการทดสอบหน่วยด้วยแบ็กเอนด์ CPU (โดยที่ CTestTestfile.cmake
มีอยู่บนเป้าหมายในไดเร็กทอรีปัจจุบัน):
ctest -L plain
เรียกใช้ตัวอย่างการทดสอบหน่วยโดยใช้ผู้รับมอบสิทธิ์ (โดยให้ไฟล์ CTestTestfile.cmake
และ run-tests.cmake
มีอยู่บนเป้าหมายในไดเร็กทอรีปัจจุบัน):
cmake -E env TESTS_ARGUMENTS=--use_nnapi=true\;--nnapi_accelerator_name=vsi-npu ctest -L delegate
cmake -E env TESTS_ARGUMENTS=--use_xnnpack=true ctest -L delegate
cmake -E env TESTS_ARGUMENTS=--external_delegate_path=<PATH> ctest -L delegate
ข้อจำกัดที่ทราบ ของวิธีการจัดเตรียมอาร์กิวเมนต์การเรียกทำงานที่เกี่ยวข้องกับผู้รับมอบสิทธิ์เพิ่มเติมสำหรับการทดสอบหน่วยคือ สนับสนุนเฉพาะที่มี ค่าส่งคืนที่คาดหวังเป็น 0 อย่างมีประสิทธิภาพ ค่าที่ส่งคืนที่แตกต่างกันจะถูกรายงานว่าเป็นความล้มเหลวในการทดสอบ
ผู้รับมอบสิทธิ์ OpenCL GPU
หากเครื่องเป้าหมายของคุณรองรับ OpenCL คุณสามารถใช้ ตัวแทน GPU ซึ่งสามารถใช้ประโยชน์จากพลัง GPU ของคุณได้
หากต้องการกำหนดค่าการรองรับผู้รับมอบสิทธิ์ OpenCL GPU:
cmake ../tensorflow_src/tensorflow/lite -DTFLITE_ENABLE_GPU=ON
ขั้นตอนที่ 5 สร้าง TensorFlow Lite
ในไดเร็กทอรี tflite_build
cmake --build . -j
ขั้นตอนที่ 6 สร้างเครื่องมือเปรียบเทียบมาตรฐาน TensorFlow Lite และตัวอย่างรูปภาพป้ายกำกับ (ไม่บังคับ)
ในไดเร็กทอรี tflite_build
cmake --build . -j -t benchmark_model
cmake --build . -j -t label_image
ตัวเลือกที่ใช้ได้เพื่อสร้าง TensorFlow Lite
นี่คือรายการตัวเลือกที่ใช้ได้ คุณสามารถแทนที่มันด้วย -D<option_name>=[ON|OFF]
ตัวอย่างเช่น -DTFLITE_ENABLE_XNNPACK=OFF
เพื่อปิดใช้งาน XNNPACK ซึ่งเปิดใช้งานตามค่าเริ่มต้น
ชื่อตัวเลือก | คุณสมบัติ | หุ่นยนต์ | ลินุกซ์ | ระบบปฏิบัติการ macOS | หน้าต่าง |
---|---|---|---|---|---|
TFLITE_ENABLE_RUY | เปิดใช้งานไลบรารีการคูณเมทริกซ์ RUY | บน | ปิด | ปิด | ปิด |
TFLITE_ENABLE_NNAPI | เปิดใช้งานการมอบสิทธิ์ NNAPI | บน | ปิด | ไม่มี | ไม่มี |
TFLITE_ENABLE_GPU | เปิดใช้งานผู้รับมอบสิทธิ์ GPU | ปิด | ปิด | ไม่มี | ไม่มี |
TFLITE_ENABLE_XNNPACK | เปิดใช้งานผู้รับมอบสิทธิ์ XNNPACK | บน | บน | บน | บน |
TFLITE_ENABLE_MMAP | เปิดใช้งาน MMAP | บน | บน | บน | ไม่มี |
สร้างโปรเจ็กต์ CMake ซึ่งใช้ TensorFlow Lite
นี่คือ CMakeLists.txt ของ ตัวอย่างขั้นต่ำของ TFLite
คุณต้องมี add_subdirectory() สำหรับไดเร็กทอรี TensorFlow Lite และลิงก์ tensorflow-lite
กับ target_link_libraries()
cmake_minimum_required(VERSION 3.16)
project(minimal C CXX)
set(TENSORFLOW_SOURCE_DIR "" CACHE PATH
"Directory that contains the TensorFlow project" )
if(NOT TENSORFLOW_SOURCE_DIR)
get_filename_component(TENSORFLOW_SOURCE_DIR
"${CMAKE_CURRENT_LIST_DIR}/../../../../" ABSOLUTE)
endif()
add_subdirectory(
"${TENSORFLOW_SOURCE_DIR}/tensorflow/lite"
"${CMAKE_CURRENT_BINARY_DIR}/tensorflow-lite" EXCLUDE_FROM_ALL)
add_executable(minimal minimal.cc)
target_link_libraries(minimal tensorflow-lite)
สร้างไลบรารี TensorFlow Lite C
หากคุณต้องการสร้างไลบรารีที่ใช้ร่วมกันของ TensorFlow Lite สำหรับ C API ให้ทำตาม ขั้นตอนที่ 1 ถึง ขั้นตอนที่ 3 ก่อน หลังจากนั้นให้รันคำสั่งต่อไปนี้
ลินุกซ์/แมคโอเอส
cmake ../tensorflow_src/tensorflow/lite/c
cmake --build . -j
หน้าต่าง
cmake ../tensorflow_src/tensorflow/lite/c
cmake --build . -j --config Release
ห้องสมุดที่เรียบเรียง
คำสั่งดังกล่าวสร้างไลบรารีที่ใช้ร่วมกันต่อไปนี้ในไดเร็กทอรีปัจจุบัน
แพลตฟอร์ม | ชื่อห้องสมุด |
---|---|
ลินุกซ์ | libtensorflowlite_c.so |
ระบบปฏิบัติการ macOS | libtensorflowlite_c.dylib |
หน้าต่าง | tensorflowlite_c.dll |