Pilih operator TensorFlow

Karena library operator bawaan TensorFlow Lite hanya mendukung operator TensorFlow dalam jumlah terbatas, tidak semua model dapat dikonversi. Untuk detailnya, lihat kompatibilitas operator .

Untuk mengizinkan konversi, pengguna dapat mengaktifkan penggunaan operasi TensorFlow tertentu dalam model TensorFlow Lite mereka. Namun, menjalankan model TensorFlow Lite dengan operasi TensorFlow memerlukan penarikan runtime inti TensorFlow, yang meningkatkan ukuran biner penerjemah TensorFlow Lite. Untuk Android, Anda dapat menghindari ini dengan secara selektif membangun operasi Tensorflow yang diperlukan saja. Untuk detailnya, lihat memperkecil ukuran biner .

Dokumen ini menguraikan cara mengonversi dan menjalankan model TensorFlow Lite yang berisi operasi TensorFlow pada platform pilihan Anda. Ini juga membahas metrik kinerja dan ukuran serta batasan yang diketahui .

Mengonversi model

Contoh berikut menunjukkan cara membuat model TensorFlow Lite dengan operasi TensorFlow tertentu.

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.target_spec.supported_ops = [
  tf.lite.OpsSet.TFLITE_BUILTINS, # enable TensorFlow Lite ops.
  tf.lite.OpsSet.SELECT_TF_OPS # enable TensorFlow ops.
]
tflite_model = converter.convert()
open("converted_model.tflite", "wb").write(tflite_model)

Jalankan Inferensi

Saat menggunakan model TensorFlow Lite yang telah dikonversi dengan dukungan untuk operasi TensorFlow tertentu, klien juga harus menggunakan waktu proses TensorFlow Lite yang menyertakan perpustakaan operasi TensorFlow yang diperlukan.

Android AAR

Untuk mengurangi ukuran biner, silakan buat file AAR kustom Anda sendiri seperti yang dipandu di bagian berikutnya . Jika ukuran biner tidak terlalu menjadi perhatian, sebaiknya gunakan AAR bawaan dengan operasi TensorFlow yang dihosting di MavenCentral .

Anda dapat menentukan ini di dependensi build.gradle dengan menambahkannya di samping AAR TensorFlow Lite standar sebagai berikut:

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly-SNAPSHOT'
    // This dependency adds the necessary TF op support.
    implementation 'org.tensorflow:tensorflow-lite-select-tf-ops:0.0.0-nightly-SNAPSHOT'
}

Untuk menggunakan snapshot malam, pastikan Anda telah menambahkan repositori snapshot Sonatype .

Setelah Anda menambahkan dependensi, delegasi yang diperlukan untuk menangani operasi TensorFlow grafik harus diinstal secara otomatis untuk grafik yang memerlukannya.

Catatan: Ketergantungan operasi TensorFlow relatif besar, jadi Anda mungkin ingin memfilter ABI x86 yang tidak perlu di file .gradle dengan menyiapkan abiFilters .

android {
    defaultConfig {
        ndk {
            abiFilters 'armeabi-v7a', 'arm64-v8a'
        }
    }
}

Membangun Android AAR

Untuk mengurangi ukuran biner atau kasus lanjutan lainnya, Anda juga dapat membuat pustaka secara manual. Dengan asumsi lingkungan build TensorFlow Lite berfungsi , buat Android AAR dengan operasi TensorFlow tertentu sebagai berikut:

sh tensorflow/lite/tools/build_aar.sh \
  --input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
  --target_archs=x86,x86_64,arm64-v8a,armeabi-v7a

Ini akan menghasilkan file AAR bazel-bin/tmp/tensorflow-lite.aar untuk operasi bawaan dan kustom TensorFlow Lite; dan buat file AAR bazel-bin/tmp/tensorflow-lite-select-tf-ops.aar untuk operasi TensorFlow. Jika Anda tidak memiliki lingkungan build yang berfungsi, Anda juga dapat membuat file di atas dengan docker .

Dari sana, Anda dapat mengimpor file AAR langsung ke proyek Anda, atau memublikasikan file AAR khusus ke repositori Maven lokal Anda:

mvn install:install-file \
  -Dfile=bazel-bin/tmp/tensorflow-lite.aar \
  -DgroupId=org.tensorflow \
  -DartifactId=tensorflow-lite -Dversion=0.1.100 -Dpackaging=aar
mvn install:install-file \
  -Dfile=bazel-bin/tmp/tensorflow-lite-select-tf-ops.aar \
  -DgroupId=org.tensorflow \
  -DartifactId=tensorflow-lite-select-tf-ops -Dversion=0.1.100 -Dpackaging=aar

Terakhir, di build.gradle aplikasi Anda, pastikan Anda memiliki dependensi mavenLocal() dan ganti dependensi TensorFlow Lite standar dengan yang memiliki dukungan untuk operasi TensorFlow tertentu:

allprojects {
    repositories {
        mavenCentral()
        maven {  // Only for snapshot artifacts
            name 'ossrh-snapshot'
            url 'https://oss.sonatype.org/content/repositories/snapshots'
        }
        mavenLocal()
    }
}

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:0.1.100'
    implementation 'org.tensorflow:tensorflow-lite-select-tf-ops:0.1.100'
}

iOS

Menggunakan CocoaPods

TensorFlow Lite menyediakan CocoaPods ops TF terpilih setiap malam untuk arm64 , yang dapat Anda andalkan bersama TensorFlowLiteSwift atau TensorFlowLiteObjC CocoaPods.

Catatan: Jika Anda perlu menggunakan operasi TF tertentu dalam simulator x86_64 , Anda dapat membuat sendiri kerangka kerja operasi tertentu. Lihat bagian Menggunakan Bazel + Xcode untuk lebih jelasnya.

# In your Podfile target:
  pod 'TensorFlowLiteSwift'   # or 'TensorFlowLiteObjC'
  pod 'TensorFlowLiteSelectTfOps', '~> 0.0.1-nightly'

Setelah menjalankan pod install , Anda perlu menyediakan flag linker tambahan untuk memaksa memuat kerangka kerja operasi TF tertentu ke dalam proyek Anda. Di proyek Xcode Anda, buka Build Settings -> Other Linker Flags , dan tambahkan:

Untuk versi >= 2.9.0:

-force_load $(SRCROOT)/Pods/TensorFlowLiteSelectTfOps/Frameworks/TensorFlowLiteSelectTfOps.xcframework/ios-arm64/TensorFlowLiteSelectTfOps.framework/TensorFlowLiteSelectTfOps

Untuk versi < 2.9.0:

-force_load $(SRCROOT)/Pods/TensorFlowLiteSelectTfOps/Frameworks/TensorFlowLiteSelectTfOps.framework/TensorFlowLiteSelectTfOps

Anda kemudian dapat menjalankan model apa pun yang dikonversi dengan SELECT_TF_OPS di aplikasi iOS Anda. Misalnya, Anda dapat memodifikasi aplikasi iOS Klasifikasi Gambar untuk menguji fitur operasi TF tertentu.

• Ganti file model dengan yang dikonversi dengan SELECT_TF_OPS diaktifkan.
• Tambahkan dependensi TensorFlowLiteSelectTfOps ke Podfile seperti yang diinstruksikan.
• Tambahkan flag linker tambahan seperti di atas.
• Jalankan aplikasi contoh dan lihat apakah model berfungsi dengan benar.

Menggunakan Bazel + Xcode

TensorFlow Lite dengan operasi TensorFlow tertentu untuk iOS dapat dibuat menggunakan Bazel. Pertama, ikuti petunjuk pembuatan iOS untuk mengonfigurasi ruang kerja Bazel dan file .bazelrc dengan benar.

Setelah Anda mengonfigurasi ruang kerja dengan dukungan iOS yang diaktifkan, Anda dapat menggunakan perintah berikut untuk membuat kerangka kerja addon TF ops pilihan, yang dapat ditambahkan di atas TensorFlowLiteC.framework biasa. Perhatikan bahwa kerangka kerja TF ops tertentu tidak dapat dibuat untuk arsitektur i386 , jadi Anda perlu memberikan daftar arsitektur target secara eksplisit kecuali i386 .

bazel build -c opt --config=ios --ios_multi_cpus=arm64,x86_64 \
  //tensorflow/lite/ios:TensorFlowLiteSelectTfOps_framework

Ini akan menghasilkan kerangka kerja di bawah direktori bazel-bin/tensorflow/lite/ios/ . Anda dapat menambahkan kerangka kerja baru ini ke proyek Xcode Anda dengan mengikuti langkah-langkah serupa yang dijelaskan di bawah bagian pengaturan proyek Xcode di panduan pembuatan iOS.

Setelah menambahkan kerangka kerja ke dalam proyek aplikasi Anda, tanda penaut tambahan harus ditentukan dalam proyek aplikasi Anda untuk memaksa memuat kerangka kerja operasi TF tertentu. Di proyek Xcode Anda, buka Build Settings -> Other Linker Flags , dan tambahkan:

-force_load <path/to/your/TensorFlowLiteSelectTfOps.framework/TensorFlowLiteSelectTfOps>

C/C++

Jika Anda menggunakan Bazel atau CMake untuk membuat penerjemah TensorFlow Lite, Anda dapat mengaktifkan delegasi Flex dengan menautkan perpustakaan bersama delegasi TensorFlow Lite Flex. Anda dapat membangunnya dengan Bazel sebagai perintah berikut.

bazel build -c opt --config=monolithic tensorflow/lite/delegates/flex:tensorflowlite_flex

Perintah ini menghasilkan perpustakaan bersama berikut di bazel-bin/tensorflow/lite/delegates/flex .

Platform	Nama perpustakaan
Linux	libtensorflowlite_flex.so
macOS	libtensorflowlite_flex.dylib
jendela	tensorflowlite_flex.dll

Perhatikan bahwa TfLiteDelegate yang diperlukan akan diinstal secara otomatis saat membuat juru bahasa saat runtime selama pustaka bersama ditautkan. Tidak perlu menginstal instance delegasi secara eksplisit seperti yang biasanya diperlukan dengan tipe delegasi lainnya.

Catatan: Fitur ini tersedia sejak versi 2.7.

Python

TensorFlow Lite dengan operasi TensorFlow tertentu akan diinstal secara otomatis dengan paket pip TensorFlow . Anda juga dapat memilih untuk hanya menginstal paket pip TensorFlow Lite Interpreter .

Catatan: TensorFlow Lite dengan operasi TensorFlow tertentu tersedia dalam versi paket pip TensorFlow sejak 2.3 untuk Linux dan 2.4 untuk lingkungan lain.

Metrik

Pertunjukan

Saat menggunakan campuran operasi bawaan dan operasi TensorFlow tertentu, semua pengoptimalan TensorFlow Lite yang sama dan operasi bawaan yang dioptimalkan akan tersedia dan dapat digunakan dengan model yang dikonversi.

Tabel berikut menjelaskan waktu rata-rata yang diperlukan untuk menjalankan inferensi di MobileNet pada Pixel 2. Waktu yang tercantum adalah rata-rata 100 kali. Target ini dibuat untuk Android menggunakan flag: --config=android_arm64 -c opt .

Membangun	Waktu (milidetik)
Hanya operasi bawaan ( TFLITE_BUILTIN )	260.7
Hanya menggunakan operasi TF ( SELECT_TF_OPS )	264.5

Ukuran biner

Tabel berikut menjelaskan ukuran biner TensorFlow Lite untuk setiap build. Target ini dibuat untuk Android menggunakan --config=android_arm -c opt .

Membangun	Ukuran Biner C++	Ukuran APK Android
Hanya operasi bawaan	796 KB	561 KB
Operasi bawaan + operasi TF	23,0 MB	8,0 MB
Operasi bawaan + operasi TF (1)	4.1 MB	1,8 MB

(1) Pustaka ini dibuat secara selektif untuk model i3d-kinetics-400 dengan 8 operasi bawaan TFLite dan 3 operasi Tensorflow. Untuk detail selengkapnya, lihat bagian Reduce TensorFlow Lite binary size .

Batasan yang diketahui

• Jenis yang tidak didukung: Operasi TensorFlow tertentu mungkin tidak mendukung set lengkap jenis input/output yang biasanya tersedia di TensorFlow.

Pembaruan

• Versi 2.6
  • Dukungan untuk operator berbasis atribut GraphDef dan inisialisasi sumber daya HashTable telah ditingkatkan.
• Versi 2.5
  • Anda dapat menerapkan pengoptimalan yang dikenal sebagai kuantisasi pasca pelatihan
• Versi 2.4
  • Kompatibilitas dengan delegasi yang dipercepat perangkat keras telah meningkat