Diperbarui: Mei 2021
Berikut ini merupakan ikhtisar tingkat tinggi dari peta jalan kami. Anda harus menyadari bahwa peta jalan ini dapat berubah sewaktu-waktu dan urutan di bawah ini tidak mencerminkan prioritas apa pun.
Kami membagi peta jalan kami menjadi empat segmen utama: kegunaan, kinerja, optimalisasi, dan portabilitas. Kami sangat menganjurkan Anda untuk mengomentari peta jalan kami dan memberikan masukan di grup diskusi TensorFlow Lite .
Kegunaan
- Cakupan operasi diperluas
- Tambahkan operasi yang ditargetkan berdasarkan masukan pengguna.
- Tambahkan set operasi yang ditargetkan untuk domain dan area tertentu termasuk operasi Acak, operasi lapisan Keras dasar, tabel hash, operasi pelatihan tertentu.
- Perkakas yang lebih membantu
- Menyediakan anotasi grafik TensorFlow dan alat kompatibilitas untuk memvalidasi kompatibilitas TFLite dan akselerator perangkat keras selama pelatihan dan setelah konversi.
- Izinkan penargetan dan pengoptimalan untuk akselerator tertentu selama konversi.
- Pelatihan di perangkat
- Mendukung pelatihan di perangkat untuk personalisasi dan pembelajaran transfer, termasuk Colab yang menunjukkan penggunaan menyeluruh.
- Variabel pendukung/jenis sumber daya (baik untuk inferensi dan pelatihan)
- Mendukung konversi dan eksekusi grafik dengan titik masuk beberapa fungsi (atau tanda tangan).
- Integrasi Android Studio yang ditingkatkan
- Tarik dan lepas model TFLite ke Android Studio untuk menghasilkan antarmuka model.
- Meningkatkan dukungan pembuatan profil Android Studio, termasuk pembuatan profil memori.
- Pembuat Model
- Mendukung tugas-tugas baru, termasuk deteksi objek, rekomendasi, dan klasifikasi audio, yang mencakup beragam penggunaan umum.
- Mendukung lebih banyak kumpulan data untuk membuat pembelajaran transfer lebih mudah.
- Perpustakaan Tugas
- Mendukung lebih banyak jenis model (misalnya audio, NLP) dengan kemampuan pemrosesan sebelum dan sesudah terkait.
- Perbarui lebih banyak contoh referensi dengan Task API.
- Mendukung akselerasi out-of-the-box untuk semua tugas.
- Lebih banyak model dan contoh SOTA
- Tambahkan lebih banyak contoh (misalnya audio, NLP, terkait struktur data) untuk mendemonstrasikan penggunaan model serta fitur dan API baru, yang mencakup berbagai platform.
- Buat model tulang punggung yang dapat dibagikan di perangkat guna mengurangi biaya pelatihan dan penerapan.
- Penerapan yang mulus di berbagai platform
- Jalankan model TensorFlow Lite di web.
- Peningkatan dukungan lintas platform
- Perluas dan tingkatkan API untuk Java di Android, Swift di iOS, Python di RPi.
- Meningkatkan dukungan CMake (misalnya, dukungan akselerator yang lebih luas).
- Dukungan frontend yang lebih baik
- Tingkatkan kompatibilitas dengan berbagai frontend pembuatan, termasuk Keras, tf.numpy.
Pertunjukan
- Perkakas yang lebih baik
- Dasbor publik untuk melacak peningkatan kinerja pada setiap rilis.
- Peralatan untuk lebih memahami kompatibilitas grafik dengan akselerator target.
- Peningkatan kinerja CPU
- XNNPack diaktifkan secara default untuk inferensi floating point yang lebih cepat.
- Dukungan setengah presisi ujung ke ujung (float16) dengan kernel yang dioptimalkan.
- Dukungan NN API yang diperbarui
- Dukungan penuh untuk fitur, operasi, dan jenis NN API versi Android yang lebih baru.
- Optimasi GPU
- Peningkatan waktu startup dengan dukungan serialisasi delegasi.
- Interop buffer perangkat keras untuk inferensi tanpa penyalinan.
- Ketersediaan akselerasi pada perangkat yang lebih luas.
- Cakupan operasi yang lebih baik.
Optimasi
Kuantisasi
- Kuantisasi pasca pelatihan selektif untuk mengecualikan lapisan tertentu dari kuantisasi.
- Debugger kuantisasi untuk memeriksa kerugian kesalahan kuantisasi per setiap lapisan.
- Menerapkan pelatihan sadar kuantisasi pada cakupan model yang lebih banyak, misalnya TensorFlow Model Garden.
- Peningkatan kualitas dan kinerja untuk kuantisasi rentang dinamis pasca pelatihan.
- Tensor Compression API untuk memungkinkan algoritma kompresi seperti SVD.
Pemangkasan / ketersebaran
- Gabungkan API waktu pelatihan (pemangkasan + pelatihan sadar kuantisasi) yang dapat dikonfigurasi.
- Meningkatkan penerapan sparity pada model TF Model Garden.
- Dukungan eksekusi model renggang di TensorFlow Lite.
Portabilitas
- Dukungan Mikrokontroler
- Tambahkan dukungan untuk berbagai kasus penggunaan arsitektur MCU 32-bit untuk klasifikasi ucapan dan gambar.
- Audio Frontend: Dukungan akselerasi dan pra-pemrosesan audio dalam grafik
- Contoh kode dan model untuk data penglihatan dan audio.