Aggiornato: maggio 2021
Quanto segue rappresenta una panoramica di alto livello della nostra tabella di marcia. Dovresti essere consapevole che questa tabella di marcia può cambiare in qualsiasi momento e l'ordine riportato di seguito non riflette alcun tipo di priorità.
Suddividiamo la nostra tabella di marcia in quattro segmenti chiave: usabilità, prestazioni, ottimizzazione e portabilità. Ti invitiamo vivamente a commentare la nostra roadmap e a fornirci feedback nel gruppo di discussione di TensorFlow Lite .
Usabilità
- Copertura operativa estesa
- Aggiungi operazioni mirate in base al feedback degli utenti.
- Aggiungi set di operazioni mirate per domini e aree specifici, tra cui operazioni casuali, operazioni di livello Keras di base, tabelle hash e operazioni di formazione selezionate.
- Strumenti più assistivi
- Fornisci annotazioni sui grafici TensorFlow e strumenti di compatibilità per convalidare la compatibilità di TFLite e dell'acceleratore hardware durante l'addestramento e dopo la conversione.
- Consenti il targeting e l'ottimizzazione per acceleratori specifici durante la conversione.
- Formazione sul dispositivo
- Supporta la formazione sul dispositivo per la personalizzazione e il trasferimento dell'apprendimento, incluso un Colab che dimostra l'utilizzo end-to-end.
- Supporta tipi di variabili/risorse (sia per inferenza che per formazione)
- Supporta la conversione e l'esecuzione di grafici con più punti di ingresso di funzioni (o firme).
- Integrazione Android Studio migliorata
- Trascina e rilascia i modelli TFLite in Android Studio per generare interfacce di modelli.
- Migliora il supporto della profilazione di Android Studio, inclusa la profilazione della memoria.
- Costruttore di modelli
- Supporta attività più recenti, tra cui il rilevamento di oggetti, i consigli e la classificazione audio, coprendo un'ampia raccolta di usi comuni.
- Supporta più set di dati per facilitare l'apprendimento del trasferimento.
- Libreria attività
- Supporta più tipi di modelli (ad esempio audio, NLP) con funzionalità di pre e post elaborazione associate.
- Aggiorna più esempi di riferimento con le API delle attività.
- Supporta l'accelerazione immediata per tutte le attività.
- Altri modelli ed esempi SOTA
- Aggiungi altri esempi (ad esempio audio, NLP, relativi ai dati strutturali) per dimostrare l'utilizzo del modello, nonché nuove funzionalità e API, che coprono diverse piattaforme.
- Crea modelli backbone condivisibili sul dispositivo per ridurre i costi di formazione e implementazione.
- Distribuzione senza interruzioni su più piattaforme
- Esegui i modelli TensorFlow Lite sul Web.
- Supporto multipiattaforma migliorato
- Estendi e migliora le API per Java su Android, Swift su iOS, Python su RPi.
- Migliorare il supporto di CMake (ad esempio, supporto più ampio dell'acceleratore).
- Migliore supporto frontend
- Migliora la compatibilità con vari frontend di creazione, inclusi Keras, tf.numpy.
Prestazione
- Utensili migliori
- Dashboard pubblica per monitorare i miglioramenti delle prestazioni con ogni versione.
- Strumenti per comprendere meglio la compatibilità dei grafici con gli acceleratori target.
- Prestazioni della CPU migliorate
- XNNPack abilitato per impostazione predefinita per un'inferenza in virgola mobile più rapida.
- Supporto end-to-end a mezza precisione (float16) con kernel ottimizzati.
- Supporto API NN aggiornato
- Supporto completo per le funzionalità, le operazioni e i tipi dell'API NN della versione Android più recente.
- Ottimizzazioni della GPU
- Tempo di avvio migliorato con il supporto della serializzazione dei delegati.
- Interoperabilità del buffer hardware per inferenza con copia zero.
- Maggiore disponibilità dell'accelerazione sul dispositivo.
- Migliore copertura operativa.
Ottimizzazione
Quantizzazione
- Quantizzazione selettiva post-allenamento per escludere determinati livelli dalla quantizzazione.
- Debugger di quantizzazione per ispezionare le perdite di errori di quantizzazione per ogni strato.
- Applicazione di formazione basata sulla quantizzazione su una maggiore copertura del modello, ad esempio TensorFlow Model Garden.
- Miglioramenti della qualità e delle prestazioni per la quantizzazione della gamma dinamica post-allenamento.
- API di compressione tensore per consentire algoritmi di compressione come SVD.
Potatura/rasparità
- Combina API configurabili con tempo di addestramento (potatura + addestramento con riconoscimento della quantizzazione).
- Aumenta l'applicazione di scarsità sui modelli TF Model Garden.
- Supporto per l'esecuzione di modelli sparsi in TensorFlow Lite.
Portabilità
- Supporto microcontrollore
- Aggiungi il supporto per una gamma di casi d'uso dell'architettura MCU a 32 bit per la classificazione vocale e di immagini.
- Frontend audio: supporto per la pre-elaborazione audio e l'accelerazione nel grafico
- Codice e modelli di esempio per dati visivi e audio.