Atualizado: maio de 2021
O que se segue representa uma visão geral de alto nível do nosso roteiro. Você deve estar ciente de que este roteiro pode mudar a qualquer momento e a ordem abaixo não reflete nenhum tipo de prioridade.
Dividimos nosso roteiro em quatro segmentos principais: usabilidade, desempenho, otimização e portabilidade. Nós encorajamos você a comentar sobre o nosso roteiro e nos fornecer um feedback no grupo de discussão TensorFlow Lite .
Usabilidade
- Cobertura de operações expandida
- Adicione operações direcionadas com base no feedback do usuário.
- Adicione conjuntos de operações direcionados para domínios e áreas específicos, incluindo operações aleatórias, operações da camada base Keras, tabelas de hash, operações de treinamento selecionadas.
- Ferramentas mais assistivas
- Fornece anotações de gráfico do TensorFlow e ferramentas de compatibilidade para validar o TFLite e a compatibilidade do acelerador de hardware durante o treinamento e após a conversão.
- Permitir segmentação e otimização para aceleradores específicos durante a conversão.
- Treinamento no dispositivo
- Suporte ao treinamento no dispositivo para personalização e aprendizagem de transferência, incluindo um Colab que demonstra o uso de ponta a ponta.
- Suporta tipos de variáveis / recursos (tanto para inferência quanto para treinamento)
- Suporta a conversão e execução de gráficos com pontos de entrada de múltiplas funções (ou assinatura).
- Integração aprimorada do Android Studio
- Arraste e solte modelos TFLite no Android Studio para gerar interfaces de modelo.
- Melhore o suporte de criação de perfil do Android Studio, incluindo criação de perfil de memória.
- Model Maker
- Suporte a tarefas mais recentes, incluindo detecção de objetos, recomendação e classificação de áudio, cobrindo uma ampla coleção de uso comum.
- Ofereça suporte a mais conjuntos de dados para facilitar a aprendizagem por transferência.
- Biblioteca de Tarefas
- Suporta mais tipos de modelo (por exemplo, áudio, PNL) com recursos de pré e pós-processamento associados.
- Atualize mais exemplos de referência com APIs de tarefas.
- Suporta aceleração out-of-the-box para todas as tarefas.
- Mais modelos e exemplos SOTA
- Adicione mais exemplos (por exemplo, áudio, PNL, dados de estrutura relacionados) para demonstrar o uso do modelo, bem como novos recursos e APIs, cobrindo diferentes plataformas.
- Crie modelos de backbone compartilháveis para no dispositivo para reduzir os custos de treinamento e implantação.
- Implantação perfeita em várias plataformas
- Execute modelos do TensorFlow Lite na Web.
- Suporte aprimorado de plataforma cruzada
- Estenda e melhore APIs para Java no Android, Swift no iOS, Python no RPi.
- Aprimore o suporte do CMake (por exemplo, suporte mais amplo do acelerador).
- Melhor suporte de frontend
- Melhore a compatibilidade com vários front-ends de criação, incluindo Keras, tf.numpy.
atuação
- Melhor ferramenta
- Painel público para acompanhar os ganhos de desempenho com cada versão.
- Ferramentas para melhor compreensão da compatibilidade do gráfico com aceleradores de destino.
- Melhor desempenho da CPU
- XNNPack habilitado por padrão para inferência de ponto flutuante mais rápida.
- Suporte de meia precisão ponta a ponta (float16) com kernels otimizados.
- Suporte de API NN atualizado
- Suporte completo para recursos, operações e tipos de API NN de versão mais recente do Android.
- Otimizações de GPU
- Tempo de inicialização aprimorado com suporte para serialização de delegado.
- Interoperabilidade de buffer de hardware para inferência de cópia zero.
- Maior disponibilidade de aceleração no dispositivo.
- Melhor cobertura operacional.
Otimização
Quantização
- Quantização seletiva pós-treinamento para excluir certas camadas da quantização.
- Depurador de quantização para inspecionar perdas de erro de quantização por cada camada.
- Aplicação de treinamento com reconhecimento de quantização em mais cobertura de modelo, por exemplo, TensorFlow Model Garden.
- Melhorias de qualidade e desempenho para quantização de faixa dinâmica pós-treinamento.
- API Tensor Compression para permitir algoritmos de compressão, como SVD.
Poda / esparsidade
- Combine APIs de tempo de treinamento configuráveis (poda + treinamento com reconhecimento de quantização).
- Aumente a aplicação de sparity em modelos TF Model Garden.
- Suporte para execução de modelo esparso no TensorFlow Lite.
Portabilidade
- Suporte de microcontrolador
- Adicione suporte para uma variedade de casos de uso de arquitetura MCU de 32 bits para voz e classificação de imagem.
- Interface de áudio: pré-processamento de áudio no gráfico e suporte de aceleração
- Código de amostra e modelos para dados de visão e áudio.