Atualizado: maio de 2021
O que se segue representa uma visão geral de alto nível do nosso roteiro. Você deve estar ciente de que este roteiro pode mudar a qualquer momento e a ordem abaixo não reflete nenhum tipo de prioridade.
Dividimos nosso roteiro em quatro segmentos principais: usabilidade, desempenho, otimização e portabilidade. Recomendamos fortemente que você comente nosso roteiro e forneça feedback no grupo de discussão do TensorFlow Lite .
Usabilidade
- Cobertura de operações expandida
- Adicione operações direcionadas com base no feedback do usuário.
- Adicione conjuntos de operações direcionados para domínios e áreas específicas, incluindo operações aleatórias, operações de camada base Keras, tabelas de hash e operações de treinamento selecionadas.
- Ferramentas mais assistivas
- Forneça anotações gráficas do TensorFlow e ferramentas de compatibilidade para validar a compatibilidade do TFLite e do acelerador de hardware durante o treinamento e após a conversão.
- Permitir direcionamento e otimização para aceleradores específicos durante a conversão.
- Treinamento no dispositivo
- Apoie o treinamento no dispositivo para personalização e aprendizagem por transferência, incluindo um Colab demonstrando o uso de ponta a ponta.
- Suporta tipos de variáveis/recursos (tanto para inferência quanto para treinamento)
- Suporta conversão e execução de gráficos com múltiplos pontos de entrada de função (ou assinatura).
- Integração aprimorada do Android Studio
- Arraste e solte modelos TFLite no Android Studio para gerar interfaces de modelo.
- Melhore o suporte à criação de perfil do Android Studio, incluindo criação de perfil de memória.
- Criador de modelos
- Oferece suporte a tarefas mais recentes, incluindo detecção de objetos, recomendação e classificação de áudio, abrangendo uma ampla coleção de usos comuns.
- Apoie mais conjuntos de dados para facilitar a aprendizagem por transferência.
- Biblioteca de Tarefas
- Suporta mais tipos de modelos (por exemplo, áudio, PNL) com recursos de pré e pós-processamento associados.
- Atualize mais exemplos de referência com APIs de tarefas.
- Suporta aceleração pronta para uso para todas as tarefas.
- Mais modelos e exemplos SOTA
- Adicione mais exemplos (por exemplo, áudio, PNL, dados estruturais) para demonstrar o uso do modelo, bem como novos recursos e APIs, cobrindo diferentes plataformas.
- Crie modelos de backbone compartilháveis no dispositivo para reduzir custos de treinamento e implantação.
- Implantação perfeita em diversas plataformas
- Execute modelos do TensorFlow Lite na Web.
- Suporte multiplataforma aprimorado
- Estenda e melhore APIs para Java no Android, Swift no iOS, Python no RPi.
- Melhorar o suporte ao CMake (por exemplo, suporte mais amplo ao acelerador).
- Melhor suporte de front-end
- Melhore a compatibilidade com vários frontends de autoria, incluindo Keras, tf.numpy.
Desempenho
- Melhores ferramentas
- Painel público para acompanhar ganhos de desempenho a cada lançamento.
- Ferramentas para melhor compreensão da compatibilidade de gráficos com aceleradores de destino.
- Melhor desempenho da CPU
- XNNPack habilitado por padrão para inferência de ponto flutuante mais rápida.
- Suporte de meia precisão ponta a ponta (float16) com kernels otimizados.
- Suporte atualizado à API NN
- Suporte total para recursos, operações e tipos da API NN da versão mais recente do Android.
- Otimizações de GPU
- Tempo de inicialização aprimorado com suporte à serialização de delegados.
- Interoperabilidade de buffer de hardware para inferência de cópia zero.
- Maior disponibilidade de aceleração no dispositivo.
- Melhor cobertura operacional.
Otimização
Quantização
- Quantização seletiva pós-treinamento para excluir certas camadas da quantização.
- Depurador de quantização para inspecionar perdas de erros de quantização por cada camada.
- Aplicando treinamento com reconhecimento de quantização em mais cobertura de modelo, por exemplo, TensorFlow Model Garden.
- Melhorias de qualidade e desempenho para quantização de faixa dinâmica pós-treinamento.
- API Tensor Compression para permitir algoritmos de compressão como SVD.
Poda / escassez
- Combine APIs configuráveis de tempo de treinamento (remoção + treinamento com reconhecimento de quantização).
- Aumente a aplicação de paridade nos modelos TF Model Garden.
- Suporte para execução de modelo esparso no TensorFlow Lite.
Portabilidade
- Suporte para microcontrolador
- Adicione suporte para uma variedade de casos de uso de arquitetura MCU de 32 bits para classificação de fala e imagem.
- Frontend de áudio: suporte para pré-processamento e aceleração de áudio no gráfico
- Código e modelos de amostra para dados de visão e áudio.