Обновлено: май 2021 г.
Ниже представлен общий обзор нашей дорожной карты. Вы должны знать, что эта дорожная карта может измениться в любое время, и приведенный ниже порядок не отражает какого-либо типа приоритета.
Мы разбиваем нашу дорожную карту на четыре ключевых сегмента: удобство использования, производительность, оптимизация и переносимость. Мы настоятельно рекомендуем вам прокомментировать нашу дорожную карту и предоставить нам обратную связь в дискуссионной группе TensorFlow Lite .
Юзабилити
- Расширенное покрытие операций
- Добавляйте целевые операции на основе отзывов пользователей.
- Добавьте целевые наборы операций для определенных доменов и областей, включая случайные операции, операции базового слоя Keras, хэш-таблицы, выберите операции обучения.
- Дополнительные вспомогательные инструменты
- Предоставьте аннотации графиков TensorFlow и инструменты совместимости для проверки совместимости TFLite и аппаратного ускорителя во время обучения и после преобразования.
- Разрешить таргетинг и оптимизацию для определенных ускорителей во время конвертации.
- Обучение на устройстве
- Поддержка обучения на устройстве для персонализации и передачи обучения, включая Colab, демонстрирующий сквозное использование.
- Поддержка типов переменных / ресурсов (как для вывода, так и для обучения)
- Поддержка преобразования и выполнения графиков с несколькими точками входа в функции (или сигнатуры).
- Расширенная интеграция с Android Studio
- Перетащите модели TFLite в Android Studio для создания интерфейсов моделей.
- Улучшите поддержку профилирования Android Studio, включая профилирование памяти.
- Создатель моделей
- Поддержка новых задач, включая обнаружение объектов, рекомендацию и классификацию аудио, охватывающих широкий спектр общих применений.
- Поддержите больше наборов данных, чтобы упростить переносное обучение.
- Библиотека задач
- Поддержка большего количества типов моделей (например, аудио, NLP) с соответствующими возможностями предварительной и постобработки.
- Обновите дополнительные справочные примеры с помощью API задач.
- Поддержка ускорения "из коробки" для всех задач.
- Больше моделей и примеров SOTA
- Добавьте больше примеров (например, аудио, NLP, связанные со структурными данными), чтобы продемонстрировать использование модели, а также новые функции и API, охватывающие различные платформы.
- Создавайте совместно используемые модели магистральных сетей для мобильных устройств, чтобы сократить расходы на обучение и развертывание.
- Беспроблемное развертывание на нескольких платформах
- Запускайте модели TensorFlow Lite в Интернете.
- Улучшенная кроссплатформенная поддержка
- Расширяйте и улучшайте API для Java на Android, Swift на iOS, Python на RPi.
- Улучшение поддержки CMake (например, более широкая поддержка ускорителей).
- Лучшая поддержка внешнего интерфейса
- Улучшите совместимость с различными интерфейсами разработки, включая Keras, tf.numpy.
Представление
- Лучшая оснастка
- Общедоступная панель инструментов для отслеживания роста производительности с каждым выпуском.
- Инструменты для лучшего понимания совместимости графов с целевыми ускорителями.
- Повышенная производительность ЦП
- XNNPack включен по умолчанию для более быстрого вывода с плавающей запятой.
- Сквозная поддержка половинной точности (float16) с оптимизированными ядрами.
- Обновленная поддержка NN API
- Полная поддержка новых функций, операций и типов API NN версии Android.
- Оптимизация графического процессора
- Уменьшено время запуска благодаря поддержке сериализации делегатов.
- Взаимодействие с аппаратным буфером для вывода с нулевым копированием.
- Более широкая доступность ускорения на устройстве.
- Лучшее операционное покрытие.
Оптимизация
Квантование
- Селективное квантование после обучения для исключения определенных слоев из квантования.
- Отладчик квантования для проверки потерь ошибок квантования на каждом уровне.
- Применение обучения с учетом квантования для большего покрытия модели, например, TensorFlow Model Garden.
- Улучшения качества и производительности для посттренировочного квантования динамического диапазона.
- API-интерфейс Tensor Compression, позволяющий использовать такие алгоритмы сжатия, как SVD.
Обрезка / редкость
- Комбинируйте настраиваемые API-интерфейсы времени обучения (обрезка + обучение с учетом квантования).
- Применение увеличения плотности на моделях TF Model Garden.
- Поддержка выполнения разреженных моделей в TensorFlow Lite.
Портативность
- Поддержка микроконтроллеров
- Добавьте поддержку ряда сценариев использования 32-битной архитектуры MCU для классификации речи и изображений.
- Аудио Frontend: встроенная поддержка предварительной обработки звука и ускорения
- Пример кода и моделей для визуальных и аудиоданных.