тензорный поток :: сервировка :: SavedModelBundleFactory

#include <saved_model_bundle_factory.h>

Фабрика, которая создает SavedModelBundles из путей экспорта SavedModel или SessionBundle.

Резюме

Созданные сеансы поддерживают только Run (), и, хотя это не выполняется принудительно, ожидается, что клиент будет выполнять только неизменяющие вызовы Run (). (Если это ограничение, которое мы добавили в качестве меры безопасности, проблематично для вашего варианта использования, пожалуйста, свяжитесь с командой обслуживания TensorFlow, чтобы обсудить его отключение.)

Если конфигурация требует пакетной обработки, генерируемые сеансы автоматически выполняют пакетные вызовы Run () за кулисами, используя SharedBatchScheduler, принадлежащий фабрике. Потоки config.num_batch_threads используются всеми экземплярами сеанса, созданными этой фабрикой. Однако у каждого сеанса есть собственная выделенная очередь размером config.max_enqueued_batches.

Фабрика также может оценить требования к ресурсам (например, ОЗУ) SavedModelBundle на основе SavedModel (то есть до загрузки сеанса).

Этот класс потокобезопасен.

Публичные статические функции
Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory)	Status Создает экземпляр SavedModelBundleFactory с помощью конфигурации.

Публичные функции
CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle)	Status Создает пакет из заданного пути экспорта или SavedModel.
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle)	Status Создает экземпляр пакета из заданного пути экспорта или SavedModel и заданных метаданных.
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const	Status Оценивает ресурсы, которые пакет SavedModel будет использовать после загрузки, исходя из пути экспорта.
config () const	const SessionBundleConfig &

Публичные статические функции

Создавать

Status Create(
  const SessionBundleConfig & config,
  std::unique_ptr< SavedModelBundleFactory > *factory
)

Создает экземпляр SavedModelBundleFactory с помощью конфигурации.

Подробности
Параметры	config Конфиг с опциями инициализации. factory Вновь созданная фабрика, если возвращенный статус - ОК.

Публичные функции

CreateSavedModelBundle

Status CreateSavedModelBundle(
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Создает пакет из заданного пути экспорта или SavedModel.

Подробности
Параметры	path Путь к модели. bundle Недавно созданный SavedModelBundle, если возвращенный статус - ОК.

CreateSavedModelBundleWithMetadata

Status CreateSavedModelBundleWithMetadata(
  const Loader::Metadata & metadata,
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Создает экземпляр пакета из заданного пути экспорта или SavedModel и заданных метаданных.

Подробности
Параметры	metadata Метаданные, которые нужно связать с пакетом. path Путь к модели. bundle Недавно созданный SavedModelBundle, если возвращенный статус - ОК.

EstimateResourceRequirement

Status EstimateResourceRequirement(
  const string & path,
  ResourceAllocation *estimate
) const 

Оценивает ресурсы, которые пакет SavedModel будет использовать после загрузки, исходя из пути экспорта.

Подробности
Параметры	path Путь к модели. estimate Оценка использования выходных ресурсов. Могут быть заполнены различные виды ресурсов (например, ЦП, ОЗУ и т. Д.).

config

const SessionBundleConfig & config() const