тензорный поток :: сервировка :: ServerCore

#include <server_core.h>

ServerCore содержит государственные и вспомогательные методы , позволяющие строительство ModelServers , которые поддерживают несколько интерфейсов.

Резюме

Все функциональные возможности в ServerCore не зависит от каких - либо конкретных API для домена и не зависит от платформы.

С точкой зрения состояния, ServerCore инициализируется и сохраняет статический ModelServerConfig, из которого он бутстрэпов в AspiredVersionsManager и вспомогательные структуры данных для поддержки эффективного обслуживания.

Интерфейсы , построенные выше ServerCore , например , реализации услуг RPC, останутся без гражданства и будет выполнять все Lookups из servables (модели) с помощью ServerCore .

Наследование

Наследуется от: tensorflow :: :: Менеджер обслуживания

Конструкторы и деструкторы

~ServerCore ()

Публичные типы

CustomModelConfigLoader с использованием
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Функция, отвечающая за создание экземпляров и подключение необходимых настраиваемых источников и исходных адаптеров к менеджеру на основе переданной в config (любой).
PreLoadHook с использованием
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator с использованием
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater с использованием
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
Сигнатура функции, используемая для обновления server_request_logger.

Классы друзей

test_util::ServerCoreTestAccess
friend class

Публичные функции

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Возвращает ServableHandle по заданному ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Получает список всех доступных обслуживаемых идентификаторов, т.е.
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Записывает журнал для конкретного запроса, ответа и метаданных, если мы решим сделать его выборку и если ведение журнала запросов было настроено для конкретной модели.
ReloadConfig (const ModelServerConfig & config)
virtual Status
Обновляет ядро ​​сервера всеми моделями и источниками согласно ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
Возвращает ServableStateMonitor , который может быть использован для запроса servable состояния.

Публичные статические функции

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Создает ServerCore экземпляр со всеми моделями и источников согласно ModelServerConfig.

Защищенные функции

ServerCore ( Options options)

Структуры

tensorflow :: служит :: ServerCore :: Варианты

Параметры для конфигурирования ServerCore объекта.

Публичные типы

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Функция, отвечающая за создание экземпляров и подключение необходимых настраиваемых источников и исходных адаптеров к менеджеру на основе переданной в config (любой).

Ожидаемая закономерность заключается в том, что право собственности на созданные источники / исходные адаптеры может быть передано менеджеру.

PreLoadHook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

Сигнатура функции, используемая для обновления server_request_logger.

Классы друзей

test_util :: ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

Публичные функции

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Возвращает ServableHandle по заданному ModelSpec.

Возвращает ошибку, если такой обслуживаемый объект недоступен, например, еще не загружен, приостановлен / выгружен и т. Д. Вызывающие могут предположить, что состояние ОК указывает ненулевой дескриптор.

ВАЖНО: вызывающий должен удерживать дескриптор только в течение короткого времени, например, в течение одного запроса. Удерживание ручки в течение длительного времени предотвратит загрузку и разгрузку в рабочем состоянии.

Если 'options_.allow_version_labels == true', распознает две конкретные метки версии модели «стабильная» и «канареечная» и преобразует их в наименьшую и наибольшую доступную версию соответственно.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Получает список всех доступных обслуживаемых идентификаторов, т.е.

каждый из них можно получить с помощью GetServableHandle.

Бревно

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Записывает журнал для конкретного запроса, ответа и метаданных, если мы решим сделать его выборку и если ведение журнала запросов было настроено для конкретной модели.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

Обновляет ядро ​​сервера всеми моделями и источниками согласно ModelServerConfig.

Как Создать () , ждет всех статически настроенных servables должны быть доступны , прежде чем вернуться, и возвращает ошибку , если любая такая модель не нагрузки. (Не обязательно ждать, пока модели, удаленные из конфигурации, завершат выгрузку; это может происходить асинхронно.)

ВАЖНО: разрешено вызывать этот метод более одного раза только при использовании ModelConfigList (в отличие от пользовательской конфигурации модели).

pred_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const

Возвращает ServableStateMonitor , который может быть использован для запроса servable состояния.

~ ServerCore

virtual  ~ServerCore()=default

Публичные статические функции

Создавать

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Создает ServerCore экземпляр со всеми моделями и источников согласно ModelServerConfig.

Для моделей, статически настроенных с помощью ModelConfigList, перед возвратом ожидает, пока они станут доступными (или выдаст ошибку) для обслуживания. Возвращает статус ошибки, если какая-либо такая модель не загружается.

Защищенные функции

ServerCore

 ServerCore(
  Options options
)