Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

tensorflow :: porcja:: ServerCore

#include <server_core.h>

ServerCore zawiera metody stanowe i pomocnicze umożliwiające budowanie serwerów ModelServers obsługujących wiele interfejsów.

Podsumowanie

Wszystkie funkcje ServerCore są niezależne od interfejsów API specyficznych dla domeny i niezależne od platform.

Jeśli chodzi o stan, ServerCore jest inicjowany i zachowuje statyczny ModelServerConfig, z którego ładuje AspiredVersionsManager i pomocnicze struktury danych w celu obsługi wydajnego udostępniania .

Interfejsy zbudowane powyżej ServerCore , np. Implementacje usług RPC, pozostaną bezstanowe i będą przeprowadzać wszystkie wyszukiwania usług (modeli) za pośrednictwem ServerCore .

Dziedzictwo

Dziedziczy po : tensorflow :: służąc :: Manager

Konstruktorzy i niszczyciele

~ServerCore ()

Typy publiczne

CustomModelConfigLoader za pomocą
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Funkcja odpowiedzialna za tworzenie instancji i łączenie niezbędnych niestandardowych źródeł i adapterów źródłowych z menedżerem w oparciu o przekazaną konfigurację (dowolną).
PreLoadHook za pomocą
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator za pomocą
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater za pomocą
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
Sygnatura funkcji używana do aktualizacji server_request_logger.

Klasy przyjaciół

test_util::ServerCoreTestAccess
friend class

Funkcje publiczne

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Zwraca ServableHandle, biorąc pod uwagę ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Pobiera listę wszystkich dostępnych identyfikatorów obsługiwanych, tj
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Zapisuje dziennik dla konkretnego żądania, odpowiedzi i metadanych, jeśli zdecydujemy się na próbkowanie i jeśli logowanie żądań zostało skonfigurowane dla konkretnego modelu.
ReloadConfig (const ModelServerConfig & config)
virtual Status
Aktualizuje rdzeń serwera za pomocą wszystkich modeli i źródeł zgodnie z ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
Zwraca ServableStateMonitor, którego można używać do wysyłania zapytań o stany, które można obsługiwać.

Publiczne funkcje statyczne

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Tworzy wystąpienie ServerCore ze wszystkimi modelami i źródłami na ModelServerConfig.

Funkcje chronione

ServerCore ( Options options)

Struktury

tensorflow :: Serving :: ServerCore :: Options

Opcje konfigurowania obiektu ServerCore .

Typy publiczne

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Funkcja odpowiedzialna za tworzenie instancji i łączenie niezbędnych niestandardowych źródeł i adapterów źródłowych z menedżerem w oparciu o przekazaną konfigurację (dowolną).

Oczekiwany wzorzec jest taki, że własność utworzonych źródeł / adapterów źródłowych może zostać przeniesiona na menedżera.

PreLoadHook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

Sygnatura funkcji używana do aktualizacji server_request_logger.

Klasy przyjaciół

test_util :: ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

Funkcje publiczne

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Zwraca ServableHandle, biorąc pod uwagę ModelSpec.

Zwraca błąd, jeśli żaden taki Servable nie jest dostępny, np. Jeszcze nie załadowany, został wygaszony / wyładowany itp. Wywołujące mogą założyć, że status OK wskazuje dojście inne niż zerowe.

WAŻNE: dzwoniący powinien trzymać uchwyt tylko przez krótki czas, na przykład na czas trwania pojedynczego żądania. Trzymanie uchwytu przez długi czas zapobiegnie ładowaniu i rozładowywaniu, które można serwisować.

Jeśli 'options_.allow_version_labels == true', rozpoznaje dwie konkretne etykiety wersji modelu: „stabilny” i „kanarek” i rozwiązuje je odpowiednio na najmniejszą i największą dostępną wersję.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Pobiera listę wszystkich dostępnych identyfikatorów obsługiwanych, tj

każdy z nich można pobrać za pomocą GetServableHandle.

Log

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Zapisuje dziennik dla konkretnego żądania, odpowiedzi i metadanych, jeśli zdecydujemy się na próbkowanie i jeśli logowanie żądań zostało skonfigurowane dla konkretnego modelu.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

Aktualizuje rdzeń serwera za pomocą wszystkich modeli i źródeł zgodnie z ModelServerConfig.

Podobnie jak Create () , czeka na udostępnienie wszystkich statycznie skonfigurowanych elementów obsługowych przed zwróceniem i zwraca błąd, jeśli żaden taki model nie zostanie załadowany. (Niekoniecznie czeka, aż modele usunięte z konfiguracji zakończą wyładowywanie; może to nastąpić asynchronicznie).

WAŻNE: Wywołanie tej metody więcej niż jeden raz jest dozwolone tylko w przypadku korzystania z ModelConfigList (w przeciwieństwie do konfiguracji modelu niestandardowego).

Predict_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const 

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const 

Zwraca ServableStateMonitor, którego można użyć do tworzenia zapytań o stany, które można obsługiwać.

~ ServerCore

virtual  ~ServerCore()=default

Publiczne funkcje statyczne

Stwórz

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Tworzy wystąpienie ServerCore ze wszystkimi modelami i źródłami na ModelServerConfig.

W przypadku modeli skonfigurowanych statycznie za pomocą ModelConfigList czeka, aż zostaną udostępnione (lub napotka błąd) w celu wyświetlenia przed zwróceniem. Zwraca stan błędu, jeśli nie można załadować takiego modelu.

Funkcje chronione

ServerCore

 ServerCore(
  Options options
)