此页面由 Cloud Translation API 翻译。
Switch to English

张量流:: 服务:: AspiredVersionsManager

#include <aspired_versions_manager.h>

一个实现Target < Loader > API的管理器,该API使用有向向版本的回调来指示要加载的可服务版本。

摘要

该管理器还使用该API来推断要卸载的版本:如果当前正在加载给定的可服务版本,并且在与其可服务流相关的有抱负版本回调调用中将其省略,则该管理器将该省略解释为隐式指令来卸载该可服务版本。版。有关详情,请参见下文。

(隐式卸载语义简化了无状态Source实现,由此Source逻辑的给定迭代简单地决定了应加载哪个版本的servable,而无需了解过去的决定。)

该管理器使用已配置的AspiredVersionPolicy在可服务流的版本之间进行转换。在确定策略建议的转换之间时,管理器更喜欢在加载之前进行卸载以释放服务器中的资源。

遗产

继承自: tensorflow :: serving :: Manager ,Target <std :: unique_ptr <加载程序>>

构造函数和析构函数

~AspiredVersionsManager ()

公开类型

PreLoadHook 使用
BasicManager::PreLoadHook

朋友班

internal::AspiredVersionsManagerTargetImpl
friend class
test_util::AspiredVersionsManagerTestAccess
friend class

公共静态功能

Create ( Options options, std::unique_ptr< AspiredVersionsManager > *manager)
Status

公共职能

GetAspiredVersionsCallback () override
Source < std::unique_ptr< Loader > >::AspiredVersionsCallback
返回一个回调,以使用Loader为特定的可服务流设置理想版本的列表。
ListAvailableServableIds () const override
virtual std::vector< ServableId >
获取所有可用的可服务ID的列表,即

结构

tensorflow ::服务:: AspiredVersionsManager ::选项

AspiredVersionsManager将使用的配置选项和可插入对象。

公开类型

PreLoadHook

BasicManager::PreLoadHook PreLoadHook

朋友班

内部:: AspiredVersionsManagerTargetImpl

friend class internal::AspiredVersionsManagerTargetImpl

test_util :: AspiredVersionsManagerTestAccess

friend class test_util::AspiredVersionsManagerTestAccess

公共静态功能

创造

Status Create(
  Options options,
  std::unique_ptr< AspiredVersionsManager > *manager
)

公共职能

GetAspiredVersionsCallback

Source< std::unique_ptr< Loader > >::AspiredVersionsCallback GetAspiredVersionsCallback() override

返回一个回调,以使用Loader为特定的可服务流设置理想版本的列表。

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

获取所有可用的可服务ID的列表,即

这些都可以使用GetServableHandle检索。

〜AspiredVersionsManager

 ~AspiredVersionsManager() override