此页面由 Cloud Translation API 翻译。
Switch to English

张量流:: 服务:: ResourceUnsafeLoader

#include <loader.h>

忽略资源的装载程序

摘要

它的EstimateResources()方法返回0,从而有效地禁用了服务系统中基于资源的安全检查。

实验性加载程序或在不需要资源安全检查的环境中运行的加载程序可以将ResourceUnsafeLoader而不是Loader子类化。

遗产

继承自: tensorflow :: serving :: Loader

公共职能

EstimateResources (ResourceAllocation *estimate) const final
virtual Status
估算可食用资源将使用的资源。

公共职能

估计资源

virtual Status EstimateResources(
  ResourceAllocation *estimate
) const final

估算可食用资源将使用的资源。

重要说明:此方法的实现必须遵守以下要求,这些要求使服务系统能够正确推断可以安全地加载哪些可服务对象:

  1. 估算值必须代表实际值的上限。
  2. 在加载之前,该估计可以包括未绑定到任何特定设备实例的资源,例如两个GPU之一上的RAM。
  3. 加载后,对于具有多个实例的任何设备(例如,两个GPU),估算必须指定每个资源绑定到的实例。
  4. 估算值必须单调递增,即不能随时间增加。随着时间的流逝可能减少的原因 退货
    servable加载后将消耗的资源的估算值。如果该servable已被加载,则返回实际资源使用量的估计值。