tensorflow ::サービング:: ResourceUnsafeLoader
#include <loader.h>
ローダのリソースを忘れています。
概要
そのEstimateResources()メソッドの戻り0は、効果的に機能するシステムでリソースベースの安全性チェックを無効にします。
実験的、またはリソースの安全性チェックを必要としない環境で実行しているローダーは、サブクラス化することができますResourceUnsafeLoaderの代わりに、ローダーを。
継承
:から継承tensorflow ::提供::ローダー公の行事 | |
---|---|
EstimateResources (ResourceAllocation *estimate) const final | virtual Status servableが使用するリソースを見積もります。 |
公の行事
EstimateResources
virtual Status EstimateResources( ResourceAllocation *estimate ) const final
servableが使用するリソースを見積もります。
重要:このメソッドの実装は、次の要件に従う必要があります。これにより、サービングシステムは、どのサーバブルを安全にロードできるかについて正しく推論できます。
- 見積もりは、実際の値の上限を表す必要があります。
- ロード前の見積もりには、特定のデバイスインスタンスにバインドされていないリソース(2つのGPUのいずれかのRAMなど)が含まれる場合があります。
- ロード中、複数のインスタンス(2つのGPUなど)を持つデバイスの場合、見積もりでは、各リソースがバインドされているインスタンスを指定する必要があります。
- 推定値は単調に増加しない必要があります。つまり、時間の経過とともに増加することはできません。時間の経過とともに減少する可能性がある理由
戻り値 サーバブルがロードされた後に消費するリソースの見積もり。 servableがすでにロードされている場合は、実際のリソース使用量の見積もりを返します。