tensorflow ::サービング:: SavedModelBundleFactory
#include <saved_model_bundle_factory.h>
SavedModelまたはSessionBundleエクスポートパスからSavedModelBundlesを作成するファクトリ。
概要
放出されたセッションはRun()のみをサポートし、強制されていませんが、クライアントは非変更のRun()呼び出しのみを行うことが期待されます。 (安全対策として追加したこの制限がユースケースに問題がある場合は、TensorFlowサービングチームに連絡して、無効にすることについて話し合ってください。)
構成がバッチ処理を要求する場合、発行されたセッションは、ファクトリが所有するSharedBatchSchedulerを使用して、舞台裏でRun()呼び出しを自動的にバッチ処理します。 'config.num_batch_threads'スレッドは、このファクトリによって作成されたすべてのセッションインスタンス間で共有されます。ただし、各セッションには、サイズ 'config.max_enqueued_batches'の専用キューがあります。
ファクトリは、SavedModelに基づいて(つまり、セッションをロードする前に)SavedModelBundleのリソース(RAMなど)の要件を見積もることもできます。
このクラスはスレッドセーフです。
パブリック静的関数 | |
---|---|
Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory) | Status インスタンス化SavedModelBundleFactory設定を使用します。 |
公の行事 | |
---|---|
CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle) | Status 指定されたエクスポートまたはSavedModelパスからバンドルをインスタンス化します。 |
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle) | Status 指定されたエクスポートまたはSavedModelパスと指定されたメタデータからバンドルをインスタンス化します。 |
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const | Status SavedModelバンドルがロードされると、そのエクスポートパスから使用するリソースを見積もります。 |
config () const | const SessionBundleConfig & |
パブリック静的関数
作成
Status Create( const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory )
インスタンス化SavedModelBundleFactory設定を使用します。
詳細 | |||||
---|---|---|---|---|---|
パラメーター |
|
公の行事
CreateSavedModelBundle
Status CreateSavedModelBundle( const string & path, std::unique_ptr< SavedModelBundle > *bundle )
指定されたエクスポートまたはSavedModelパスからバンドルをインスタンス化します。
詳細 | |||||
---|---|---|---|---|---|
パラメーター |
|
CreateSavedModelBundleWithMetadata
Status CreateSavedModelBundleWithMetadata( const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle )
指定されたエクスポートまたはSavedModelパスと指定されたメタデータからバンドルをインスタンス化します。
詳細 | |||||||
---|---|---|---|---|---|---|---|
パラメーター |
|
EstimateResourceRequirement
Status EstimateResourceRequirement( const string & path, ResourceAllocation *estimate ) const
SavedModelバンドルがロードされると、そのエクスポートパスから使用するリソースを見積もります。
詳細 | |||||
---|---|---|---|---|---|
パラメーター |
|
構成
const SessionBundleConfig & config() const