aliran tensor:: porsi:: AspiredVersionsManager

#include <aspired_versions_manager.h>

Seorang manajer yang mengimplementasikan Target < Loader > API yang menggunakan bercita-cita-versi callback untuk mendikte yang versi servable ke beban.

Ringkasan

Manajer ini juga menggunakan API itu untuk menyimpulkan mana yang akan dibongkar: Jika versi yang dapat diservis saat ini dimuat, dan dihilangkan dari panggilan balik versi yang diinginkan yang berkaitan dengan alirannya yang dapat dilayani, manajer ini menafsirkan penghilangan itu sebagai instruksi implisit untuk membongkar Versi: kapan. Lihat di bawah untuk detailnya.

(Semantik implisit membongkar memfasilitasi stateless Sumber implementasi, dimana iterasi diberikan dari Sumber logika 's hanya memutuskan yang versi servable sebuah seharusnya dimuat, tanpa perlu tahu apa yang telah memutuskan di masa lalu.)

Manajer ini membuat transisi antara versi aliran servable menggunakan dikonfigurasi AspiredVersionPolicy . Manajer lebih suka membongkar sebelum memuat untuk mengosongkan sumber daya di server saat memutuskan di antara transisi yang disarankan oleh kebijakan.

Warisan

Mewarisi dari: tensorflow :: melayani :: Manajer , Sasaran <std :: unique_ptr <Loader>>

Konstruktor dan Destructor

~AspiredVersionsManager ()

Tipe publik

PreLoadHook menggunakan
BasicManager::PreLoadHook

Kelas teman

internal::AspiredVersionsManagerTargetImpl
friend class
test_util::AspiredVersionsManagerTestAccess
friend class

Fungsi statis publik

Create ( Options options, std::unique_ptr< AspiredVersionsManager > *manager)
Status

Fungsi publik

GetAspiredVersionsCallback () override
Source < std::unique_ptr< Loader > >::AspiredVersionsCallback
Mengembalikan panggilan balik untuk menyetel daftar versi yang diinginkan untuk aliran tertentu yang dapat ditayangkan, menggunakan Loader.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Mendapat daftar semua id yang dapat dilayani, yaitu

Struktur

tensorflow :: melayani :: AspiredVersionsManager :: Pilihan

Opsi-opsi konfigurasi dan benda-benda pluggable yang akan digunakan oleh AspiredVersionsManager .

Tipe publik

PraPemuatanHook

BasicManager::PreLoadHook PreLoadHook

Kelas teman

internal::AspiredVersionsManagerTargetImpl

friend class internal::AspiredVersionsManagerTargetImpl

test_util::AspiredVersionsManagerTestAccess

friend class test_util::AspiredVersionsManagerTestAccess

Fungsi statis publik

Membuat

Status Create(
  Options options,
  std::unique_ptr< AspiredVersionsManager > *manager
)

Fungsi publik

GetAspiredVersionsCallback

Source< std::unique_ptr< Loader > >::AspiredVersionsCallback GetAspiredVersionsCallback() override

Mengembalikan panggilan balik untuk menyetel daftar versi yang diinginkan untuk aliran tertentu yang dapat ditayangkan, menggunakan Loader.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Mendapat daftar semua id yang dapat dilayani, yaitu

masing-masing dapat diambil menggunakan GetServableHandle.

~AspiredVersionsManager

 ~AspiredVersionsManager() override