tensorflow :: ভজনা:: সার্ভারকোর

#include <server_core.h>

ServerCore ModelServers একাধিক ইন্টারফেসগুলি সমর্থন ভবন সক্রিয় রাষ্ট্রীয় ও সাহায্যকারী পদ্ধতি রয়েছে।

সারসংক্ষেপ

সকল কার্যকারিতা ServerCore কোনো ডোমেন নির্দিষ্ট API গুলি স্বাধীন ও প্ল্যাটফর্মের স্বাধীন।

রাষ্ট্র নিরিখে ServerCore সঙ্গে সক্রিয়া এবং একটি স্ট্যাটিক ModelServerConfig, যা থেকে এটা একটি একক প্রয়াস বজায় হয় AspiredVersionsManager এবং অক্জিলিয়ারী ডাটা স্ট্রাকচার দক্ষ ভজনা সমর্থন।

উপরে নির্মিত ইন্টারফেস ServerCore যেমন আরপিসি সেবা বাস্তবায়নের, আড়ম্বরহীন থাকবে এবং মাধ্যমে servables (মডেল) এর সমস্ত লুক-সঞ্চালন করা হবে ServerCore ।

উত্তরাধিকার

থেকে ইনহেরিট: tensorflow :: ভজনা :: ম্যানেজার

কনস্ট্রাক্টর এবং ডেস্ট্রাক্টর
~ServerCore ()

পাবলিক প্রকার
CustomModelConfigLoader	ব্যবহার std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> একটি ফাংশন যা পাস করা কনফিগারেশন (যেকোনো) এর উপর ভিত্তি করে ম্যানেজারের সাথে প্রয়োজনীয় কাস্টম সোর্স এবং সোর্স অ্যাডাপ্টারগুলিকে তাৎক্ষণিক এবং সংযুক্ত করার জন্য দায়ী৷
PreLoadHook	ব্যবহার AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator	ব্যবহার std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater	ব্যবহার std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> সার্ভার_রিকোয়েস্ট_লগার আপডেট করতে ব্যবহৃত ফাংশন স্বাক্ষর।

বন্ধুর ক্লাস
test_util::ServerCoreTestAccess	friend class

পাবলিক ফাংশন
GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)	Status একটি ফেরত পাঠায় ServableHandle দেওয়া ModelSpec।
ListAvailableServableIds () const override	virtual std::vector< ServableId > সমস্ত উপলব্ধ পরিবেশনযোগ্য আইডিগুলির একটি তালিকা পায়, যেমন
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)	virtual Status নির্দিষ্ট অনুরোধ, প্রতিক্রিয়া এবং মেটাডেটার জন্য লগ লেখে, যদি আমরা এটির নমুনা দেওয়ার সিদ্ধান্ত নিই এবং যদি অনুরোধ-লগিং নির্দিষ্ট মডেলের জন্য কনফিগার করা হয়।
ReloadConfig (const ModelServerConfig & config)	virtual Status ModelServerConfig প্রতি সমস্ত মডেল এবং উত্স সহ সার্ভার কোর আপডেট করে৷
predict_response_tensor_serialization_option () const	internal::PredictResponseTensorSerializationOption
servable_state_monitor () const	virtual ServableStateMonitor * রিটার্নস ServableStateMonitor যে পরিবেশনযোগ্য রাজ্যের অনুসন্ধান ব্যবহার করা যেতে পারে।

পাবলিক স্ট্যাটিক ফাংশন
Create ( Options options, std::unique_ptr< ServerCore > *core)	Status একটি তৈরি করে ServerCore সব মডেল এবং ModelServerConfig প্রতি উৎসের সঙ্গে উদাহরণস্বরূপ।

সুরক্ষিত ফাংশন
ServerCore ( Options options)

কাঠামো
tensorflow :: ভজনা :: ServerCore :: বিকল্প	বিকল্প একটি কনফিগার করার জন্য ServerCore অবজেক্ট।

পাবলিক প্রকার

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

একটি ফাংশন যা পাস করা কনফিগারেশন (যেকোনো) এর উপর ভিত্তি করে ম্যানেজারের সাথে প্রয়োজনীয় কাস্টম সোর্স এবং সোর্স অ্যাডাপ্টারগুলিকে তাৎক্ষণিক এবং সংযুক্ত করার জন্য দায়ী৷

প্রত্যাশিত প্যাটার্ন হল তৈরি করা উৎস/উৎস অ্যাডাপ্টারের মালিকানা ম্যানেজারের কাছে হস্তান্তর করা যেতে পারে।

প্রি-লোডহুক

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

সার্ভার_রিকোয়েস্ট_লগার আপডেট করতে ব্যবহৃত ফাংশন স্বাক্ষর।

বন্ধুর ক্লাস

test_util::ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

পাবলিক ফাংশন

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

একটি ফেরত পাঠায় ServableHandle দেওয়া ModelSpec।

যদি এই ধরনের কোনো পরিবেশনযোগ্য উপলব্ধ না হয়, যেমন এখনও লোড করা হয়নি, স্তব্ধ/আনলোড করা হয়েছে ইত্যাদি ত্রুটি প্রদান করে। কলকারীরা ধরে নিতে পারে যে একটি ঠিক আছে স্ট্যাটাস একটি নন-নাল হ্যান্ডেল নির্দেশ করে।

গুরুত্বপূর্ণ: কলকারীর শুধুমাত্র একটি হ্যান্ডেল অল্প সময়ের জন্য ধরে রাখা উচিত, উদাহরণস্বরূপ একটি অনুরোধের সময়কালের জন্য। একটি দীর্ঘ সময়ের জন্য একটি হ্যান্ডেল ধরে রাখা পরিবেশনযোগ্য লোডিং এবং আনলোডিং প্রতিরোধ করবে।

'options_.allow_version_labels==true' হলে, দুটি নির্দিষ্ট মডেল সংস্করণ লেবেল "স্থির" এবং "ক্যানারি" চিনতে পারে এবং সেগুলোকে যথাক্রমে সবচেয়ে ছোট এবং বৃহত্তম উপলব্ধ সংস্করণে সমাধান করে।

তালিকা উপলভ্য সার্ভযোগ্য আইডি

virtual std::vector< ServableId > ListAvailableServableIds() const override

সমস্ত উপলব্ধ পরিবেশনযোগ্য আইডিগুলির একটি তালিকা পায়, যেমন

এর প্রতিটি GetServableHandle ব্যবহার করে পুনরুদ্ধার করা যেতে পারে।

লগ

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

নির্দিষ্ট অনুরোধ, প্রতিক্রিয়া এবং মেটাডেটার জন্য লগ লেখে, যদি আমরা এটির নমুনা দেওয়ার সিদ্ধান্ত নিই এবং যদি অনুরোধ-লগিং নির্দিষ্ট মডেলের জন্য কনফিগার করা হয়।

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

ModelServerConfig প্রতি সমস্ত মডেল এবং উত্স সহ সার্ভার কোর আপডেট করে৷

ভালো লেগেছে তৈরি করুন () , সমস্ত স্ট্যাটিক্যালি কনফিগার servables জন্য অপেক্ষা ফেরার আগে পাওয়া যাবে, এবং একটি ত্রুটি আয় এমন কোন মডেল লোড করতে ব্যর্থ হয়। (আনলোডিং শেষ করার জন্য কনফিগারেশন থেকে সরানো মডেলগুলির জন্য অগত্যা অপেক্ষা করে না; এটি অ্যাসিঙ্ক্রোনাসভাবে ঘটতে পারে।)

গুরুত্বপূর্ণ: ModelConfigList (বনাম কাস্টম মডেল কনফিগ) ব্যবহার করলে এই পদ্ধতিটিকে একাধিকবার কল করা বৈধ।

predict_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const 

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const 

রিটার্নস ServableStateMonitor যে পরিবেশনযোগ্য রাজ্যের অনুসন্ধান ব্যবহার করা যেতে পারে।

~ সার্ভারকোর

virtual  ~ServerCore()=default

পাবলিক স্ট্যাটিক ফাংশন

সৃষ্টি

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

একটি তৈরি করে ServerCore সব মডেল এবং ModelServerConfig প্রতি উৎসের সঙ্গে উদাহরণস্বরূপ।

ModelConfigList এর সাথে স্ট্যাটিকভাবে কনফিগার করা মডেলগুলির জন্য, ফিরে আসার আগে পরিবেশন করার জন্য তাদের উপলব্ধ করা (বা একটি ত্রুটি আঘাত) করার জন্য অপেক্ষা করে। এই ধরনের কোনো মডেল লোড করতে ব্যর্থ হলে একটি ত্রুটি স্থিতি প্রদান করে।

সুরক্ষিত ফাংশন

সার্ভারকোর

 ServerCore(
  Options options
)