সেন্সরফ্লো :: অপস :: স্পার্স অ্যাপ্লিকেশন কেন্দ্রিক আরএমএসপ্রপ rop

#include <training_ops.h>

কেন্দ্রিক আরএমএসপ্রপ অ্যালগরিদম অনুযায়ী '* ভার' আপডেট করুন।

সারসংক্ষেপ

কেন্দ্রিক আরএমএসপ্রপ অ্যালগরিদম নিয়মিত আরএমএসপ্রপের বিপরীতে, সাধারণকরণের জন্য কেন্দ্রিক দ্বিতীয় মুহুর্তের (অর্থাত্ ভেরিয়েন্স) একটি অনুমান ব্যবহার করে, যা (মোড়বিহীন) দ্বিতীয় মুহূর্তটি ব্যবহার করে। এটি প্রায়শই প্রশিক্ষণে সহায়তা করে তবে গণনা এবং মেমরির ক্ষেত্রে এটি কিছুটা ব্যয়বহুল।

নোট করুন যে এই অ্যালগরিদমের ঘন বাস্তবায়নে, মিলিগ্রাম, এমএস এবং মায়ের গ্রেড শূন্য হলেও আপডেট হবে, তবে এই বিরল বাস্তবায়নে, মিলিগ্রাম, এমএস, এবং মম পুনরাবৃত্তিতে আপডেট হবে না যার সময় গ্রেড শূন্য।

গড়_সকোয়ার = ক্ষয় * গড়_স্কোয়ার + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 গড়_গ্রাড = ক্ষয় * গড়_গ্রাড + (1-ক্ষয়) * গ্রেডিয়েন্ট ডেল্টা = শিখন_রেট * গ্রেডিয়েন্ট / স্কয়ার্ট (গড়_সকোয়ার + অ্যাপসিলন - গড়_গ্রাড ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ 0aaefef3e70

যুক্তি:

• সুযোগ: একটি স্কোপ অবজেক্ট
• var: পরিবর্তনশীল () থেকে হওয়া উচিত।
• মিলিগ্রাম: পরিবর্তনশীল () থেকে হওয়া উচিত।
• এমএস: পরিবর্তনশীল () থেকে হওয়া উচিত।
• মা: পরিবর্তনশীল () থেকে হওয়া উচিত।
• lr: স্কেলিং ফ্যাক্টর। অবশ্যই একটি স্কেলার হতে হবে।
• rho: ক্ষয়ের হার অবশ্যই একটি স্কেলার হতে হবে।
• এপসিলন: রিজ টার্ম। অবশ্যই একটি স্কেলার হতে হবে।
• গ্রেড: গ্রেডিয়েন্ট।
• সূচকগুলি: ভের, এমএস এবং মায়ের প্রথম মাত্রায় সূচকগুলির একটি ভেক্টর।

Attrs বৈশিষ্ট্য ( Attrs ):

• ব্যবহার_লকিং: যদি True হয় তবে var, মিলিগ্রাম, এমএস, এবং মায়ের টেনারগুলি আপডেট করা কোনও লক দ্বারা সুরক্ষিত থাকে; অন্যথায় আচরণটি সংজ্ঞায়িত হলেও কম বিতর্ক প্রদর্শন করতে পারে।

রিটার্নস:

• Output : "ভার" হিসাবে একই।

নির্মাণকারী এবং ধ্বংসকারী
SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyCenteredRMSProp::Attrs & attrs)

জনসাধারণের গুণাবলী
operation	Operation
out	:: tensorflow::Output

পাবলিক ফাংশন
node () const	::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

পাবলিক স্ট্যাটিক ফাংশন
UseLocking (bool x)	Attrs

স্ট্রাক্টস
টেনসরফ্লো :: অপ্স :: স্পার্স অ্যাপ্লিকেশন কেন্দ্রিক আরএমএস্প্রপ :: অ্যাটার্স	স্পার্স অ্যাপ্লিকেশন কেন্দ্রিক আরএমএসপ্রপের জন্য alচ্ছিক বৈশিষ্ট্য সেটটার ters

জনসাধারণের গুণাবলী

অপারেশন

Operation operation

আউট

::tensorflow::Output out

পাবলিক ফাংশন

স্পার্স অ্যাপ্লিকেশন কেন্দ্রিক আরএমএসপ্রপ

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

স্পার্স অ্যাপ্লিকেশন কেন্দ্রিক আরএমএসপ্রপ

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyCenteredRMSProp::Attrs & attrs
)

নোড

::tensorflow::Node * node() const 

অপারেটর :: টেনসরফ্লো :: ইনপুট

 operator::tensorflow::Input() const 

অপারেটর :: টেনসরফ্লো :: আউটপুট

 operator::tensorflow::Output() const 

পাবলিক স্ট্যাটিক ফাংশন

ইউজলকিং

Attrs UseLocking(
  bool x
)