সেন্সরফ্লো :: অপস :: প্রয়োগকেন্দ্রিত আরএমএসপ্রপ

#include <training_ops.h>

কেন্দ্রিক আরএমএসপ্রপ অ্যালগরিদম অনুযায়ী '* ভার' আপডেট করুন।

সারসংক্ষেপ

কেন্দ্রিক আরএমএসপ্রপ অ্যালগরিদম নিয়মিত আরএমএসপ্রপের বিপরীতে, সাধারণকরণের জন্য কেন্দ্রিক দ্বিতীয় মুহুর্তের (অর্থাত্ ভেরিয়েন্স) একটি অনুমান ব্যবহার করে, যা (মোড়বিহীন) দ্বিতীয় মুহূর্তটি ব্যবহার করে। এটি প্রায়শই প্রশিক্ষণে সহায়তা করে তবে গণনা এবং মেমরির ক্ষেত্রে এটি কিছুটা ব্যয়বহুল।

নোট করুন যে এই অ্যালগরিদমের ঘন বাস্তবায়নে, মিলিগ্রাম, এমএস এবং মায়ের গ্রেড শূন্য হলেও আপডেট হবে, তবে এই বিরল বাস্তবায়নে, মিলিগ্রাম, এমএস, এবং মম পুনরাবৃত্তিতে আপডেট হবে না যার সময় গ্রেড শূন্য।

গড়_সকোয়ার = ক্ষয় * গড়_স্কোয়ার + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 গড়_গ্রাড = ক্ষয় * গড়_গ্রাড + (1-ক্ষয়) * গ্রেডিয়েন্ট

ডেল্টা = শেখার_রেট * গ্রেডিয়েন্ট / স্কয়ার্ট (গড়_স্কোয়ার + অ্যাপসিলন - গড়_গ্রাড ** 2)

মিলিগ্রাম <- rho * মিলিগ্রাম_ {টি -1} + (1-আরহো) * গ্রেড এমএস <- আরএইচও * এমএস_ {টি -1} + (1-রোহ) * গ্রেড * গ্রেড মম <- গতিবেগ * মম_ {টি -1 l + এলআর * গ্রেড / স্কয়ার্ট (এমএস - মিলিগ্রাম * মিলিগ্রাম + অ্যাপসিলন) ভার <- ভার - মা

যুক্তি:

  • সুযোগ: একটি স্কোপ অবজেক্ট
  • var: পরিবর্তনশীল () থেকে হওয়া উচিত।
  • মিলিগ্রাম: পরিবর্তনশীল () থেকে হওয়া উচিত।
  • এমএস: একটি চলক () থেকে হওয়া উচিত।
  • মা: পরিবর্তনশীল () থেকে হওয়া উচিত।
  • lr: স্কেলিং ফ্যাক্টর। অবশ্যই একটি স্কেলার হতে হবে।
  • rho: ক্ষয়ের হার অবশ্যই একটি স্কেলার হতে হবে।
  • এপসিলন: রিজ টার্ম। অবশ্যই একটি স্কেলার হতে হবে।
  • গ্রেড: গ্রেডিয়েন্ট।

Attrs বৈশিষ্ট্য ( Attrs ):

  • ব্যবহার_লকিং: যদি True হয় তবে var, মিলিগ্রাম, এমএস, এবং মায়ের টেনারগুলি আপডেট করা কোনও লক দ্বারা সুরক্ষিত থাকে; অন্যথায় আচরণটি সংজ্ঞায়িত হলেও কম বিতর্ক প্রদর্শন করতে পারে।

রিটার্নস:

  • Output : "ভার" হিসাবে একই।

নির্মাণকারী এবং ধ্বংসকারী

ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ApplyCenteredRMSProp::Attrs & attrs)

জনসাধারণের গুণাবলী

operation
out

পাবলিক ফাংশন

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

পাবলিক স্ট্যাটিক ফাংশন

UseLocking (bool x)

স্ট্রাক্টস

টেনসরফ্লো :: অপস :: প্রয়োগকেন্দ্রিত আরএমএসপ্রপ :: অ্যাটারস

প্রয়োগকেন্দ্রিত আরএমএসপ্রপের জন্য alচ্ছিক অ্যাট্রিবিউট সেটটার ।

জনসাধারণের গুণাবলী

অপারেশন

Operation operation

আউট

::tensorflow::Output out

পাবলিক ফাংশন

প্রয়োগকেন্দ্রিত আরএমএসপ্রপ

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

প্রয়োগকেন্দ্রিত আরএমএসপ্রপ

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyCenteredRMSProp::Attrs & attrs
)

নোড

::tensorflow::Node * node() const

অপারেটর :: টেনসরফ্লো :: ইনপুট

 operator::tensorflow::Input() const

অপারেটর :: টেনসরফ্লো :: আউটপুট

 operator::tensorflow::Output() const

পাবলিক স্ট্যাটিক ফাংশন

ইউজলকিং

Attrs UseLocking(
  bool x
)