تدفق التوتر:: العمليات:: ResourceApplyCenteredRMSProp

#include <training_ops.h>

قم بتحديث '*var' وفقًا لخوارزمية RMSProp المركزية.

ملخص

تستخدم خوارزمية RMSProp المركزية تقديرًا للحظة الثانية المركزية (أي التباين) للتطبيع، على عكس خوارزمية RMSProp العادية، التي تستخدم اللحظة الثانية (غير المركزية). غالبًا ما يساعد هذا في التدريب، ولكنه أكثر تكلفة قليلاً من حيث الحساب والذاكرة.

لاحظ أنه في التنفيذ المكثف لهذه الخوارزمية، سيتم تحديث mg وms وmom حتى لو كان grad صفرًا، ولكن في هذا التنفيذ المتناثر، لن يتم تحديث mg وms وmom في التكرارات التي يكون خلالها grad صفرًا.

mean_square = الاضمحلال * mean_square + (1-اضمحلال) * التدرج ** 2 mean_grad = الاضمحلال * mean_grad + (1-اضمحلال) * التدرج

دلتا = معدل التعلم * التدرج / sqrt (mean_square + epsilon - mean_grad ** 2)

ملغ <- رو * ملغ_{t-1} + (1-رو) * غراد مللي ثانية <- رو * مللي_{t-1} + (1-رو) * غراد * غراد أمي <- الزخم * أمي_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mom

الحجج:

• النطاق: كائن النطاق
• فار: يجب أن يكون من متغير ().
• mg: يجب أن يكون من متغير ().
• مللي ثانية: يجب أن يكون من متغير ().
• أمي: يجب أن يكون من متغير ().
• lr: عامل التحجيم. يجب أن يكون العددية.
• رو: معدل الاضمحلال. يجب أن يكون العددية.
• إبسيلون: مصطلح ريدج. يجب أن يكون العددية.
• غراد: التدرج.

السمات الاختيارية (انظر Attrs ):

• use_locking: إذا كان True ، فإن تحديث الموترات var وmg وms وmom محمي بقفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يحمل قدرًا أقل من الخلاف.

العوائد:

• Operation التي تم إنشاؤها

البنائين والمدمرين
ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ResourceApplyCenteredRMSProp::Attrs & attrs)

الصفات العامة
operation	Operation

الوظائف العامة
operator::tensorflow::Operation () const

وظائف ثابتة العامة
UseLocking (bool x)	Attrs

الهياكل
Tensorflow:: ops:: ResourceApplyCenteredRMSProp:: Attrs	محددات السمات الاختيارية لـ ResourceApplyCenteredRMSProp .

الصفات العامة

عملية

Operation operation

الوظائف العامة

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ResourceApplyCenteredRMSProp::Attrs & attrs
)

المشغل::tensorflow::Operation

 operator::tensorflow::Operation() const 

وظائف ثابتة العامة

UseLocking

Attrs UseLocking(
  bool x
)