تدفق التوتر:: العمليات:: تطبيقRMSProp

#include <training_ops.h>

قم بتحديث '*var' وفقًا لخوارزمية RMSProp.

ملخص

لاحظ أنه في التنفيذ المكثف لهذه الخوارزمية، سيتم تحديث ms وmom حتى لو كان grad صفرًا، ولكن في هذا التنفيذ المتناثر، لن يتم تحديث ms وmom في التكرارات التي يكون خلالها grad صفرًا.

mean_square = الاضمحلال * mean_square + (1-الاضمحلال) * التدرج ** 2 دلتا = معدل التعلم * التدرج / sqrt (mean_square + epsilon)

مللي ثانية <- رو * ms_{t-1} + (1-رو) * غراد * غراد أمي <- الزخم * mom_{t-1} + lr * غراد / sqrt(ms + إبسيلون) فار <- فار - أمي

الحجج:

  • النطاق: كائن النطاق
  • فار: يجب أن يكون من متغير ().
  • مللي ثانية: يجب أن يكون من متغير ().
  • أمي: يجب أن يكون من متغير ().
  • lr: عامل التحجيم. يجب أن يكون العددية.
  • رو: معدل الاضمحلال. يجب أن يكون العددية.
  • إبسيلون: مصطلح ريدج. يجب أن يكون العددية.
  • غراد: التدرج.

السمات الاختيارية (انظر Attrs ):

  • use_locking: إذا كان True ، فإن تحديث الموترات var وms وmom محمي بقفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يحمل قدرًا أقل من الخلاف.

عائدات:

البنائين والمدمرين

ApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ApplyRMSProp::Attrs & attrs)

الصفات العامة

operation
out

الوظائف العامة

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

وظائف ثابتة العامة

UseLocking (bool x)

الهياكل

Tensorflow:: ops:: ApplyRMSProp:: Attrs

محددات السمات الاختيارية لـ ApplyRMSProp .

الصفات العامة

عملية

Operation operation

خارج

::tensorflow::Output out

الوظائف العامة

تطبيقRMSProp

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

تطبيقRMSProp

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyRMSProp::Attrs & attrs
)

العقدة

::tensorflow::Node * node() const 

المشغل::tensorflow::الإدخال

 operator::tensorflow::Input() const 

المشغل::tensorflow::الإخراج

 operator::tensorflow::Output() const 

وظائف ثابتة العامة

UseLocking

Attrs UseLocking(
  bool x
)