تدفق التوتر:: العمليات:: SparseApplyRMSProp

#include <training_ops.h>

قم بتحديث '*var' وفقًا لخوارزمية RMSProp.

ملخص

لاحظ أنه في التنفيذ المكثف لهذه الخوارزمية، سيتم تحديث ms وmom حتى لو كان grad صفرًا، ولكن في هذا التنفيذ المتناثر، لن يتم تحديث ms وmom في التكرارات التي يكون خلالها grad صفرًا.

mean_square = الاضمحلال * mean_square + (1-الاضمحلال) * التدرج ** 2 دلتا = معدل التعلم * التدرج / sqrt (mean_square + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$

$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$

$$var <- var - mom$$

الحجج:

• النطاق: كائن النطاق
• فار: يجب أن يكون من متغير ().
• مللي ثانية: يجب أن يكون من متغير ().
• أمي: يجب أن يكون من متغير ().
• lr: عامل التحجيم. يجب أن يكون العددية.
• رو: معدل الاضمحلال. يجب أن يكون العددية.
• إبسيلون: مصطلح ريدج. يجب أن يكون العددية.
• غراد: التدرج.
• المؤشرات: متجه للمؤشرات في البعد الأول لـ var وms وmom.

السمات الاختيارية (انظر Attrs ):

• use_locking: إذا كان True ، فإن تحديث الموترات var وms وmom محمي بقفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يحمل قدرًا أقل من الخلاف.

العوائد:

• Output : نفس "فار".

البنائين والمدمرين
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyRMSProp::Attrs & attrs)

الصفات العامة
operation	Operation
out	:: tensorflow::Output

الوظائف العامة
node () const	::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

وظائف ثابتة العامة
UseLocking (bool x)	Attrs

الهياكل
Tensorflow:: ops:: SparseApplyRMSProp:: Attrs	محددات السمات الاختيارية لـ SparseApplyRMSProp .

الصفات العامة

عملية

Operation operation

خارج

::tensorflow::Output out

الوظائف العامة

SparseApplyRMSProp

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyRMSProp

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

العقدة

::tensorflow::Node * node() const 

المشغل::tensorflow::الإدخال

 operator::tensorflow::Input() const 

المشغل::tensorflow::الإخراج

 operator::tensorflow::Output() const 

وظائف ثابتة العامة

UseLocking

Attrs UseLocking(
  bool x
)