جریان تنسور:: عملیات:: ResourceSparseApplyCenteredRMSProp

#include <training_ops.h>

"*var" را مطابق با الگوریتم RMSProp متمرکز به روز کنید.

خلاصه

الگوریتم RMSProp متمرکز از تخمین لحظه دوم متمرکز (یعنی واریانس) برای عادی سازی استفاده می کند، برخلاف RMSProp معمولی که از لحظه دوم (غیر مرکزی) استفاده می کند. این اغلب به آموزش کمک می کند، اما از نظر محاسبات و حافظه کمی گران تر است.

توجه داشته باشید که در اجرای متراکم این الگوریتم، mg، ms و mom حتی اگر درجه صفر باشد، به روز می شوند، اما در این پیاده سازی پراکنده، mg، ms و mom در تکرارهایی که در طی آن درجه صفر است، به روز نمی شوند.

mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * gradient Delta = Learning_rate * gradient / sqrt(mean_square + epsilon - mean_grad ** 2)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- تکانه * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

استدلال ها:

• scope: یک شی Scope
• var: باید از یک متغیر () باشد.
• mg: باید از متغیر () باشد.
• ms: باید از یک متغیر () باشد.
• mom: باید از یک متغیر () باشد.
• lr: ضریب مقیاس. باید اسکالر باشد.
• rho: میزان پوسیدگی. باید اسکالر باشد.
• اپسیلون: اصطلاح ریج. باید اسکالر باشد.
• grad: گرادیان.
• شاخص ها: بردار شاخص ها در بعد اول var، ms و mom.

ویژگی های اختیاری (به Attrs مراجعه کنید):

• use_locking: اگر True ، به‌روزرسانی تانسورهای var، mg، ms و mom توسط یک قفل محافظت می‌شود. در غیر این صورت رفتار تعریف نشده است، اما ممکن است اختلاف کمتری از خود نشان دهد.

برمی گرداند:

• Operation ایجاد شده

سازندگان و ویرانگرها
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs)

صفات عمومی
operation	Operation

توابع عمومی
operator::tensorflow::Operation () const

توابع استاتیک عمومی
UseLocking (bool x)	Attrs

سازه ها
tensorflow:: ops:: ResourceSparseApplyCenteredRMSProp:: Attrs	تنظیم کننده های ویژگی اختیاری برای ResourceSparseApplyCenteredRMSProp .

صفات عمومی

عملیات

Operation operation

توابع عمومی

ResourceSparseApplyCenteredRMSProp

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

ResourceSparseApplyCenteredRMSProp

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const ResourceSparseApplyCenteredRMSProp::Attrs & attrs
)

عملگر::tensorflow::عملیات

 operator::tensorflow::Operation() const 

توابع استاتیک عمومی

استفاده از قفل

Attrs UseLocking(
  bool x
)