टेंसरफ़्लो :: ऑप्स :: SparseApplyRMSProp

#include <training_ops.h>

RMSProp एल्गोरिथम के अनुसार '* var' अपडेट करें।

सारांश

ध्यान दें कि इस एल्गोरिथ्म के घने कार्यान्वयन में, एमएस और मॉम भले ही ग्रेड शून्य है, लेकिन इस विरल कार्यान्वयन में, एमएस और मॉम पुनरावृत्तियों में अपडेट नहीं करेंगे, जिसके दौरान ग्रेड शून्य है।

mean_square = decay * mean_square + (1-क्षय) * gradient ** 2 Delta = Learning_rate * gradient / sqrt (माध्य_पसंद + एप्सिलॉन)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

तर्क:

  • गुंजाइश: एक स्कोप ऑब्जेक्ट
  • var: एक चर () से होना चाहिए।
  • एमएस: एक चर () से होना चाहिए।
  • माँ: एक चर () से होना चाहिए।
  • lr: स्केलिंग फैक्टर। एक स्केलर होना चाहिए।
  • rho: क्षय दर। एक स्केलर होना चाहिए।
  • एप्सिलॉन: रिज टर्म। एक स्केलर होना चाहिए।
  • grad: ढाल।
  • सूचकांक: var, ms और mom के पहले आयाम में सूचकांकों का वेक्टर।

वैकल्पिक विशेषताएँ ( Attrs देखें):

  • use_locking: यदि True , तो var, ms, और mom टेनसर्स का अद्यतन लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद को प्रदर्शित कर सकता है।

रिटर्न:

  • Output : "var" के समान।

कंस्ट्रक्टर और डिस्ट्रक्टर्स

SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyRMSProp::Attrs & attrs)

सार्वजनिक विशेषताएँ

operation
out

सार्वजनिक कार्य

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

सार्वजनिक स्थैतिक कार्य

UseLocking (bool x)

संरचनाएं

टेंसोफ़्लो :: ऑप्स :: स्पार्सेप्लीआरएमएसप्रॉप :: अट्र्स

वैकल्पिक विशेषता SparseApplyRMSProp के लिए बसती है ।

सार्वजनिक विशेषताएँ

ऑपरेशन

Operation operation

बाहर

::tensorflow::Output out

सार्वजनिक कार्य

SparseApplyRMSProp

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyRMSProp

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

नोड

::tensorflow::Node * node() const

ऑपरेटर :: टेंसरफ़्लो :: इनपुट

 operator::tensorflow::Input() const
है

ऑपरेटर :: टेंसोफ़्लो :: आउटपुट

 operator::tensorflow::Output() const

सार्वजनिक स्थैतिक कार्य

उपयोग करना

Attrs UseLocking(
  bool x
)