SparseApplyCenteredRmsProp

सार्वजनिक अंतिम वर्ग SparseApplyCenteredRmsProp

केन्द्रित RMSProp एल्गोरिथम के अनुसार '*var' को अपडेट करें।

केंद्रित आरएमएसप्रॉप एल्गोरिथ्म सामान्यीकरण के लिए केंद्रित दूसरे क्षण (यानी, विचरण) के अनुमान का उपयोग करता है, नियमित आरएमएसप्रॉप के विपरीत, जो (अकेंद्रित) दूसरे क्षण का उपयोग करता है। यह अक्सर प्रशिक्षण में मदद करता है, लेकिन गणना और स्मृति के मामले में थोड़ा अधिक महंगा है।

ध्यान दें कि इस एल्गोरिथ्म के सघन कार्यान्वयन में, mg, ms, और mom अपडेट होंगे, भले ही ग्रेड शून्य हो, लेकिन इस विरल कार्यान्वयन में, mg, ms, और mom उन पुनरावृत्तियों में अपडेट नहीं होंगे, जिनके दौरान ग्रेड शून्य है।

माध्य_वर्ग = क्षय * माध्य_वर्ग + (1-क्षय) * ग्रेडिएंट ** 2 माध्य_ग्रेड = क्षय * माध्य_ग्रेड + (1-क्षय) * ग्रेडिएंट डेल्टा = सीखना_दर * ग्रेडिएंट / वर्ग (मीन_स्क्वायर + एप्सिलॉन - माध्य_ग्रेड ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$

नेस्टेड क्लासेस

कक्षा SparseApplyCenteredRmsProp.Options SparseApplyCenteredRmsProp के लिए वैकल्पिक विशेषताएँ

स्थिरांक

डोरी OP_NAME इस ऑप का नाम, जैसा कि TensorFlow कोर इंजन द्वारा जाना जाता है

सार्वजनिक तरीके

आउटपुट <T>
आउटपुट के रूप में ()
टेंसर का प्रतीकात्मक हैंडल लौटाता है।
स्थिर <T टीटाइप का विस्तार करता है > SparseApplyCenteredRmsProp <T>
बनाएं ( स्कोप स्कोप, ऑपरेंड <टी> वर, ऑपरेंड <टी> एमजी, ऑपरेंड <टी> एमएस, ऑपरेंड <टी> मॉम, ऑपरेंड <टी> एलआर, ऑपरेंड <टी> आरएचओ, ऑपरेंड <टी> मोमेंटम, ऑपरेंड <टी > एप्सिलॉन, ऑपरेंड <टी> ग्रेड, ऑपरेंड <? एक्सटेंड्स टीएनंबर > इंडेक्स, विकल्प... विकल्प)
एक नए SparseApplyCenteredRmsProp ऑपरेशन को लपेटकर एक क्लास बनाने की फ़ैक्टरी विधि।
आउटपुट <T>
बाहर ()
"var" के समान।
स्थिर SparseApplyCenteredRmsProp.Options
यूज़लॉकिंग (बूलियन यूज़लॉकिंग)

विरासत में मिली विधियाँ

स्थिरांक

सार्वजनिक स्थैतिक अंतिम स्ट्रिंग OP_NAME

इस ऑप का नाम, जैसा कि TensorFlow कोर इंजन द्वारा जाना जाता है

स्थिर मान: "SparseApplyCenteredRMSprop"

सार्वजनिक तरीके

सार्वजनिक आउटपुट <T> asOutput ()

टेंसर का प्रतीकात्मक हैंडल लौटाता है।

TensorFlow संचालन के इनपुट किसी अन्य TensorFlow ऑपरेशन के आउटपुट हैं। इस पद्धति का उपयोग एक प्रतीकात्मक हैंडल प्राप्त करने के लिए किया जाता है जो इनपुट की गणना का प्रतिनिधित्व करता है।

सार्वजनिक स्थैतिक SparseApplyCenteredRmsProp <T> बनाएं ( स्कोप स्कोप, ऑपरेंड <T> var, ऑपरेंड <T> mg, ऑपरेंड <T> एमएस, ऑपरेंड <T> माँ, ऑपरेंड <T> एलआर, ऑपरेंड <T> rho, ऑपरेंड <T > गति, ऑपरेंड <टी> एप्सिलॉन, ऑपरेंड <टी> ग्रेड, ऑपरेंड <? विस्तार टीएनंबर > सूचकांक, विकल्प... विकल्प)

एक नए SparseApplyCenteredRmsProp ऑपरेशन को लपेटकर एक क्लास बनाने की फ़ैक्टरी विधि।

पैरामीटर
दायरा वर्तमान दायरा
वर एक वेरिएबल() से होना चाहिए।
एमजी एक वेरिएबल() से होना चाहिए।
एमएस एक वेरिएबल() से होना चाहिए।
माँ एक वेरिएबल() से होना चाहिए।
एलआर मापन कारक। एक अदिश राशि होनी चाहिए.
रो क्षय दर. एक अदिश राशि होनी चाहिए.
एप्सिलॉन रिज शब्द. एक अदिश राशि होनी चाहिए.
ग्रैड ढाल.
सूचकांक var, ms और mom के पहले आयाम में सूचकांकों का एक वेक्टर।
विकल्प वैकल्पिक गुण मान रखता है
रिटर्न
  • SparseApplyCenteredRmsProp का एक नया उदाहरण

सार्वजनिक आउटपुट <T> आउट ()

"वर" के समान।

सार्वजनिक स्थैतिक SparseApplyCenteredRmsProp.Options यूज़लॉकिंग (बूलियन यूज़लॉकिंग)

पैरामीटर
लॉकिंग का उपयोग करें यदि `सही` है, तो var, mg, ms और mom टेंसर का अद्यतनीकरण लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद प्रदर्शित कर सकता है।