"*var" را طبق الگوریتم RMSProp به روز کنید.
توجه داشته باشید که در اجرای متراکم این الگوریتم، ms و mom حتی اگر grad صفر باشد، به روز می شوند، اما در این پیاده سازی پراکنده، ms و mom در تکرارهایی که در طی آن درجه صفر است، به روز نمی شوند.
mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = Learning_rate * gradient / sqrt(mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- تکانه * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom
کلاس های تو در تو
کلاس | ApplyRmsProp.Options | ویژگی های اختیاری برای ApplyRmsProp |
ثابت ها
رشته | OP_NAME | نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود |
روش های عمومی
خروجی <T> | asOutput () دسته نمادین تانسور را برمی گرداند. |
استاتیک <T TType > ApplyRmsProp <T> را گسترش می دهد | |
خروجی <T> | بیرون () همان "var". |
استاتیک ApplyRmsProp.Options | useLocking (قفل کردن استفاده بولی) |
روش های ارثی
ثابت ها
رشته نهایی ثابت عمومی OP_NAME
نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود
روش های عمومی
خروجی عمومی <T> asOutput ()
دسته نمادین تانسور را برمی گرداند.
ورودی های عملیات TensorFlow خروجی های عملیات تنسورفلو دیگر هستند. این روش برای به دست آوردن یک دسته نمادین که نشان دهنده محاسبه ورودی است استفاده می شود.
استاتیک عمومی ApplyRmsProp <T> ایجاد ( دامنه دامنه ، عملوند <T> var، عملوند <T> ms، عملوند <T> مامان، عملوند <T> lr، عملوند <T> rho، عملوند <T> تکانه، عملوند <T> > epsilon، Operand <T> grad، Options... گزینه ها)
روش کارخانه برای ایجاد کلاسی که یک عملیات ApplyRmsProp جدید را بسته بندی می کند.
مولفه های
محدوده | محدوده فعلی |
---|---|
var | باید از یک متغیر () باشد. |
اماس | باید از یک متغیر () باشد. |
مادر | باید از یک متغیر () باشد. |
lr | ضریب پوسته پوسته شدن باید اسکالر باشد. |
rho | میزان پوسیدگی باید اسکالر باشد. |
اپسیلون | ترم ریج. باید اسکالر باشد. |
درجه | گرادیان. |
گزینه ها | مقادیر ویژگی های اختیاری را حمل می کند |
برمی گرداند
- یک نمونه جدید از ApplyRmsProp
عمومی استاتیک ApplyRmsProp.Options useLocking (useLocking بولی)
مولفه های
استفاده از قفل کردن | اگر «درست» باشد، بهروزرسانی تانسورهای var، ms و mom توسط یک قفل محافظت میشود. در غیر این صورت رفتار تعریف نشده است، اما ممکن است اختلاف کمتری از خود نشان دهد. |
---|