"*var" را طبق الگوریتم RMSProp به روز کنید.
توجه داشته باشید که در اجرای متراکم این الگوریتم، ms و mom حتی اگر grad صفر باشد، به روز می شوند، اما در این پیاده سازی پراکنده، ms و mom در تکرارهایی که در طی آن درجه صفر است، به روز نمی شوند.
mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = Learning_rate * gradient / sqrt(mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- تکانه * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom
کلاس های تو در تو
| کلاس | ResourceSparseApplyRmsProp.Options | ویژگی های اختیاری برای ResourceSparseApplyRmsProp | |
ثابت ها
| رشته | OP_NAME | نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود |
روش های عمومی
| static <T TType > ResourceSparseApplyRmsProp را گسترش می دهد | ایجاد ( دامنه دامنه ، عملوند <?> var، عملوند <?> ms، عملوند <?> مادر، عملوند <T> lr، عملوند <T> rho، عملوند <T> تکانه، عملوند <T> اپسیلون، عملوند <T> > grad، Operand <? گسترش TNumber > شاخص ها، گزینه ها... گزینه ها) روش کارخانه برای ایجاد کلاسی که یک عملیات ResourceSparseApplyRmsProp جدید را بسته بندی می کند. |
| استاتیک ResourceSparseApplyRmsProp.Options | useLocking (قفل کردن استفاده بولی) |
روش های ارثی
ثابت ها
رشته نهایی ثابت عمومی OP_NAME
نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود
روش های عمومی
عمومی static ResourceSparseApplyRmsProp ایجاد ( دامنه دامنه ، عملوند <?> var، عملوند <?> ms، عملوند <?> مام، عملوند <T> lr، عملوند <T> rho، عملوند <T> تکانه، عملوند <T> اپسیلون، عملوند <T> grad، عملوند <? TNumber را گسترش می دهد > شاخص ها، گزینه ها... گزینه ها)
روش کارخانه برای ایجاد کلاسی که یک عملیات ResourceSparseApplyRmsProp جدید را بسته بندی می کند.
مولفه های
| محدوده | محدوده فعلی |
|---|---|
| var | باید از یک متغیر () باشد. |
| اماس | باید از یک متغیر () باشد. |
| مادر | باید از یک متغیر () باشد. |
| lr | ضریب پوسته پوسته شدن باید اسکالر باشد. |
| rho | میزان پوسیدگی باید اسکالر باشد. |
| اپسیلون | ترم ریج. باید اسکالر باشد. |
| درجه | گرادیان. |
| شاخص ها | بردار شاخص ها در بعد اول var، ms و mom. |
| گزینه ها | مقادیر ویژگی های اختیاری را حمل می کند |
برمی گرداند
- یک نمونه جدید از ResourceSparseApplyRmsProp
عمومی استاتیک ResourceSparseApplyRmsProp.Options useLocking (useLocking بولی)
مولفه های
| استفاده از قفل کردن | اگر «درست» باشد، بهروزرسانی تانسورهای var، ms و mom توسط یک قفل محافظت میشود. در غیر این صورت رفتار تعریف نشده است، اما ممکن است اختلاف کمتری از خود نشان دهد. |
|---|