"*var" را طبق الگوریتم RMSProp به روز کنید.
توجه داشته باشید که در اجرای متراکم این الگوریتم، ms و mom حتی اگر grad صفر باشد، به روز می شوند، اما در این پیاده سازی پراکنده، ms و mom در تکرارهایی که در طی آن درجه صفر است، به روز نمی شوند.
mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = Learning_rate * gradient / sqrt(mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- تکانه * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom
کلاس های تو در تو
کلاس | ResourceSparseApplyRmsProp.Options | ویژگی های اختیاری برای ResourceSparseApplyRmsProp |
ثابت ها
رشته | OP_NAME | نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود |
روش های عمومی
static <T TType > ResourceSparseApplyRmsProp را گسترش می دهد | ایجاد ( دامنه دامنه ، عملوند <?> var، عملوند <?> ms، عملوند <?> مادر، عملوند <T> lr، عملوند <T> rho، عملوند <T> تکانه، عملوند <T> اپسیلون، عملوند <T> > grad، Operand <? گسترش TNumber > شاخص ها، گزینه ها... گزینه ها) روش کارخانه برای ایجاد کلاسی که یک عملیات ResourceSparseApplyRmsProp جدید را بسته بندی می کند. |
استاتیک ResourceSparseApplyRmsProp.Options | useLocking (قفل کردن استفاده بولی) |
روش های ارثی
ثابت ها
رشته نهایی ثابت عمومی OP_NAME
نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود
روش های عمومی
عمومی static ResourceSparseApplyRmsProp ایجاد ( دامنه دامنه ، عملوند <?> var، عملوند <?> ms، عملوند <?> مام، عملوند <T> lr، عملوند <T> rho، عملوند <T> تکانه، عملوند <T> اپسیلون، عملوند <T> grad، عملوند <? TNumber را گسترش می دهد > شاخص ها، گزینه ها... گزینه ها)
روش کارخانه برای ایجاد کلاسی که یک عملیات ResourceSparseApplyRmsProp جدید را بسته بندی می کند.
مولفه های
محدوده | محدوده فعلی |
---|---|
var | باید از یک متغیر () باشد. |
اماس | باید از یک متغیر () باشد. |
مادر | باید از یک متغیر () باشد. |
lr | ضریب پوسته پوسته شدن باید اسکالر باشد. |
rho | میزان پوسیدگی باید اسکالر باشد. |
اپسیلون | ترم ریج. باید اسکالر باشد. |
درجه | گرادیان. |
شاخص ها | بردار شاخص ها در بعد اول var، ms و mom. |
گزینه ها | مقادیر ویژگی های اختیاری را حمل می کند |
برمی گرداند
- یک نمونه جدید از ResourceSparseApplyRmsProp
عمومی استاتیک ResourceSparseApplyRmsProp.Options useLocking (useLocking بولی)
مولفه های
استفاده از قفل کردن | اگر «درست» باشد، بهروزرسانی تانسورهای var، ms و mom توسط یک قفل محافظت میشود. در غیر این صورت رفتار تعریف نشده است، اما ممکن است اختلاف کمتری از خود نشان دهد. |
---|