สาธารณะคลาสสุดท้าย ResourceApplyAdamWithAmsgrad
อัปเดต '*var' ตามอัลกอริทึมของ Adam
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$
คลาสที่ซ้อนกัน
| ระดับ | ทรัพยากรApplyAdamWithAmsgrad.Options | แอตทริบิวต์ทางเลือกสำหรับ ResourceApplyAdamWithAmsgrad | |
วิธีการสาธารณะ
| คงที่ <T> ResourceApplyAdamWithAmsgrad | สร้าง ( ขอบเขต ขอบเขต, ตัวถูกดำเนินการ <?> var, ตัวถูก ดำเนินการ <?> ม., ตัวถูกดำเนิน การ <?> v, ตัวถูกดำเนิน การ <?> vhat , ตัวถูกดำเนินการ <T> beta1Power , ตัวถูกดำเนินการ <T> beta2Power , ตัวถูกดำเนิน การ <T> lr, ตัวถูกดำเนิน การ <T > beta1, Operand <T> beta2, Operand <T> epsilon, Operand <T> grad, ตัวเลือก... ) เมธอดของโรงงานเพื่อสร้างคลาสที่ปิดการดำเนินการ ResourceApplyAdamWithAmsgrad ใหม่ |
| คงที่ ResourceApplyAdamWithAmsgrad.Options | useLocking (บูลีน useLocking) |
วิธีการสืบทอด
วิธีการสาธารณะ
ResourceApplyAdamWithAmsgrad สาธารณะแบบคงที่ สร้าง ( ขอบเขต ขอบเขต, ตัวถูกดำเนินการ <?> var, ตัวถูก ดำเนินการ <?> ม., ตัวถูกดำเนิน การ <?> v, ตัวถูกดำเนิน การ <?> vhat , ตัวถูกดำเนินการ <T> beta1Power , ตัวถูกดำเนินการ <T> beta2Power , ตัวถูกดำเนิน การ <T> lr, Operand <T> beta1, Operand <T> beta2, Operand <T> epsilon, Operand <T> grad, ตัวเลือก... )
เมธอดของโรงงานเพื่อสร้างคลาสที่ปิดการดำเนินการ ResourceApplyAdamWithAmsgrad ใหม่
พารามิเตอร์
| ขอบเขต | ขอบเขตปัจจุบัน |
|---|---|
| var | ควรมาจาก Variable() |
| ม | ควรมาจาก Variable() |
| วี | ควรมาจาก Variable() |
| vhat | ควรมาจาก Variable() |
| beta1Power | ต้องเป็นสเกลาร์ |
| beta2Power | ต้องเป็นสเกลาร์ |
| lr | ปัจจัยการปรับขนาด ต้องเป็นสเกลาร์ |
| beta1 | ปัจจัยโมเมนตัม ต้องเป็นสเกลาร์ |
| beta2 | ปัจจัยโมเมนตัม ต้องเป็นสเกลาร์ |
| เอปซิลอน | ระยะสันเขา ต้องเป็นสเกลาร์ |
| บัณฑิต | การไล่ระดับ |
| ตัวเลือก | ดำเนินการค่าแอตทริบิวต์ทางเลือก |
คืนสินค้า
- อินสแตนซ์ใหม่ของ ResourceApplyAdamWithAmsgrad
สาธารณะคงที่ ResourceApplyAdamWithAmsgrad.Options useLocking (บูลีน useLocking)
พารามิเตอร์
| ใช้ล็อค | หากเป็น "จริง" การอัพเดทเทนเซอร์ var, m และ v จะได้รับการป้องกันโดยการล็อค มิฉะนั้นพฤติกรรมจะไม่ถูกกำหนด แต่อาจแสดงความขัดแย้งน้อยลง |
|---|