อัปเดต '*var' ตามอัลกอริทึม RMSProp ที่อยู่กึ่งกลาง
อัลกอริธึม RMSProp ที่มีศูนย์กลางใช้การประมาณค่าของโมเมนต์ที่สองที่อยู่ตรงกลาง (เช่น ความแปรปรวน) สำหรับการทำให้เป็นมาตรฐาน ตรงข้ามกับ RMSProp ปกติ ซึ่งใช้โมเมนต์ที่สอง (ไม่อยู่ศูนย์กลาง) ซึ่งมักจะช่วยในการฝึกอบรม แต่จะมีราคาแพงกว่าเล็กน้อยในแง่ของการคำนวณและหน่วยความจำ
โปรดทราบว่าในการใช้อัลกอริธึมนี้อย่างหนาแน่น mg, ms และ mom จะอัปเดตแม้ว่าผู้สำเร็จการศึกษาจะเป็นศูนย์ แต่ในการใช้งานแบบเบาบางนี้ mg, ms และ mom จะไม่อัปเดตในการวนซ้ำในระหว่างที่ผู้สำเร็จการศึกษาเป็นศูนย์
Mean_square = การสลาย * Mean_Square + (1-การสลายตัว) * การไล่ระดับสี ** 2 Mean_grad = การสลาย * Mean_grad + (1-การสลายตัว) * การไล่ระดับสี
เดลต้า = อัตราการเรียนรู้ * การไล่ระดับสี / sqrt (mean_square + epsilon - meme_grad ** 2)
mg <- rho * mg_{t-1} + (1-rho) * grad ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- โมเมนตัม * mom_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - แม่
คลาสที่ซ้อนกัน
| ระดับ | ResourceApplyCenteredRmsProp.Options | แอ็ตทริบิวต์ทางเลือกสำหรับ ResourceApplyCenteredRmsProp | |
ค่าคงที่
| สตริง | OP_NAME | ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow |
วิธีการสาธารณะ
| คงที่ <T ขยาย TType > ResourceApplyCenteredRmsProp | สร้าง ( ขอบเขต ขอบเขต ตัวดำเนินการ <?> var, ตัวถูกดำเนินการ <?> mg, ตัวถูกดำเนินการ <?> ms, ตัว ถูกดำเนินการ <?> แม่, ตัวดำเนินการ <T> lr, ตัวถูกดำเนินการ <T> rho, ตัวถูกดำเนินการ <T> โมเมนตัม, ตัวถูกดำเนินการ <T > เอปไซลอน, ตัวดำเนินการ <T> ผู้สำเร็จการศึกษา, ตัวเลือก... ตัวเลือก) วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ ResourceApplyCenteredRmsProp ใหม่ |
| ResourceApplyCenteredRmsProp.Options แบบคงที่ | useLocking (การใช้ล็อคแบบบูลีน) |
วิธีการสืบทอด
ค่าคงที่
สตริงสุดท้ายแบบคงที่สาธารณะ OP_NAME
ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow
วิธีการสาธารณะ
ResourceApplyCenteredRmsProp แบบคงที่สาธารณะ สร้าง (ขอบเขต ขอบเขต ตัวดำเนินการ <?> var, ตัวดำเนินการ <?> mg, ตัวดำเนินการ <?> ms, ตัวดำเนินการ <?> แม่, ตัวดำเนินการ <T> lr, ตัวดำเนินการ <T> rho, ตัวดำเนินการ <T> โมเมนตัม, ตัวดำเนินการ <T> เอปไซลอน, ตัวดำเนินการ <T> ผู้สำเร็จการศึกษา ตัวเลือก... ตัวเลือก)
วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ ResourceApplyCenteredRmsProp ใหม่
พารามิเตอร์
| ขอบเขต | ขอบเขตปัจจุบัน |
|---|---|
| var | ควรมาจากตัวแปร () |
| มก | ควรมาจากตัวแปร () |
| นางสาว | ควรมาจากตัวแปร () |
| แม่ | ควรมาจากตัวแปร () |
| ล | ปัจจัยการปรับขนาด ต้องเป็นสเกลาร์ |
| โร | อัตราการสลายตัว ต้องเป็นสเกลาร์ |
| โมเมนตัม | ระดับโมเมนตัม ต้องเป็นสเกลาร์ |
| เอปไซลอน | ระยะริดจ์ ต้องเป็นสเกลาร์ |
| ผู้สำเร็จการศึกษา | การไล่ระดับสี |
| ตัวเลือก | มีค่าแอตทริบิวต์ทางเลือก |
การส่งคืน
- อินสแตนซ์ใหม่ของ ResourceApplyCenteredRmsProp
ResourceApplyCenteredRmsProp.Options แบบคงที่สาธารณะ useLocking (useLocking แบบบูลีน)
พารามิเตอร์
| ใช้ล็อค | หากเป็น "จริง" การอัปเดต var, mg, ms และ mom tensors ได้รับการปกป้องด้วยการล็อค มิฉะนั้นพฤติกรรมจะไม่ได้กำหนดไว้ แต่อาจแสดงความขัดแย้งน้อยลง |
|---|