ResourceApplyRmsProp

ResourceApplyRmsProp คลาสสุดท้ายสาธารณะ

อัปเดต '*var' ตามอัลกอริทึม RMSProp

โปรดทราบว่าในการใช้อัลกอริธึมนี้อย่างหนาแน่น ms และ mom จะอัปเดตแม้ว่าผู้สำเร็จการศึกษาจะเป็นศูนย์ แต่ในการใช้งานแบบเบาบางนี้ ms และ mom จะไม่อัปเดตในการวนซ้ำในระหว่างที่ผู้สำเร็จการศึกษาเป็นศูนย์

Mean_square = การสลาย * Mean_Square + (1-การสลายตัว) * การไล่ระดับสี ** 2 Delta = Learning_rate * การไล่ระดับสี / sqrt (mean_square + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- โมเมนตัม * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

คลาสที่ซ้อนกัน

ระดับ ResourceApplyRmsProp.Options แอ็ตทริบิวต์ทางเลือกสำหรับ ResourceApplyRmsProp

ค่าคงที่

สตริง OP_NAME ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

วิธีการสาธารณะ

คงที่ <T ขยาย TType > ResourceApplyRmsProp
สร้าง ( ขอบเขต ขอบเขต ตัวถูกดำเนินการ <?> var, ตัว ถูกดำเนินการ <?> ms, ตัว ถูกดำเนินการ <?> แม่, ตัว ถูกดำเนินการ <T> lr, ตัวถูกดำเนินการ <T> rho, ตัว ถูกดำเนินการ <T> โมเมนตัม, ตัวถูกดำเนินการ <T> เอปไซลอน, ตัวถูกดำเนินการ <T > ผู้สำเร็จการศึกษา ตัวเลือก... ตัวเลือก)
วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ ResourceApplyRmsProp ใหม่
ResourceApplyRmsProp.Options แบบคงที่
useLocking (การใช้ล็อคแบบบูลีน)

วิธีการสืบทอด

ค่าคงที่

สตริงสุดท้ายแบบคงที่สาธารณะ OP_NAME

ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

ค่าคงที่: "ResourceApplyRMSProp"

วิธีการสาธารณะ

ResourceApplyRmsProp สาธารณะคง ที่สร้าง (ขอบเขต ขอบเขต ตัวดำเนินการ <?> var, ตัวดำเนิน การ <?> ms, ตัวดำเนินการ <?> แม่, ตัวดำเนินการ <T> lr, ตัวดำเนินการ <T> rho, ตัวดำเนินการ <T> โมเมนตัม, ตัวดำเนินการ <T> เอปไซลอน, ตัวดำเนินการ <T> ผู้สำเร็จการศึกษา ตัวเลือก... ตัวเลือก)

วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ ResourceApplyRmsProp ใหม่

พารามิเตอร์
ขอบเขต ขอบเขตปัจจุบัน
var ควรมาจากตัวแปร ()
นางสาว ควรมาจากตัวแปร ()
แม่ ควรมาจากตัวแปร ()
ปัจจัยการปรับขนาด ต้องเป็นสเกลาร์
โร อัตราการสลายตัว ต้องเป็นสเกลาร์
เอปไซลอน ระยะริดจ์ ต้องเป็นสเกลาร์
ผู้สำเร็จการศึกษา การไล่ระดับสี
ตัวเลือก มีค่าแอตทริบิวต์ทางเลือก
การส่งคืน
  • อินสแตนซ์ใหม่ของ ResourceApplyRmsProp

ResourceApplyRmsProp.Options แบบคงที่สาธารณะ useLocking (useLocking แบบบูลีน)

พารามิเตอร์
ใช้ล็อค หากเป็น "จริง" การอัปเดต var, ms และ mom tensors จะได้รับการปกป้องด้วยการล็อค มิฉะนั้นพฤติกรรมจะไม่ได้กำหนดไว้ แต่อาจแสดงความขัดแย้งน้อยลง