ResourceSparseApplyRmsProp

ResourceSparseApplyRmsProp คลาสสุดท้ายสาธารณะ

อัปเดต '*var' ตามอัลกอริทึม RMSProp

โปรดทราบว่าในการใช้อัลกอริธึมนี้อย่างหนาแน่น ms และ mom จะอัปเดตแม้ว่าผู้สำเร็จการศึกษาจะเป็นศูนย์ แต่ในการใช้งานแบบเบาบางนี้ ms และ mom จะไม่อัปเดตในการวนซ้ำในระหว่างที่ผู้สำเร็จการศึกษาเป็นศูนย์

Mean_square = การสลาย * Mean_Square + (1-การสลายตัว) * การไล่ระดับสี ** 2 Delta = Learning_rate * การไล่ระดับสี / sqrt (mean_square + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- โมเมนตัม * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

คลาสที่ซ้อนกัน

ระดับ ResourceSparseApplyRmsProp.Options แอ็ตทริบิวต์ทางเลือกสำหรับ ResourceSparseApplyRmsProp

ค่าคงที่

สตริง OP_NAME ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

วิธีการสาธารณะ

คงที่ <T ขยาย TType > ResourceSparseApplyRmsProp
สร้าง ( ขอบเขต ขอบเขต ตัวถูกดำเนินการ <?> var, ตัว ถูกดำเนินการ <?> ms, ตัว ถูกดำเนินการ <?> แม่, ตัว ถูกดำเนินการ <T> lr, ตัวถูกดำเนินการ <T> rho, ตัว ถูกดำเนินการ <T> โมเมนตัม, ตัวถูกดำเนินการ <T> เอปไซลอน, ตัวถูกดำเนินการ <T > ผู้สำเร็จการศึกษา, ตัวดำเนินการ <? ขยาย TNumber > ดัชนี, ตัวเลือก... ตัวเลือก)
วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ ResourceSparseApplyRmsProp ใหม่
ResourceSparseApplyRmsProp.Options แบบคงที่
useLocking (การใช้ล็อคแบบบูลีน)

วิธีการสืบทอด

ค่าคงที่

สตริงสุดท้ายแบบคงที่สาธารณะ OP_NAME

ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

ค่าคงที่: "ResourceSparseApplyRMSProp"

วิธีการสาธารณะ

ResourceSparseApplyRmsProp แบบคงที่สาธารณะ สร้าง (ขอบเขต ขอบเขต ตัวดำเนินการ <?> var, ตัวดำเนินการ <?> ms, ตัว ดำเนินการ <?> แม่, ตัวดำเนินการ <T> lr, ตัวดำเนินการ <T> rho, ตัวดำเนินการ <T> โมเมนตัม, ตัวดำเนินการ <T> เอปไซลอน, ตัวดำเนินการ <T> ผู้สำเร็จการศึกษา, ตัวดำเนินการ <? ขยาย TNumber > ดัชนี, ตัวเลือก... ตัวเลือก)

วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ ResourceSparseApplyRmsProp ใหม่

พารามิเตอร์
ขอบเขต ขอบเขตปัจจุบัน
var ควรมาจากตัวแปร ()
นางสาว ควรมาจากตัวแปร ()
แม่ ควรมาจากตัวแปร ()
ปัจจัยการปรับขนาด ต้องเป็นสเกลาร์
โร อัตราการสลายตัว ต้องเป็นสเกลาร์
เอปไซลอน ระยะริดจ์ ต้องเป็นสเกลาร์
ผู้สำเร็จการศึกษา การไล่ระดับสี
ดัชนี เวกเตอร์ของดัชนีในมิติแรกของ var, ms และ mom
ตัวเลือก มีค่าแอตทริบิวต์ทางเลือก
การส่งคืน
  • อินสแตนซ์ใหม่ของ ResourceSparseApplyRmsProp

ResourceSparseApplyRmsProp.Options สาธารณะแบบคงที่ useLocking (useLocking แบบบูลีน)

พารามิเตอร์
ใช้ล็อค หากเป็น "จริง" การอัปเดต var, ms และ mom tensors จะได้รับการปกป้องด้วยการล็อค มิฉะนั้นพฤติกรรมจะไม่ได้กำหนดไว้ แต่อาจแสดงความขัดแย้งน้อยลง