ResourceSparseApplyRmsProp

ResourceSparseApplyRmsProp คลาสสุดท้ายสาธารณะ

อัปเดต '*var' ตามอัลกอริทึม RMSProp

โปรดทราบว่าในการใช้อัลกอริธึมนี้อย่างหนาแน่น ms และ mom จะอัปเดตแม้ว่าผู้สำเร็จการศึกษาจะเป็นศูนย์ แต่ในการใช้งานแบบเบาบางนี้ ms และ mom จะไม่อัปเดตในการวนซ้ำในระหว่างที่ผู้สำเร็จการศึกษาเป็นศูนย์

Mean_square = การสลาย * Mean_Square + (1-การสลายตัว) * การไล่ระดับสี ** 2 Delta = Learning_rate * การไล่ระดับสี / sqrt (mean_square + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- โมเมนตัม * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

คลาสที่ซ้อนกัน

ระดับ ResourceSparseApplyRmsProp.Options แอ็ตทริบิวต์ทางเลือกสำหรับ ResourceSparseApplyRmsProp

ค่าคงที่

สตริง OP_NAME ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

วิธีการสาธารณะ

คงที่ <T ขยาย TType > ResourceSparseApplyRmsProp
สร้าง ( ขอบเขต ขอบเขต ตัวถูกดำเนินการ <?> var, ตัว ถูกดำเนินการ <?> ms, ตัว ถูกดำเนินการ <?> แม่, ตัว ถูกดำเนินการ <T> lr, ตัวถูกดำเนินการ <T> rho, ตัว ถูกดำเนินการ <T> โมเมนตัม, ตัวถูกดำเนินการ <T> เอปไซลอน, ตัวถูกดำเนินการ <T > ผู้สำเร็จการศึกษา, ตัวดำเนินการ <? ขยาย TNumber > ดัชนี, ตัวเลือก... ตัวเลือก)
วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ ResourceSparseApplyRmsProp ใหม่
ResourceSparseApplyRmsProp.Options แบบคงที่
useLocking (การใช้ล็อคแบบบูลีน)

วิธีการสืบทอด

ค่าคงที่

สตริงสุดท้ายแบบคงที่สาธารณะ OP_NAME

ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

ค่าคงที่: "ResourceSparseApplyRMSProp"

วิธีการสาธารณะ

ResourceSparseApplyRmsProp แบบคงที่สาธารณะ สร้าง (ขอบเขต ขอบเขต ตัวดำเนินการ <?> var, ตัวดำเนินการ <?> ms, ตัว ดำเนินการ <?> แม่, ตัวดำเนินการ <T> lr, ตัวดำเนินการ <T> rho, ตัวดำเนินการ <T> โมเมนตัม, ตัวดำเนินการ <T> เอปไซลอน, ตัวดำเนินการ <T> ผู้สำเร็จการศึกษา, ตัวดำเนินการ <? ขยาย TNumber > ดัชนี, ตัวเลือก... ตัวเลือก)

วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ ResourceSparseApplyRmsProp ใหม่

พารามิเตอร์
ขอบเขต ขอบเขตปัจจุบัน
var ควรมาจากตัวแปร ()
นางสาว ควรมาจากตัวแปร ()
แม่ ควรมาจากตัวแปร ()
ล ปัจจัยการปรับขนาด ต้องเป็นสเกลาร์
โร อัตราการสลายตัว ต้องเป็นสเกลาร์
เอปไซลอน ระยะริดจ์ ต้องเป็นสเกลาร์
ผู้สำเร็จการศึกษา การไล่ระดับสี
ดัชนี เวกเตอร์ของดัชนีในมิติแรกของ var, ms และ mom
ตัวเลือก มีค่าแอตทริบิวต์ทางเลือก
การส่งคืน
  • อินสแตนซ์ใหม่ของ ResourceSparseApplyRmsProp

ResourceSparseApplyRmsProp.Options สาธารณะแบบคงที่ useLocking (useLocking แบบบูลีน)

พารามิเตอร์
ใช้ล็อค หากเป็น "จริง" การอัปเดต var, ms และ mom tensors จะได้รับการปกป้องด้วยการล็อค มิฉะนั้นพฤติกรรมจะไม่ได้กำหนดไว้ แต่อาจแสดงความขัดแย้งน้อยลง