เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึม Adagrad Dual-Averaging
เครื่องมือเพิ่มประสิทธิภาพนี้จะดูแลการทำให้คุณสมบัติที่มองไม่เห็นในชุดย่อยเป็นมาตรฐานโดยการอัปเดตเมื่อเห็นกฎการอัปเดตแบบฟอร์มปิดซึ่งเทียบเท่ากับการอัปเดตในทุกชุดย่อย
โดยทั่วไปแล้ว AdagradDA จะใช้เมื่อมีความจำเป็นในการกระจัดกระจายขนาดใหญ่ในโมเดลที่ได้รับการฝึก เครื่องมือเพิ่มประสิทธิภาพนี้รับประกันความกระจัดกระจายสำหรับโมเดลเชิงเส้นเท่านั้น โปรดใช้ความระมัดระวังเมื่อใช้ AdagradDA สำหรับเครือข่ายระดับลึก เนื่องจากจะต้องมีการเริ่มต้นตัวสะสมการไล่ระดับสีอย่างระมัดระวังเพื่อให้สามารถฝึกได้
ค่าคงที่
สตริง | ตัวสะสม | |
ลอย | INITIAL_ACCUMULATOR_DEFAULT | |
ลอย | L1_STRENGTH_DEFAULT | |
ลอย | L2_STRENGTH_DEFAULT | |
ลอย | LEARNING_RATE_DEFAULT | |
สตริง | SQUARED_ACCUMULATOR |
ค่าคงที่ที่สืบทอดมา
สตริง | ตัวแปร_V2 |
คอนสตรัคชั่นสาธารณะ
วิธีการสาธารณะ
สตริง | getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ |
สตริง | toString () |
วิธีการสืบทอด
ปฏิบัติการ | ApplyGradients (รายการ < GradAndVar <? ขยาย TType >> gradsAndVars ชื่อสตริง) ใช้การไล่ระดับสีกับตัวแปร |
<T ขยาย TType > รายการ < GradAndVar <?>> | |
สตริงแบบคงที่ | createName ( เอาต์พุต <? ขยาย TType > ตัวแปร, String slotName) สร้างชื่อโดยรวมชื่อตัวแปรและชื่อสล็อต |
สตริงที่เป็นนามธรรม | getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ |
<T ขยาย TType > ตัวเลือก < ตัวแปร <T>> | |
ปฏิบัติการสุดท้าย | getTF () รับอินสแตนซ์ Ops ของ Optimizer |
ปฏิบัติการ | |
ปฏิบัติการ | ย่อเล็กสุด ( ตัวดำเนินการ <?> การสูญเสีย ชื่อสตริง) ลดการสูญเสียให้เหลือน้อยที่สุดด้วยการอัพเดตตัวแปร |
บูลีน | เท่ากับ (วัตถุ arg0) |
คลาสสุดท้าย<?> | รับคลาส () |
ภายใน | แฮชโค้ด () |
โมฆะสุดท้าย | แจ้ง () |
โมฆะสุดท้าย | แจ้งทั้งหมด () |
สตริง | toString () |
โมฆะสุดท้าย | รอสักครู่ (ยาว arg0, int arg1) |
โมฆะสุดท้าย | รอ (ยาว arg0) |
โมฆะสุดท้าย | รอ () |
ค่าคงที่
ACCUMULATOR สตริงสุดท้ายแบบคงที่สาธารณะ
โฟลตสุดท้ายคงสาธารณะ INITIAL_ACCUMULATOR_DEFAULT
โฟลตสุดท้ายคงที่สาธารณะ L1_STRENGTH_DEFAULT
โฟลตสุดท้ายคงสาธารณะ L2_STRENGTH_DEFAULT
โฟลตสุดท้ายแบบคงที่สาธารณะ LEARNING_RATE_DEFAULT
สตริงสุดท้ายแบบคงที่สาธารณะ SQUARED_ACCUMULATOR
คอนสตรัคชั่นสาธารณะ
AdaGradDA สาธารณะ ( กราฟ กราฟ)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaGradDA
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|
AdaGradDA สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaGradDA
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
AdaGradDA สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, ลอยตัวเริ่มต้นค่าสะสม, ลอย l1Strength, ลอย l2Strength)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaGradDA
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
ค่าตัวสะสมเริ่มต้น | ค่าเริ่มต้นสำหรับตัวสะสมจะต้องมากกว่าศูนย์ |
l1ความแข็งแกร่ง | ความแรงของการทำให้เป็นมาตรฐาน l1 ต้องมากกว่าหรือเท่ากับศูนย์ |
l2ความแข็งแกร่ง | ความแรงของการทำให้เป็นมาตรฐาน l2 ต้องมากกว่าหรือเท่ากับศูนย์ |
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้า defaultAccumulatorValue ไม่มากกว่าศูนย์ หรือ l1Strength หรือ l2Strength น้อยกว่าศูนย์ |
---|
AdaGradDA สาธารณะ ( กราฟ กราฟ ชื่อสตริง อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaGradDA
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
ชื่อ | ชื่อของเครื่องมือเพิ่มประสิทธิภาพนี้ (ค่าเริ่มต้นคือ 'adagrad-da') |
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
AdaGradDA สาธารณะ ( กราฟกราฟ , ชื่อสตริง, อัตราการเรียนรู้แบบลอยตัว, ค่าเริ่มต้นตัวสะสมลอย, ค่าลอยตัว l1Strength, ลอยตัว l2Strength)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaGradDA
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
ชื่อ | ชื่อของเครื่องมือเพิ่มประสิทธิภาพนี้ (ค่าเริ่มต้นคือ 'adagrad-da') |
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
ค่าตัวสะสมเริ่มต้น | ค่าเริ่มต้นสำหรับตัวสะสมจะต้องเป็นค่าบวก |
l1ความแข็งแกร่ง | ความแรงของการทำให้เป็นมาตรฐาน l1 ต้องมากกว่าหรือเท่ากับศูนย์ |
l2ความแข็งแกร่ง | ความแรงของการทำให้เป็นมาตรฐาน l2 ต้องมากกว่าหรือเท่ากับศูนย์ |
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้า defaultAccumulatorValue ไม่มากกว่าศูนย์ หรือ * l1Strength หรือ l2Strength น้อยกว่าศูนย์ |
---|
วิธีการสาธารณะ
สตริงสาธารณะ getOptimizerName ()
รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
การส่งคืน
- ชื่อเครื่องมือเพิ่มประสิทธิภาพ