เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึมของ Adam
การปรับให้เหมาะสมของอดัมเป็นวิธีการสุ่มไล่ระดับซึ่งอยู่บนพื้นฐานของการประมาณค่าแบบปรับตัวของโมเมนต์ลำดับที่หนึ่งและลำดับที่สอง
จากข้อมูลของ Kingma et al., 2014 วิธีนี้ "มีประสิทธิภาพในการคำนวณ มีความต้องการหน่วยความจำเพียงเล็กน้อย ไม่แปรผันกับการลดขนาดการไล่ระดับสีในแนวทแยง และเหมาะสำหรับปัญหาที่มีขนาดใหญ่ในแง่ของข้อมูล/พารามิเตอร์"
@see Kingma et al., 2014, Adam: A Method for Stochastic Optimization
ค่าคงที่
| ลอย | BETA_ONE_DEFAULT | |
| ลอย | BETA_TWO_DEFAULT | |
| ลอย | EPSILON_DEFAULT | |
| สตริง | FIRST_MOMENT | |
| ลอย | LEARNING_RATE_DEFAULT | |
| สตริง | SECOND_MOMENT |
ค่าคงที่ที่สืบทอดมา
คอนสตรัคชั่นสาธารณะ
วิธีการสาธารณะ
| คงที่ <T ขยาย TType > Op | createAdamMinimize (ขอบเขต ขอบเขต , การสูญเสีย ตัวดำเนินการ <T>, อัตราการเรียนรู้แบบลอย, float betaOne, float betaTwo, epsilon แบบลอย, ตัวเลือก... ตัวเลือก) สร้างการดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด |
| สตริง | getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ |
| สตริง | toString () |
วิธีการสืบทอด
ค่าคงที่
โฟลตสุดท้ายแบบคงที่สาธารณะ BETA_ONE_DEFAULT
โฟลตสุดท้ายคงสาธารณะ BETA_TWO_DEFAULT
โฟลตสุดท้ายแบบคงที่สาธารณะ EPSILON_DEFAULT
สตริงสุดท้ายแบบคงที่สาธารณะ FIRST_MOMENT
โฟลตสุดท้ายแบบคงที่สาธารณะ LEARNING_RATE_DEFAULT
สตริงสุดท้ายแบบคงที่สาธารณะ SECOND_MOMENT
คอนสตรัคชั่นสาธารณะ
อดัม สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
พารามิเตอร์
| กราฟ | กราฟ TensorFlow |
|---|---|
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
อดัม สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
พารามิเตอร์
| กราฟ | กราฟ TensorFlow |
|---|---|
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
| เบต้าหนึ่ง | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 ค่าเริ่มต้นเป็น 0.9 |
| เบต้าทู | อัตราการสลายตัวแบบเอ็กซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 ค่าเริ่มต้นคือ 0.999 |
| เอปไซลอน | ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ ค่าเริ่มต้นคือ 1e-8 |
อดัม สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
พารามิเตอร์
| กราฟ | กราฟ TensorFlow |
|---|---|
| ชื่อ | ชื่อเครื่องมือเพิ่มประสิทธิภาพ ค่าเริ่มต้นคือ "อดัม" |
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
อดัม สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
พารามิเตอร์
| กราฟ | กราฟ TensorFlow |
|---|---|
| ชื่อ | ชื่อเครื่องมือเพิ่มประสิทธิภาพ ค่าเริ่มต้นคือ "อดัม" |
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
| เบต้าหนึ่ง | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 ค่าเริ่มต้นเป็น 0.9 |
| เบต้าทู | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 ค่าเริ่มต้นคือ 0.999 |
| เอปไซลอน | ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ ค่าเริ่มต้นคือ 1e-8 |
วิธีการสาธารณะ
Op createAdamMinimize แบบ คงที่สาธารณะ (ขอบเขต ขอบเขต , ตัวดำเนินการ <T> การสูญเสีย, อัตราการเรียนรู้แบบลอย, float betaOne, float betaTwo, epsilon แบบลอย, ตัวเลือก... ตัวเลือก)
สร้างการดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด
พารามิเตอร์
| ขอบเขต | ขอบเขต TensorFlow |
|---|---|
| การสูญเสีย | การสูญเสียเพื่อลดให้เหลือน้อยที่สุด |
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
| เบต้าหนึ่ง | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 |
| เบต้าทู | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 |
| เอปไซลอน | ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ |
| ตัวเลือก | คุณลักษณะของเครื่องมือเพิ่มประสิทธิภาพทางเลือก |
การส่งคืน
- การดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด
ขว้าง
| ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้าขอบเขตไม่ได้แสดงถึงกราฟ |
|---|
สตริงสาธารณะ getOptimizerName ()
รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
การส่งคืน
- ชื่อเครื่องมือเพิ่มประสิทธิภาพ