เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึม Adadelta
การปรับให้เหมาะสมของ Adadelta เป็นวิธีการสุ่มแบบไล่ระดับซึ่งอิงตามอัตราการเรียนรู้แบบปรับตัวต่อมิติเพื่อแก้ไขข้อบกพร่องสองประการ:
- อัตราการเรียนรู้ที่ลดลงอย่างต่อเนื่องตลอดการฝึกอบรม
- ความจำเป็นสำหรับอัตราการเรียนรู้ทั่วโลกที่เลือกด้วยตนเอง
Adadelta เป็นส่วนขยายที่แข็งแกร่งกว่าของ Adagrad ซึ่งจะปรับอัตราการเรียนรู้โดยอิงตามหน้าต่างที่เคลื่อนไหวของการอัพเดตการไล่ระดับสี แทนที่จะสะสมการไล่ระดับสีที่ผ่านมาทั้งหมด ด้วยวิธีนี้ Adadelta จะเรียนรู้ต่อไปแม้ว่าจะมีการอัพเดตมากมายก็ตาม เมื่อเทียบกับ Adagrad ใน Adadelta เวอร์ชันดั้งเดิม คุณไม่จำเป็นต้องกำหนดอัตราการเรียนรู้เริ่มต้น ในเวอร์ชันนี้ คุณสามารถตั้งค่าอัตราการเรียนรู้เริ่มต้นได้ เช่นเดียวกับในเครื่องมือเพิ่มประสิทธิภาพอื่นๆ ส่วนใหญ่
ตามส่วนที่ 4.3 ("อัตราการเรียนรู้ที่มีประสิทธิผล") เมื่อใกล้สิ้นสุดขนาดขั้นตอนการฝึกอบรมมาบรรจบกันเป็น 1 ซึ่งเป็นอัตราการเรียนรู้ที่สูงอย่างมีประสิทธิผลซึ่งจะทำให้เกิดความแตกต่าง สิ่งนี้จะเกิดขึ้นในช่วงใกล้สิ้นสุดการฝึกเท่านั้น เนื่องจากการไล่ระดับสีและขนาดขั้นตอนมีขนาดเล็ก และค่าคงที่เอปไซลอนในตัวเศษและตัวส่วนจะครอบงำการไล่ระดับสีที่ผ่านมาและการอัปเดตพารามิเตอร์ ซึ่งจะรวมอัตราการเรียนรู้เป็น 1
ตามส่วนที่ 4.4 ("ข้อมูลคำพูด") ซึ่งโครงข่ายประสาทเทียมขนาดใหญ่ที่มี 4 เลเยอร์ที่ซ่อนอยู่ได้รับการฝึกอบรมบนคลังข้อมูลภาษาอังกฤษแบบสหรัฐอเมริกา ADADELTA ถูกใช้กับแบบจำลองเครือข่าย 100 รายการ epsilon ที่ใช้คือ 1e-6 โดยมี rho=0.95 ซึ่ง บรรจบกันเร็วกว่า ADAGRAD โดยโครงสร้างต่อไปนี้: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);
ค่าคงที่
| สตริง | ตัวสะสม | |
| สตริง | ตัวสะสม_อัปเดต | |
| ลอย | EPSILON_DEFAULT | |
| ลอย | LEARNING_RATE_DEFAULT | |
| ลอย | RHO_DEFAULT |
ค่าคงที่ที่สืบทอดมา
คอนสตรัคชั่นสาธารณะ
วิธีการสาธารณะ
| สตริง | getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ |
| สตริง | toString () |
วิธีการสืบทอด
ค่าคงที่
ACCUMULATOR สตริงสุดท้ายแบบคงที่สาธารณะ
สตริงสุดท้ายแบบคงที่สาธารณะ ACCUMULATOR_UPDATE
โฟลตสุดท้ายแบบคงที่สาธารณะ EPSILON_DEFAULT
โฟลตสุดท้ายแบบคงที่สาธารณะ LEARNING_RATE_DEFAULT
โฟลตสุดท้ายแบบคงที่สาธารณะ RHO_DEFAULT
คอนสตรัคชั่นสาธารณะ
AdaDelta สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta
พารามิเตอร์
| กราฟ | กราฟ TensorFlow |
|---|---|
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
AdaDelta สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, float rho, epsilon แบบลอย)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta
พารามิเตอร์
| กราฟ | กราฟ TensorFlow |
|---|---|
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
| โร | ปัจจัยการสลายตัว |
| เอปไซลอน | เอปไซลอนคงที่ใช้เพื่อปรับสภาพการอัปเดตผู้สำเร็จการศึกษาให้ดีขึ้น |
AdaDelta สาธารณะ ( กราฟ กราฟ ชื่อสตริง อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta
พารามิเตอร์
| กราฟ | กราฟ TensorFlow |
|---|---|
| ชื่อ | ชื่อของเครื่องมือเพิ่มประสิทธิภาพนี้ (ค่าเริ่มต้นคือ 'Adadelta') |
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
AdaDelta สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอยตัว, โฟลตโร, เอปไซลอนแบบลอย)
สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta
พารามิเตอร์
| กราฟ | กราฟ TensorFlow |
|---|---|
| ชื่อ | ชื่อของเครื่องมือเพิ่มประสิทธิภาพนี้ (ค่าเริ่มต้นคือ 'Adadelta') |
| อัตราการเรียนรู้ | อัตราการเรียนรู้ |
| โร | ปัจจัยการสลายตัว |
| เอปไซลอน | เอปไซลอนคงที่ใช้เพื่อปรับสภาพการอัปเดตผู้สำเร็จการศึกษาให้ดีขึ้น |
วิธีการสาธารณะ
สตริงสาธารณะ getOptimizerName ()
รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
การส่งคืน
- ชื่อเครื่องมือเพิ่มประสิทธิภาพ