AdaDelta

AdaDelta คลาสสาธารณะ

เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึม Adadelta

การปรับให้เหมาะสมของ Adadelta เป็นวิธีการสุ่มแบบไล่ระดับซึ่งอิงตามอัตราการเรียนรู้แบบปรับตัวต่อมิติเพื่อแก้ไขข้อบกพร่องสองประการ:

• อัตราการเรียนรู้ที่ลดลงอย่างต่อเนื่องตลอดการฝึกอบรม
• ความจำเป็นสำหรับอัตราการเรียนรู้ทั่วโลกที่เลือกด้วยตนเอง

Adadelta เป็นส่วนขยายที่แข็งแกร่งกว่าของ Adagrad ซึ่งจะปรับอัตราการเรียนรู้โดยอิงตามหน้าต่างที่เคลื่อนไหวของการอัพเดตการไล่ระดับสี แทนที่จะสะสมการไล่ระดับสีที่ผ่านมาทั้งหมด ด้วยวิธีนี้ Adadelta จะเรียนรู้ต่อไปแม้ว่าจะมีการอัพเดตมากมายก็ตาม เมื่อเทียบกับ Adagrad ใน Adadelta เวอร์ชันดั้งเดิม คุณไม่จำเป็นต้องกำหนดอัตราการเรียนรู้เริ่มต้น ในเวอร์ชันนี้ คุณสามารถตั้งค่าอัตราการเรียนรู้เริ่มต้นได้ เช่นเดียวกับในเครื่องมือเพิ่มประสิทธิภาพอื่นๆ ส่วนใหญ่

ตามส่วนที่ 4.3 ("อัตราการเรียนรู้ที่มีประสิทธิผล") เมื่อใกล้สิ้นสุดขนาดขั้นตอนการฝึกอบรมมาบรรจบกันเป็น 1 ซึ่งเป็นอัตราการเรียนรู้ที่สูงอย่างมีประสิทธิผลซึ่งจะทำให้เกิดความแตกต่าง สิ่งนี้จะเกิดขึ้นในช่วงใกล้สิ้นสุดการฝึกเท่านั้น เนื่องจากการไล่ระดับสีและขนาดขั้นตอนมีขนาดเล็ก และค่าคงที่เอปไซลอนในตัวเศษและตัวส่วนจะครอบงำการไล่ระดับสีที่ผ่านมาและการอัปเดตพารามิเตอร์ ซึ่งจะรวมอัตราการเรียนรู้เป็น 1

ตามส่วนที่ 4.4 ("ข้อมูลคำพูด") ซึ่งโครงข่ายประสาทเทียมขนาดใหญ่ที่มี 4 เลเยอร์ที่ซ่อนอยู่ได้รับการฝึกอบรมบนคลังข้อมูลภาษาอังกฤษแบบสหรัฐอเมริกา ADADELTA ถูกใช้กับแบบจำลองเครือข่าย 100 รายการ epsilon ที่ใช้คือ 1e-6 โดยมี rho=0.95 ซึ่ง บรรจบกันเร็วกว่า ADAGRAD โดยโครงสร้างต่อไปนี้: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);

ดูสิ่งนี้ด้วย

• Zeiler, M., 2012 ADADELTA: วิธีอัตราการเรียนรู้แบบปรับตัว

ค่าคงที่

สตริง	ตัวสะสม
สตริง	ตัวสะสม_อัปเดต
ลอย	EPSILON_DEFAULT
ลอย	LEARNING_RATE_DEFAULT
ลอย	RHO_DEFAULT

ค่าคงที่ที่สืบทอดมา

จากคลาส org.tensorflow.framework.optimizers.Optimizer

สตริง

ตัวแปร_V2

คอนสตรัคชั่นสาธารณะ

	AdaDelta ( กราฟ กราฟ)
	AdaDelta ( กราฟกราฟ , อัตราการเรียนรู้แบบลอยตัว) สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta
	AdaDelta ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, โฟลตโร, เอปไซลอนแบบลอย) สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta
	AdaDelta ( กราฟ กราฟ ชื่อสตริง อัตราการเรียนรู้แบบลอยตัว) สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta
	AdaDelta ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอย, โฟลตโร, โฟลตเอปไซลอน) สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta

วิธีการสาธารณะ

สตริง	getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
สตริง	toString ()

วิธีการสืบทอด

จากคลาส org.tensorflow.framework.optimizers.Optimizer

ปฏิบัติการ	ApplyGradients (รายการ < GradAndVar <? ขยาย TType >> gradsAndVars ชื่อสตริง) ใช้การไล่ระดับสีกับตัวแปร
<T ขยาย TType > รายการ < GradAndVar <?>>	computeGradients ( ตัวดำเนินการ <?> สูญเสีย) คำนวณการไล่ระดับสีตามตัวถูกดำเนินการที่สูญเสีย
สตริงแบบคงที่	createName ( เอาต์พุต <? ขยาย TType > ตัวแปร, String slotName) สร้างชื่อโดยรวมชื่อตัวแปรและชื่อสล็อต
สตริงที่เป็นนามธรรม	getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
<T ขยาย TType > ตัวเลือก < ตัวแปร <T>>	getSlot ( เอาต์พุต <T> var, String slotName) รับช่องที่เกี่ยวข้องกับตัวแปรและชื่อช่องที่ระบุ
ปฏิบัติการสุดท้าย	getTF () รับอินสแตนซ์ Ops ของ Optimizer
ปฏิบัติการ	ย่อเล็กสุด ( ตัวดำเนินการ <?> การสูญเสีย) ลดการสูญเสียให้เหลือน้อยที่สุดด้วยการอัพเดตตัวแปร
ปฏิบัติการ	ย่อเล็กสุด ( ตัวดำเนินการ <?> การสูญเสีย ชื่อสตริง) ลดการสูญเสียให้เหลือน้อยที่สุดด้วยการอัพเดตตัวแปร

จากคลาส java.lang.Object

บูลีน	เท่ากับ (วัตถุ arg0)
คลาสสุดท้าย<?>	รับคลาส ()
ภายใน	แฮชโค้ด ()
โมฆะสุดท้าย	แจ้ง ()
โมฆะสุดท้าย	แจ้งทั้งหมด ()
สตริง	toString ()
โมฆะสุดท้าย	รอสักครู่ (ยาว arg0, int arg1)
โมฆะสุดท้าย	รอ (ยาว arg0)
โมฆะสุดท้าย	รอ ()

ค่าคงที่

ACCUMULATOR สตริงสุดท้ายแบบคงที่สาธารณะ

ค่าคงที่: "สะสม"

สตริงสุดท้ายแบบคงที่สาธารณะ ACCUMULATOR_UPDATE

ค่าคงที่: "accum_update"

โฟลตสุดท้ายแบบคงที่สาธารณะ EPSILON_DEFAULT

ค่าคงที่: 1.0E-7

โฟลตสุดท้ายแบบคงที่สาธารณะ LEARNING_RATE_DEFAULT

ค่าคงที่: 0.001

โฟลตสุดท้ายแบบคงที่สาธารณะ RHO_DEFAULT

ค่าคงที่: 0.95

คอนสตรัคชั่นสาธารณะ

AdaDelta สาธารณะ ( กราฟ กราฟ)

AdaDelta สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)

สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta

พารามิเตอร์

กราฟ	กราฟ TensorFlow
อัตราการเรียนรู้	อัตราการเรียนรู้

AdaDelta สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, float rho, epsilon แบบลอย)

สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta

พารามิเตอร์

กราฟ	กราฟ TensorFlow
อัตราการเรียนรู้	อัตราการเรียนรู้
โร	ปัจจัยการสลายตัว
เอปไซลอน	เอปไซลอนคงที่ใช้เพื่อปรับสภาพการอัปเดตผู้สำเร็จการศึกษาให้ดีขึ้น

AdaDelta สาธารณะ ( กราฟ กราฟ ชื่อสตริง อัตราการเรียนรู้แบบลอยตัว)

สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta

พารามิเตอร์

กราฟ	กราฟ TensorFlow
ชื่อ	ชื่อของเครื่องมือเพิ่มประสิทธิภาพนี้ (ค่าเริ่มต้นคือ 'Adadelta')
อัตราการเรียนรู้	อัตราการเรียนรู้

AdaDelta สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอยตัว, โฟลตโร, เอปไซลอนแบบลอย)

สร้างเครื่องมือเพิ่มประสิทธิภาพ AdaDelta

พารามิเตอร์

กราฟ	กราฟ TensorFlow
ชื่อ	ชื่อของเครื่องมือเพิ่มประสิทธิภาพนี้ (ค่าเริ่มต้นคือ 'Adadelta')
อัตราการเรียนรู้	อัตราการเรียนรู้
โร	ปัจจัยการสลายตัว
เอปไซลอน	เอปไซลอนคงที่ใช้เพื่อปรับสภาพการอัปเดตผู้สำเร็จการศึกษาให้ดีขึ้น

วิธีการสาธารณะ

สตริงสาธารณะ getOptimizerName ()

รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ

การส่งคืน

• ชื่อเครื่องมือเพิ่มประสิทธิภาพ

สตริงสาธารณะ toString ()