محسن ينفذ خوارزمية Adadelta.
يعد تحسين Adadelta بمثابة طريقة نزول متدرجة عشوائية تعتمد على معدل التعلم التكيفي لكل بُعد لمعالجة عيبين:
- - التدهور المستمر في معدلات التعلم طوال فترة التدريب
- الحاجة إلى معدل تعلم عالمي يتم اختياره يدويًا
يعد Adadelta امتدادًا أكثر قوة لـ Adagrad حيث يقوم بتكييف معدلات التعلم بناءً على نافذة متحركة من تحديثات التدرج، بدلاً من تجميع كل التدرجات السابقة. بهذه الطريقة، يستمر Adadelta في التعلم حتى بعد إجراء العديد من التحديثات. بالمقارنة مع Adagrad، في الإصدار الأصلي من Adadelta، لا يتعين عليك تحديد معدل تعلم أولي. في هذا الإصدار، يمكن تعيين معدل التعلم الأولي، كما هو الحال في معظم برامج التحسين الأخرى.
وفقًا للقسم 4.3 ("معدلات التعلم الفعالة")، بالقرب من نهاية أحجام خطوات التدريب تتقارب إلى 1 وهو معدل تعلم مرتفع فعليًا قد يسبب الاختلاف. يحدث هذا فقط قرب نهاية التدريب حيث تكون التدرجات وأحجام الخطوات صغيرة، ويهيمن ثابت إبسيلون في البسط والمقام على التدرجات السابقة وتحديثات المعلمات التي تقارب معدل التعلم إلى 1.
وفقًا للقسم 4.4 ("بيانات الكلام")، حيث تم تدريب شبكة عصبية كبيرة مكونة من 4 طبقات مخفية على مجموعة من البيانات الإنجليزية الأمريكية، تم استخدام ADADELTA مع 100 نسخة متماثلة للشبكة. epsilon المستخدم هو 1e-6 مع rho=0.95 والذي تتقارب بشكل أسرع من ADAGRAD، من خلال البناء التالي: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);
الثوابت
| خيط | المجمع | |
| خيط | تراكم_تحديث | |
| يطفو | EPSILON_DEFAULT | |
| يطفو | LEARNING_RATE_DEFAULT | |
| يطفو | RHO_DEFAULT |
الثوابت الموروثة
| خيط | VARIABLE_V2 |
المقاولون العامون
الأساليب العامة
| خيط | getOptimizerName () احصل على اسم المحسن. |
| خيط | إلى سلسلة () |
الطرق الموروثة
| مرجع سابق | ApplyGradients (القائمة< GradAndVar <؟ تمتد TType >> gradsAndVars، اسم السلسلة) يطبق التدرجات على المتغيرات |
| <T يمتد TType > القائمة< GradAndVar <?>> | |
| سلسلة ثابتة | createName ( الإخراج <؟ يمتد TType > متغير، String SlotName) ينشئ اسمًا من خلال الجمع بين اسم المتغير واسم الفتحة |
| سلسلة مجردة | getOptimizerName () احصل على اسم المحسن. |
| <T يمتد TType > اختياري< متغير <T>> | |
| العمليات النهائية | جيتف () الحصول على مثيل Ops الخاص بـ Optimizer |
| مرجع سابق | |
| مرجع سابق |
| منطقية | يساوي (كائن arg0) |
| الدرجة النهائية<?> | الحصول على كلاس () |
| كثافة العمليات | رمز التجزئة () |
| الفراغ النهائي | إعلام () |
| الفراغ النهائي | إعلام الكل () |
| خيط | إلى سلسلة () |
| الفراغ النهائي | انتظر (طويل arg0، int arg1) |
| الفراغ النهائي | انتظر (طويل arg0) |
| الفراغ النهائي | انتظر () |
الثوابت
تراكم السلسلة النهائية الثابتة العامة
السلسلة النهائية العامة الثابتة ACCUMULATOR_UPDATE
التعويم النهائي الثابت العام EPSILON_DEFAULT
التعويم النهائي الثابت العام LEARNING_RATE_DEFAULT
التعويم النهائي الثابت العام RHO_DEFAULT
المقاولون العامون
AdaDelta العامة (الرسم البياني ، معدل التعلم العائم)
إنشاء محسن AdaDelta
حدود
| رسم بياني | الرسم البياني TensorFlow |
|---|---|
| معدل التعليم | معدل التعلم |
AdaDelta العامة (الرسم البياني ، تعويم LearningRate، تعويم رو، تعويم إبسيلون)
إنشاء محسن AdaDelta
حدود
| رسم بياني | الرسم البياني TensorFlow |
|---|---|
| معدل التعليم | معدل التعلم |
| rho | عامل الاضمحلال |
| إبسيلون | إبسيلون ثابت يستخدم لتكييف تحديث التخرج بشكل أفضل |
AdaDelta العامة (الرسم البياني ، اسم السلسلة، معدل التعلم العائم)
إنشاء محسن AdaDelta
حدود
| رسم بياني | الرسم البياني TensorFlow |
|---|---|
| اسم | اسم المُحسِّن هذا (الافتراضي هو "Adadelta") |
| معدل التعليم | معدل التعلم |
AdaDelta العامة (الرسم البياني ، اسم السلسلة، معدل التعلم العائم، تعويم رو، تعويم إبسيلون)
إنشاء محسن AdaDelta
حدود
| رسم بياني | الرسم البياني TensorFlow |
|---|---|
| اسم | اسم المُحسِّن هذا (الافتراضي هو "Adadelta") |
| معدل التعليم | معدل التعلم |
| rho | عامل الاضمحلال |
| إبسيلون | إبسيلون ثابت يستخدم لتكييف تحديث التخرج بشكل أفضل |
الأساليب العامة
سلسلة getOptimizerName () العامة
احصل على اسم المحسن.
عائدات
- اسم المحسن.