AdaDelta

כיתה ציבורית AdaDelta

אופטימיזציה המיישמת את אלגוריתם Adadelta.

אופטימיזציה של Adadelta היא שיטת ירידה בשיפוע סטוכסטי המבוססת על שיעור למידה אדפטיבית לכל מימד כדי להתמודד עם שני חסרונות:

• הדעיכה המתמשכת של שיעורי הלמידה לאורך האימון
• הצורך בקצב למידה גלובלי שנבחר באופן ידני

Adadelta היא הרחבה חזקה יותר של Adagrad שמתאימה את קצבי הלמידה על סמך חלון נע של עדכוני שיפוע, במקום לצבור את כל דרגות העבר. בדרך זו, Adadelta ממשיכה ללמוד גם כאשר נעשו עדכונים רבים. בהשוואה לאדגרד, בגרסה המקורית של Adadelta לא צריך להגדיר קצב למידה ראשוני. בגרסה זו, ניתן להגדיר את קצב הלמידה הראשוני, כמו ברוב מייעלים אחרים.

לפי סעיף 4.3 ("שיעורי למידה אפקטיביים"), לקראת סוף האימון מתכנסים גדלי הצעדים ל-1 שהוא למעשה שיעור למידה גבוה שיגרום לסטייה. זה מתרחש רק לקראת סוף האימון מכיוון שהשיפועים וגדלי הצעדים קטנים, וקבוע האפסילונים במונה ובמכנה שולט בהדרגות העבר ועדכוני פרמטרים שמכנסים את קצב הלמידה ל-1.

לפי סעיף 4.4 ("נתוני דיבור"), שבו אומנה רשת עצבית גדולה עם 4 שכבות נסתרות על קורפוס של נתונים באנגלית אמריקאית, נעשה שימוש ב-ADADELTA עם 100 העתקי רשת. האפסילון המשמש הוא 1e-6 עם rho=0.95 אשר התכנס מהר יותר מ-ADAGRAD, על ידי הבנייה הבאה: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);

ראה גם

• Zeiler, M., 2012 ADADELTA: An Adaptive Learning Rate Method

קבועים

חוּט	מַצבֵּר
חוּט	ACCUMULATOR_UPDATE
לָצוּף	EPSILON_DEFAULT
לָצוּף	LEARNING_RATE_DEFAULT
לָצוּף	RHO_DEFAULT

קבועים בירושה

מכיתה org.tensorflow.framework.optimizers.Optimizer

חוּט

VARIABLE_V2

בונים ציבוריים

	AdaDelta ( גרף גרף)
	AdaDelta ( גרף גרף, Float learningRate) יוצר AdaDelta Optimizer
	AdaDelta ( גרף גרף, float learningRate, float rho, float epsilon) יוצר AdaDelta Optimizer
	AdaDelta (גרף גרף , שם מחרוזת, Float learningRate) יוצר AdaDelta Optimizer
	AdaDelta (גרף גרף , שם מחרוזת, float learningRate, float rho, float epsilon) יוצר AdaDelta Optimizer

שיטות ציבוריות

חוּט	getOptimizerName () קבל את השם של מייעל האופטימיזציה.
חוּט	toString ()

שיטות בירושה

מכיתה org.tensorflow.framework.optimizers.Optimizer

אופ	applicationGradients (רשימה< GradAndVar <? מרחיבה את TType >> gradsAndVars, שם מחרוזת) מחיל שיפועים על משתנים
<T מרחיב את TType > List< GradAndVar <?>>	computeGradients (אובדן Operand <?>) מחשב את ההדרגות על סמך אופרנד הפסד.
מחרוזת סטטית	createName ( פלט <? מרחיב TType > משתנה, String slotName) יוצר שם על ידי שילוב של שם משתנה ושם משבצת
מחרוזת מופשטת	getOptimizerName () קבל את השם של מייעל האופטימיזציה.
<T מרחיב את TType > אופציונלי< משתנה <T>>	getSlot ( פלט <T> var, String slotName) מקבל את המשבצת המשויכת למשתנה ולשם המשבצת שצוינו.
אופס אחרון	getTF () מקבל את מופע ה-Ops של האופטימיזציה
אופ	מזעור (אובדן אופרנד <?>) ממזער את ההפסד על ידי עדכון המשתנים
אופ	מזעור (אובדן אופרנד <?>, שם מחרוזת) ממזער את ההפסד על ידי עדכון המשתנים

מכיתה java.lang.Object

בוליאני	שווה (Object arg0)
שיעור אחרון<?>	getClass ()
int	hashcode ()
ריק סופי	להודיע ​​()
ריק סופי	הודע הכל ()
חוּט	toString ()
ריק סופי	המתן (ארג0 ארוך, int arg1)
ריק סופי	חכה (ארג0 ארוך)
ריק סופי	חכה ()

קבועים

מחרוזת סופית סטטית ציבורית ACCUMULATOR

ערך קבוע: "accum"

מחרוזת סופית סטטית ציבורית ACCUMULATOR_UPDATE

ערך קבוע: "accum_update"

ציפה סופית סטטית ציבורית EPSILON_DEFAULT

ערך קבוע: 1.0E-7

ציפה סופית סטטית ציבורית LEARNING_RATE_DEFAULT

ערך קבוע: 0.001

ציפה סופית סטטית ציבורית RHO_DEFAULT

ערך קבוע: 0.95

בונים ציבוריים

AdaDelta ציבורי ( גרף גרף)

AdaDelta ציבורי ( גרף גרף, Float learningRate)

יוצר AdaDelta Optimizer

פרמטרים

גרָף	גרף TensorFlow
קצב למידה	קצב הלמידה

AdaDelta ציבורי ( גרף גרף, float learningRate, float rho, float epsilon)

יוצר AdaDelta Optimizer

פרמטרים

גרָף	גרף TensorFlow
קצב למידה	קצב הלמידה
rho	גורם הריקבון
אפסילון	אפסילון קבוע המשמש להתניה טובה יותר של עדכון הגראד

AdaDelta ציבורי ( גרף גרף , שם מחרוזת, Float learningRate)

יוצר AdaDelta Optimizer

פרמטרים

גרָף	גרף TensorFlow
שֵׁם	השם של כלי האופטימיזציה הזה (ברירת המחדל היא 'Adadelta')
קצב למידה	קצב הלמידה

Public AdaDelta (גרף גרף , שם מחרוזת, float learningRate, float rho, float epsilon)

יוצר AdaDelta Optimizer

פרמטרים

גרָף	גרף TensorFlow
שֵׁם	השם של כלי האופטימיזציה הזה (ברירת המחדל היא 'Adadelta')
קצב למידה	קצב הלמידה
rho	גורם הריקבון
אפסילון	אפסילון קבוע המשמש להתניה טובה יותר של עדכון הגראד

שיטות ציבוריות

מחרוזת ציבורית getOptimizerName ()

קבל את השם של מייעל האופטימיזציה.

החזרות

• שם האופטימיזציה.

מחרוזת ציבורית למחרוזת ()