بهینه ساز که الگوریتم Adam را پیاده سازی می کند.
بهینهسازی آدام یک روش نزولی گرادیان تصادفی است که مبتنی بر تخمین تطبیقی گشتاورهای مرتبه اول و دوم است.
طبق گفته کینگما و همکاران، 2014، این روش "از نظر محاسباتی کارآمد است، نیاز به حافظه کمی دارد، نسبت به مقیاس مجدد مورب گرادیان ها ثابت است، و برای مسائلی که از نظر داده/پارامترها بزرگ هستند، مناسب است".
کینگما و همکاران، 2014، آدام: روشی برای بهینهسازی تصادفی را ببینید.
ثابت ها
شناور | BETA_ONE_DEFAULT | |
شناور | BETA_TWO_DEFAULT | |
شناور | EPSILON_DEFAULT | |
رشته | FIRST_MOMENT | |
شناور | LEARNING_RATE_DEFAULT | |
رشته | SECOND_MOMENT |
ثابت های ارثی
سازندگان عمومی
روش های عمومی
static <T گسترش TType > Op | createAdamMinimize ( دامنه دامنه ، عملوند <T> از دست دادن، نرخ یادگیری شناور، float betaOne، float betaTwo، اپسیلون شناور، گزینهها... گزینهها) عملیاتی را ایجاد می کند که ضرر را به حداقل می رساند |
رشته | getOptimizerName () نام بهینه ساز را دریافت کنید. |
رشته | toString () |
روش های ارثی
ثابت ها
شناور نهایی استاتیک عمومی BETA_ONE_DEFAULT
شناور نهایی ثابت عمومی BETA_TWO_DEFAULT
شناور نهایی استاتیک عمومی EPSILON_DEFAULT
رشته نهایی ثابت عمومی FIRST_MOMENT
شناور نهایی ثابت عمومی LEARNING_RATE_DEFAULT
رشته نهایی ثابت عمومی SECOND_MOMENT
سازندگان عمومی
عمومی آدام ( گراف نمودار، نرخ یادگیری شناور)
یک بهینه ساز Adam ایجاد می کند
مولفه های
نمودار | نمودار TensorFlow |
---|---|
نرخ یادگیری | میزان یادگیری |
عمومی آدام ( گراف نمودار، نرخ یادگیری شناور، شناور betaOne، float betaTwo، اپسیلون شناور)
یک بهینه ساز Adam ایجاد می کند
مولفه های
نمودار | نمودار TensorFlow |
---|---|
نرخ یادگیری | میزان یادگیری |
betaOne | نرخ فروپاشی نمایی برای لحظه 1 تخمین می زند. پیشفرض 0.9 است. |
betaTwo | نرخ فروپاشی نمایی برای لحظه دوم تخمین می زند. پیشفرض 0.999 است. |
اپسیلون | یک ثابت کوچک برای ثبات عددی. این اپسیلون در مقاله Kingma و Ba (در فرمول درست قبل از بخش 2.1) "کلاه اپسیلون" است، نه اپسیلون در الگوریتم 1 مقاله. پیشفرض 1e-8 است. |
عمومی Adam ( گراف نمودار، نام رشته، نرخ یادگیری شناور)
یک بهینه ساز Adam ایجاد می کند
مولفه های
نمودار | نمودار TensorFlow |
---|---|
نام | نام بهینه ساز، پیش فرض روی "آدام" است |
نرخ یادگیری | میزان یادگیری |
عمومی آدام ( گراف نمودار، نام رشته، نرخ یادگیری شناور، بتای شناور، بتای شناور، دو، اپسیلون شناور)
یک بهینه ساز Adam ایجاد می کند
مولفه های
نمودار | نمودار TensorFlow |
---|---|
نام | نام بهینه ساز، پیش فرض روی "آدام" است |
نرخ یادگیری | میزان یادگیری |
betaOne | نرخ فروپاشی نمایی برای لحظه 1 تخمین می زند. پیشفرض 0.9 است. |
betaTwo | نرخ فروپاشی نمایی برای لحظه دوم تخمین می زند. پیشفرض 0.999 است. |
اپسیلون | یک ثابت کوچک برای ثبات عددی. این اپسیلون در مقاله Kingma و Ba (در فرمول درست قبل از بخش 2.1) "کلاه اپسیلون" است، نه اپسیلون در الگوریتم 1 مقاله. پیشفرض 1e-8 است. |
روش های عمومی
عمومی static Op createAdamMinimize ( دامنه دامنه ، عملوند <T> از دست دادن، نرخ یادگیری شناور، شناور betaOne، float betaTwo، اپسیلون شناور، گزینهها... گزینهها)
عملیاتی را ایجاد می کند که ضرر را به حداقل می رساند
مولفه های
محدوده | محدوده TensorFlow |
---|---|
ضرر - زیان | ضرر برای به حداقل رساندن |
نرخ یادگیری | میزان یادگیری |
betaOne | نرخ فروپاشی نمایی برای لحظه 1 تخمین می زند. |
betaTwo | نرخ فروپاشی نمایی برای لحظه دوم تخمین می زند. |
اپسیلون | یک ثابت کوچک برای ثبات عددی. این اپسیلون در مقاله Kingma و Ba (در فرمول درست قبل از بخش 2.1) "کلاه اپسیلون" است، نه اپسیلون در الگوریتم 1 مقاله. |
گزینه ها | ویژگی های اختیاری Optimizer |
برمی گرداند
- عملیاتی که ضرر را به حداقل می رساند
پرتاب می کند
IllegalArgumentException | اگر scope یک نمودار را نشان ندهد |
---|
رشته عمومی getOptimizerName ()
نام بهینه ساز را دریافت کنید.
برمی گرداند
- نام بهینه ساز