AdaDelta

genel sınıf AdaDelta

Adadelta algoritmasını uygulayan optimizer.

Adadelta optimizasyonu, iki dezavantajı ele almak üzere boyut başına uyarlanabilir öğrenme oranına dayanan stokastik bir gradyan iniş yöntemidir:

• eğitim boyunca öğrenme oranlarının sürekli azalması
• manuel olarak seçilmiş bir küresel öğrenme oranına duyulan ihtiyaç

Adadelta, geçmiş tüm degradeleri biriktirmek yerine, öğrenme oranlarını hareketli bir degrade güncellemeleri penceresine göre uyarlayan, Adagrad'ın daha sağlam bir uzantısıdır. Bu sayede Adadelta birçok güncelleme yapılsa bile öğrenmeye devam eder. Adagrad'la karşılaştırıldığında Adadelta'nın orijinal versiyonunda başlangıç ​​öğrenme oranını ayarlamanıza gerek yoktur. Bu versiyonda, diğer optimizasyon programlarının çoğunda olduğu gibi, başlangıç ​​öğrenme hızı ayarlanabilir.

Bölüm 4.3'e ("Etkili Öğrenme oranları") göre, eğitimin sonuna doğru adım boyutları 1'e yaklaşır; bu da, farklılığa neden olabilecek yüksek bir öğrenme oranıdır. Gradyanlar ve adım boyutları küçük olduğundan ve pay ve paydadaki epsilon sabiti, öğrenme oranını 1'e yakınsayan geçmiş gradyanlara ve parametre güncellemelerine hakim olduğundan, bu yalnızca eğitimin sonuna doğru gerçekleşir.

4 gizli katmana sahip büyük bir sinir ağının ABD İngilizcesi verilerinden oluşan bir derleme üzerinde eğitildiği bölüm 4.4'e ("Konuşma Verileri") göre, 100 ağ kopyasıyla ADAELTA kullanıldı. Kullanılan epsilon, rho=0,95 ile 1e-6'dır. aşağıdaki yapıyla ADAGRAD'dan daha hızlı yakınsamıştır: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);

Ayrıca bakınız

• Zeiler, M., 2012 ADADELTA: Uyarlanabilir Bir Öğrenme Oranı Yöntemi

Sabitler

Sicim	AKÜMÜLATÖR
Sicim	ACCUMULATOR_UPDATE
batmadan yüzmek	EPSILON_DEFAULT
batmadan yüzmek	LEARNING_RATE_DEFAULT
batmadan yüzmek	RHO_DEFAULT

Devralınan Sabitler

org.tensorflow.framework.optimizers.Optimizer sınıfından

Sicim

DEĞİŞKEN_V2

Kamu İnşaatçıları

	AdaDelta ( Grafik grafiği)
	AdaDelta ( Grafik grafiği, değişken öğrenme oranı) Bir AdaDelta Optimize Edici oluşturur
	AdaDelta ( Grafik grafiği, float öğrenme oranı, float rho, float epsilon) Bir AdaDelta Optimize Edici oluşturur
	AdaDelta ( Grafik grafiği, Dize adı, kayan öğrenme Hızı) Bir AdaDelta Optimize Edici oluşturur
	AdaDelta ( Grafik grafiği, Dize adı, kayan öğrenme Oranı, kayan nokta rho, kayan epsilon) Bir AdaDelta Optimize Edici oluşturur

Genel Yöntemler

Sicim	getOptimizerName () Optimize edicinin Adını alın.
Sicim	toString ()

Kalıtsal Yöntemler

org.tensorflow.framework.optimizers.Optimizer sınıfından

Operasyon	ApplyGradients (Liste< GradAndVar <?, TType >> gradsAndVars, Dize adını genişletir) Değişkenlere degradeler uygular
<T extends TType > Listele< GradAndVar <?>>	computeGradients ( İşlenen <?> kaybı) Kayıp işlenenine göre gradyanları hesaplar.
statik Dize	createName ( Output <? extends TType > değişken, String slotName) Bir değişken adı ile yuva adını birleştirerek bir ad oluşturur
soyut Dize	getOptimizerName () Optimize edicinin Adını alın.
<T TType'ı genişletir > İsteğe bağlı< Değişken <T>>	getSlot ( Output <T> var, String slotName) Belirtilen değişken ve yuva adıyla ilişkili yuvayı alır.
son Operasyonlar	getTF () Optimizer'ın Ops örneğini alır
Operasyon	en aza indir ( İşlenen <?> kaybı) Değişkenleri güncelleyerek kaybı en aza indirir
Operasyon	simge durumuna küçült ( İşlenen <?> kaybı, Dize adı) Değişkenleri güncelleyerek kaybı en aza indirir

Java.lang.Object sınıfından

boolean	eşittir (Nesne arg0)
son Sınıf<?>	getClass ()
int	hash kodu ()
son boşluk	bildir ()
son boşluk	tümünü bildir ()
Sicim	toString ()
son boşluk	bekle (uzun arg0, int arg1)
son boşluk	bekle (uzun arg0)
son boşluk	Beklemek ()

Sabitler

genel statik final Dize AKÜMÜLATÖRÜ

Sabit Değer: "birikim"

genel statik son Dize ACCUMULATOR_UPDATE

Sabit Değer: "accum_update"

genel statik son kayan nokta EPSILON_DEFAULT

Sabit Değer: 1.0E-7

genel statik son kayan nokta LEARNING_RATE_DEFAULT

Sabit Değer: 0,001

genel statik son kayan nokta RHO_DEFAULT

Sabit Değer: 0,95

Kamu İnşaatçıları

genel AdaDelta ( Grafik grafiği)

public AdaDelta ( Grafik grafiği, değişken öğrenme oranı)

Bir AdaDelta Optimize Edici oluşturur

Parametreler

grafik	TensorFlow Grafiği
öğrenme oranı	öğrenme oranı

public AdaDelta ( Grafik grafiği, float öğrenme oranı, float rho, float epsilon)

Bir AdaDelta Optimize Edici oluşturur

Parametreler

grafik	TensorFlow Grafiği
öğrenme oranı	öğrenme oranı
ro	Çürüme faktörü
epsilon	Grad güncellemesini daha iyi koşullandırmak için kullanılan sabit bir epsilon

public AdaDelta ( Grafik grafiği, Dize adı, kayan öğrenme Hızı)

Bir AdaDelta Optimize Edici oluşturur

Parametreler

grafik	TensorFlow Grafiği
isim	bu Optimize Edicinin adı (varsayılanı 'Adadelta'dır)
öğrenme oranı	öğrenme oranı

public AdaDelta ( Grafik grafiği, Dize adı, float öğrenme Hızı, float rho, float epsilon)

Bir AdaDelta Optimize Edici oluşturur

Parametreler

grafik	TensorFlow Grafiği
isim	bu Optimize Edicinin adı (varsayılanı 'Adadelta'dır)
öğrenme oranı	öğrenme oranı
ro	Çürüme faktörü
epsilon	Grad güncellemesini daha iyi koşullandırmak için kullanılan sabit bir epsilon

Genel Yöntemler

public String getOptimizerName ()

Optimize edicinin Adını alın.

İadeler

• Optimize edici adı.

public String toString ()