AdaDelta

genel sınıf AdaDelta

Adadelta algoritmasını uygulayan optimizer.

Adadelta optimizasyonu, iki dezavantajı ele almak üzere boyut başına uyarlanabilir öğrenme oranına dayanan stokastik bir gradyan iniş yöntemidir:

  • eğitim boyunca öğrenme oranlarının sürekli azalması
  • manuel olarak seçilmiş bir küresel öğrenme oranına duyulan ihtiyaç

Adadelta, geçmiş tüm degradeleri biriktirmek yerine, öğrenme oranlarını hareketli bir degrade güncellemeleri penceresine göre uyarlayan, Adagrad'ın daha sağlam bir uzantısıdır. Bu sayede Adadelta birçok güncelleme yapılsa bile öğrenmeye devam eder. Adagrad'la karşılaştırıldığında Adadelta'nın orijinal versiyonunda başlangıç ​​öğrenme oranını ayarlamanıza gerek yoktur. Bu versiyonda, diğer optimizasyon programlarının çoğunda olduğu gibi, başlangıç ​​öğrenme hızı ayarlanabilir.

Bölüm 4.3'e ("Etkili Öğrenme oranları") göre, eğitimin sonuna doğru adım boyutları 1'e yaklaşır; bu da, farklılığa neden olabilecek yüksek bir öğrenme oranıdır. Gradyanlar ve adım boyutları küçük olduğundan ve pay ve paydadaki epsilon sabiti, öğrenme oranını 1'e yakınsayan geçmiş gradyanlara ve parametre güncellemelerine hakim olduğundan, bu yalnızca eğitimin sonuna doğru gerçekleşir.

4 gizli katmana sahip büyük bir sinir ağının ABD İngilizcesi verilerinden oluşan bir derleme üzerinde eğitildiği bölüm 4.4'e ("Konuşma Verileri") göre, 100 ağ kopyasıyla ADAELTA kullanıldı. Kullanılan epsilon, rho=0,95 ile 1e-6'dır. aşağıdaki yapıyla ADAGRAD'dan daha hızlı yakınsamıştır: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);

Ayrıca bakınız

Sabitler

Sicim AKÜMÜLATÖR
Sicim ACCUMULATOR_UPDATE
batmadan yüzmek EPSILON_DEFAULT
batmadan yüzmek LEARNING_RATE_DEFAULT
batmadan yüzmek RHO_DEFAULT

Devralınan Sabitler

Kamu İnşaatçıları

AdaDelta ( Grafik grafiği)
AdaDelta ( Grafik grafiği, değişken öğrenme oranı)
Bir AdaDelta Optimize Edici oluşturur
AdaDelta ( Grafik grafiği, float öğrenme oranı, float rho, float epsilon)
Bir AdaDelta Optimize Edici oluşturur
AdaDelta ( Grafik grafiği, Dize adı, kayan öğrenme Hızı)
Bir AdaDelta Optimize Edici oluşturur
AdaDelta ( Grafik grafiği, Dize adı, kayan öğrenme Oranı, kayan nokta rho, kayan epsilon)
Bir AdaDelta Optimize Edici oluşturur

Genel Yöntemler

Sicim
getOptimizerName ()
Optimize edicinin Adını alın.
Sicim
toString ()

Kalıtsal Yöntemler

Sabitler

genel statik final Dize AKÜMÜLATÖRÜ

Sabit Değer: "birikim"

genel statik son Dize ACCUMULATOR_UPDATE

Sabit Değer: "accum_update"

genel statik son kayan nokta EPSILON_DEFAULT

Sabit Değer: 1.0E-7

genel statik son kayan nokta LEARNING_RATE_DEFAULT

Sabit Değer: 0,001

genel statik son kayan nokta RHO_DEFAULT

Sabit Değer: 0,95

Kamu İnşaatçıları

genel AdaDelta ( Grafik grafiği)

public AdaDelta ( Grafik grafiği, değişken öğrenme oranı)

Bir AdaDelta Optimize Edici oluşturur

Parametreler
grafik TensorFlow Grafiği
öğrenme oranı öğrenme oranı

public AdaDelta ( Grafik grafiği, float öğrenme oranı, float rho, float epsilon)

Bir AdaDelta Optimize Edici oluşturur

Parametreler
grafik TensorFlow Grafiği
öğrenme oranı öğrenme oranı
ro Çürüme faktörü
epsilon Grad güncellemesini daha iyi koşullandırmak için kullanılan sabit bir epsilon

public AdaDelta ( Grafik grafiği, Dize adı, kayan öğrenme Hızı)

Bir AdaDelta Optimize Edici oluşturur

Parametreler
grafik TensorFlow Grafiği
isim bu Optimize Edicinin adı (varsayılanı 'Adadelta'dır)
öğrenme oranı öğrenme oranı

public AdaDelta ( Grafik grafiği, Dize adı, float öğrenme Hızı, float rho, float epsilon)

Bir AdaDelta Optimize Edici oluşturur

Parametreler
grafik TensorFlow Grafiği
isim bu Optimize Edicinin adı (varsayılanı 'Adadelta'dır)
öğrenme oranı öğrenme oranı
ro Çürüme faktörü
epsilon Grad güncellemesini daha iyi koşullandırmak için kullanılan sabit bir epsilon

Genel Yöntemler

public String getOptimizerName ()

Optimize edicinin Adını alın.

İadeler
  • Optimize edici adı.

public String toString ()