Menghitung perambatan maju sel LSTM untuk 1 langkah waktu.
Implementasi ini menggunakan 1 matriks bobot dan 1 vektor bias, dan ada koneksi lubang intip opsional.
Op kernel ini alat berikut persamaan matematika:
xh = [x, h_prev]
[i, f, ci, o] = xh * w + b
f = f + forget_bias
if not use_peephole:
wci = wcf = wco = 0
i = sigmoid(cs_prev * wci + i)
f = sigmoid(cs_prev * wcf + f)
ci = tanh(ci)
cs = ci .* i + cs_prev .* f
cs = clip(cs, cell_clip)
o = sigmoid(cs * wco + o)
co = tanh(cs)
h = co .* o
Kelas Bersarang
kelas | LSTMBlockCell.Options | Atribut opsional untuk LSTMBlockCell |
Metode Publik
statis LSTMBlockCell.Options | cellClip (Lampung cellClip) |
Output <T> | ci () Masukan sel. |
Output <T> | co () Sel setelah tanh. |
statis <T meluas Nomor> LSTMBlockCell <T> | |
Output <T> | cs () Keadaan sel sebelum tanh. |
Output <T> | f () Gerbang lupa. |
statis LSTMBlockCell.Options | forgetBias (forgetBias Lampung) |
Output <T> | h () Vektor keluaran h. |
Output <T> | i () Gerbang masukan. |
Output <T> | o () Gerbang keluaran. |
statis LSTMBlockCell.Options | usePeephole (Boolean usePeephole) |
Metode yang Diwarisi
Metode Publik
public static LSTMBlockCell.Options cellClip (Lampung cellClip)
Parameter
selKlip | Nilai untuk memotong nilai 'cs'. |
---|
public static LSTMBlockCell <T> membuat ( Lingkup lingkup, Operan <T> x, Operan <T> csPrev, Operan <T> hPrev, Operan <T> w, Operan <T> WCI, Operan <T> WCF, Operan <T > WCO, Operan <T> b, Options ... pilihan)
Metode pabrik untuk membuat kelas yang membungkus operasi LSTMBlockCell baru.
Parameter
cakupan | lingkup saat ini |
---|---|
x | Input ke sel LSTM, bentuk (batch_size, num_inputs). |
csSebelumnya | Nilai status sel pada langkah waktu sebelumnya. |
hSebelumnya | Output dari sel sebelumnya pada langkah waktu sebelumnya. |
w | Matriks berat. |
wci | Matriks bobot untuk koneksi lubang intip gerbang input. |
wcf | Matriks bobot untuk koneksi lubang intip gerbang lupa. |
wco | Matriks bobot untuk koneksi lubang intip gerbang keluaran. |
B | Vektor bias. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru dari LSTMBlockCell
public static LSTMBlockCell.Options forgetBias (Lampung forgetBias)
Parameter
lupaBias | Bias gerbang lupa. |
---|
public static LSTMBlockCell.Options usePeephole (Boolean usePeephole)
Parameter
gunakan lubang intip | Apakah akan menggunakan pemberat lubang intip. |
---|