LSTM'ler, unutma geçidinin aktivasyonlarına doğrudan erişim içeren benzersiz bir ek gradyan yapısı kullanarak sorunu çözer ve ağın sık kapı güncellemesini kullanarak hata gradyanından istenen davranışı teşvik etmesini sağlar öğrenme sürecinin her adımında.
LSTM patlayan gradyanı nasıl çözer?
Çok kısa bir cevap: LSTM hücre durumunu (tipik olarak c ile gösterilir) ve gizli katmanı/çıktıyı (tipik olarak h ile gösterilir) ayırır ve yalnızca c'ye ek güncellemeler yapar, bu da c'deki anıları daha kararlı hale getirir. Böylece, c'den geçen gradyan akışı korunur ve kaybolması zordur (bu nedenle genel gradyanın kaybolması zordur).
Kaybolan gradyan sorunu nasıl çözülebilir?
Çözümler: En basit çözüm, küçük bir türev oluşturmayan ReLU gibi diğer etkinleştirme işlevlerini kullanmaktır. Artık ağlar, doğrudan önceki katmanlara artık bağlantılar sağladıklarından başka bir çözümdür.
LSTM hangi sorunu çözüyor?
LSTM'ler. LSTM (uzun kısa süreli belleğin kıs altması) öncelikle geri yayılımdaki kaybolan gradyan problemini çözer. LSTM'ler, not alma sürecini kontrol eden bir geçit mekanizması kullanır. LSTM'lerdeki bilgiler, açılıp kapanan kapılar aracılığıyla saklanabilir, yazılabilir veya okunabilir.
LSTM'ler neden degradelerinizin geri geçişten bir görünümü yok etmesini engeller?
Bunun nedeni, bu sürekli hata akışını zorlamak için, gradyan hesaplamasının girişe veya aday kapılara geri akmaması için kıs altılmasıdır.
