Kıdemli bir veri bilimcisine göre, Stokastik Gradyan İnişi kullanmanın belirgin avantajlarından biri hesaplamaları gradyan iniş ve toplu gradyan inişten daha hızlı yapmasıdır … Ayrıca, büyük veri kümeleri, stokastik gradyan inişi, güncellemeleri daha sık gerçekleştirdiği için daha hızlı birleşebilir.
Stokastik Gradyan İnişi ne için kullanılır?
Stokastik gradyan inişi, tahmin edilen ve gerçek çıktılar arasında en iyi uyuma karşılık gelen model parametrelerini bulmak için makine öğrenimi uygulamalarında sıklıkla kullanılan bir optimizasyon algoritmasıdır Kesin olmayan ancak güçlü bir tekniktir. Stokastik gradyan inişi, makine öğrenimi uygulamalarında yaygın olarak kullanılmaktadır.
Neden bir evrişimli sinir ağını eğitmek için standart gradyan inişi yerine Stokastik Gradyan İnişi kullanmamız gerekiyor?
Stokastik gradyan inişi her gözlem için parametreleri günceller, bu da daha fazla sayıda güncellemeye yol açar. Bu yüzden daha hızlı karar vermeye yardımcı olan daha hızlı bir yaklaşımdır. Bu animasyonda farklı yönlerde daha hızlı güncellemeler fark edilebilir.
Neden eğimli inişi tercih ediyoruz?
Doğrusal regresyon için gradyan inişinin kullanılmasının ana nedeni hesaplama karmaşıklığıdır: Bazı durumlarda gradyan inişini kullanarak çözümü bulmak hesaplama açısından daha ucuzdur (daha hızlıdır). Burada, X'X matrisini hesaplamanız ve ardından onu ters çevirmeniz gerekir (aşağıdaki nota bakın). Bu pahalı bir hesaplama.
SGD neden kullanılır?
Stokastik gradyan inişi (genellikle SGD olarak kıs altılır) uygun düzgünlük özelliklerine sahip bir amaç fonksiyonunu optimize etmek için yinelemeli bir yöntemdir (örneğin, türevlenebilir veya alt türevlenebilir).
