SGD (Stochastic Gradient Descent) – (Stokastik Gradyan İnişi)

Stochastic Gradient Descent (SGD), makine öğrenmesi ve derin öğrenmede model parametrelerini güncelleyerek kayıp fonksiyonunu (loss function) en aza indirmeyi amaçlayan en temel optimizasyon algoritmalarından biridir. Klasik Gradient Descent algoritmasından farklı olarak SGD, her parametre güncellemesinde tüm eğitim veri kümesini kullanmak yerine tek bir eğitim örneğini veya küçük bir veri grubunu (mini batch) kullanır. Bu yaklaşım, hesaplama maliyetini önemli ölçüde azaltırken modelin büyük veri kümeleri üzerinde daha hızlı öğrenmesini sağlar. Günümüzde SGD, özellikle derin sinir ağlarının eğitiminde temel optimizasyon yöntemlerinden biri olarak kabul edilmekte ve birçok gelişmiş optimizasyon algoritmasının temelini oluşturmaktadır.

SGD algoritmasında eğitim süreci, her veri örneği veya mini batch için ayrı ayrı gerçekleştirilir. Model önce tahmin üretir, ardından tahmin ile gerçek değer arasındaki hata kayıp fonksiyonu kullanılarak hesaplanır. Geri yayılım (backpropagation) algoritması bu hatanın gradyanını belirler ve SGD, bu gradyan doğrultusunda ağırlık (weight) ve bias parametrelerini learning rate (öğrenme oranı) kadar günceller. Her güncelleme yalnızca eğitim verisinin küçük bir bölümüne dayandığından, parametreler optimum çözüme doğru daha sık ancak daha dalgalı adımlarla ilerler. Bu rastlantısal yapı, algoritmanın yerel minimumlardan (local minima) çıkmasına yardımcı olabilir ve bazı durumlarda daha iyi genelleme performansı elde edilmesini sağlayabilir. Bununla birlikte öğrenme sürecindeki dalgalanmalar, SGD’nin yakınsama hızını yavaşlatabilir. Bu sorunu azaltmak amacıyla geliştirilen Momentum, Nesterov Accelerated Gradient (NAG) ve SGD with Momentum gibi yöntemler, günümüzde yaygın biçimde kullanılmaktadır.

SGD; evrişimsel sinir ağları (Convolutional Neural Networks – CNN), tekrarlayan sinir ağları (Recurrent Neural Networks – RNN), Transformer modelleri ve büyük dil modelleri (Large Language Models – LLM) dâhil olmak üzere çok sayıda derin öğrenme mimarisinde kullanılmaktadır. Özellikle bilgisayarlı görü (Computer Vision) uygulamalarında ve çok büyük veri kümeleriyle gerçekleştirilen eğitimlerde yüksek genelleme başarısı nedeniyle sıklıkla tercih edilmektedir. Adaptif optimizasyon algoritmaları olan Adam, RMSprop ve Adagrad daha hızlı yakınsama sağlayabilse de, birçok araştırma SGD’nin özellikle uzun eğitim süreçlerinde daha iyi genelleme performansı gösterebildiğini ortaya koymuştur. Bu nedenle modern yapay zekâ çalışmalarında SGD, hem bağımsız bir optimizasyon algoritması hem de gelişmiş optimizasyon yöntemlerinin temelini oluşturan klasik ve güvenilir bir yaklaşım olarak önemini korumaktadır.

Kaynak

Robbins, H., & Monro, S. (1951). A stochastic approximation method. Annals of Mathematical Statistics, 22(3), 400–407.