Adam -(Adaptive Moment Estimation)

Adam (Adaptive Moment Estimation), derin öğrenmede en yaygın kullanılan optimizasyon algoritmalarından biridir. İlk kez Kingma ve Ba (2015) tarafından geliştirilen Adam, klasik Stochastic Gradient Descent (SGD) yönteminin hızını ve kararlılığını artırmak amacıyla tasarlanmıştır. Algoritma, her parametre için öğrenme oranını (learning rate) dinamik olarak ayarlayarak modelin daha hızlı yakınsamasını (convergence) ve daha düşük hata değerlerine ulaşmasını sağlar. Özellikle büyük veri kümeleri ve milyonlarca hatta milyarlarca parametre içeren derin sinir ağlarında yüksek performans göstermesi nedeniyle günümüzde akademik çalışmaların ve endüstriyel yapay zekâ uygulamalarının büyük bölümünde varsayılan optimizasyon algoritmalarından biri olarak kullanılmaktadır.

Adam algoritmasının temel özelliği, gradyanların hem birinci momentini (momentum) hem de ikinci momentini (varyans) birlikte kullanmasıdır. Birinci moment, geçmiş gradyanların üstel hareketli ortalamasını hesaplayarak öğrenme sürecindeki yön bilgisini korurken; ikinci moment, gradyanların karelerinin ortalamasını hesaplayarak her parametre için uygun güncelleme büyüklüğünü belirler. Böylece Adam, büyük gradyanların neden olduğu kararsızlığı azaltırken küçük gradyanlara sahip parametrelerin de etkili biçimde öğrenmesini sağlar. Ayrıca algoritma, eğitimin ilk adımlarında oluşan yanlılığı (bias) gidermek amacıyla bias correction (yanlılık düzeltmesi) mekanizmasını kullanır. Bu özellikler sayesinde Adam, farklı ölçeklerdeki parametreleri aynı anda etkin biçimde optimize edebilir.

Adam algoritması; evrişimsel sinir ağları (Convolutional Neural Networks – CNN), tekrarlayan sinir ağları (Recurrent Neural Networks – RNN), Transformer modelleri, büyük dil modelleri (Large Language Models – LLM) ve üretken yapay zekâ (Generative AI) sistemleri dâhil olmak üzere modern derin öğrenme mimarilerinin büyük bölümünde kullanılmaktadır. Özellikle doğal dil işleme (Natural Language Processing – NLP), bilgisayarlı görü (Computer Vision), konuşma tanıma ve öneri sistemleri gibi alanlarda başarılı sonuçlar vermektedir. Bununla birlikte bazı araştırmalar, Adam’ın belirli problemlerde SGD with Momentum algoritmasına göre daha düşük genelleme performansı gösterebildiğini ortaya koymuştur. Bu nedenle son yıllarda AdamW, Nadam, AdaBelief ve Lion gibi geliştirilmiş optimizasyon algoritmaları önerilmiştir. Buna rağmen Adam; hızlı yakınsaması, düşük bellek gereksinimi, hiperparametrelere karşı görece dayanıklı yapısı ve geniş uygulama alanı sayesinde günümüzde derin öğrenme modellerinin eğitiminde en çok tercih edilen optimizasyon algoritmalarından biri olmayı sürdürmektedir.

Kaynak

Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. Proceedings of the 3rd International Conference on Learning Representations (ICLR).