Backpropagation – (Geri Yayılım)

Backpropagation (Geri Yayılım), yapay sinir ağlarının öğrenmesini sağlayan temel eğitim algoritmasıdır. Algoritmanın temel amacı, modelin ürettiği tahmin ile gerçek çıktı arasındaki farkı ifade eden kayıp fonksiyonunu (loss function) en aza indirecek şekilde ağdaki ağırlık (weight) ve bias parametrelerini güncellemektir. Backpropagation, ileri besleme (forward propagation) aşamasında hesaplanan hatayı ağın çıkış katmanından giriş katmanına doğru geriye ileterek her parametrenin bu hataya ne ölçüde katkıda bulunduğunu belirler. Böylece model, yaptığı hatalardan öğrenerek zaman içinde daha doğru tahminler üretmeye başlar. Günümüzde derin öğrenmenin başarısının temelinde yer alan en önemli algoritmalardan biri olarak kabul edilmektedir.

Backpropagation iki temel aşamadan oluşur. İlk aşama olan ileri besleme (forward propagation) sürecinde giriş verileri ağ boyunca işlenir ve model bir çıktı üretir. Daha sonra tahmin edilen değer ile gerçek değer arasındaki fark, kayıp fonksiyonu kullanılarak hesaplanır. İkinci aşama olan geri yayılım (backward propagation) sürecinde ise bu hata, zincir kuralı (chain rule) kullanılarak ağ boyunca geriye doğru aktarılır ve her ağırlık ile bias parametresi için gradyan (gradient) hesaplanır. Hesaplanan gradyanlar, Gradient Descent, Stochastic Gradient Descent (SGD), Adam, RMSprop veya AdamW gibi optimizasyon algoritmaları tarafından kullanılarak parametreler güncellenir. Bu işlem her iterasyonda tekrar edilir ve model, her eğitim döngüsünde (epoch) daha düşük hata değerlerine ulaşmaya çalışır.

Backpropagation; evrişimsel sinir ağları (Convolutional Neural Networks – CNN), tekrarlayan sinir ağları (Recurrent Neural Networks – RNN), Transformer modelleri, büyük dil modelleri (Large Language Models – LLM) ve üretken yapay zekâ (Generative AI) sistemleri dâhil olmak üzere modern yapay sinir ağı mimarilerinin tamamında kullanılan temel öğrenme mekanizmasıdır. Ancak çok derin ağlarda geri yayılım sırasında gradyanların aşırı küçülmesi (vanishing gradient) veya aşırı büyümesi (exploding gradient) gibi problemler ortaya çıkabilmektedir. Bu sorunları azaltmak amacıyla ReLU ve GELU gibi aktivasyon fonksiyonları, Batch Normalization, Residual Connections (ResNet) ve gelişmiş optimizasyon algoritmaları kullanılmaktadır. Günümüzde milyarlarca parametreye sahip büyük dil modellerinin eğitimi dahi temelde Backpropagation algoritmasına dayanmaktadır. Dolayısıyla geri yayılım, yapay sinir ağlarının deneyimden öğrenmesini sağlayan ve modern yapay zekâ teknolojilerinin gelişimini mümkün kılan en önemli algoritmalardan biri olarak değerlendirilmektedir.

Kaynak

Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.