Layer Normalization

Layer Normalization (Katman Normalizasyonu), bir sinir ağındaki aktivasyonları belirli bir örnek/tokenın özellik boyutları boyunca normalize ederek eğitim sürecini daha kararlı hâle getiren normalizasyon yöntemidir. Transformer mimarisinin temel bileşenlerinden biridir ve genellikle Attention, FFN ve Residual Connection yapılarıyla birlikte kullanılır.

Nasıl çalışır?

Bir tokenın temsilinin:$$x=(x_1,x_2,…,x_d)$$

olduğunu düşünelim. Öncelikle bu özelliklerin ortalaması hesaplanır:$$\mu=\frac{1}{d}\sum_{i=1}^{d}x_i$$

Ardından varyans:$$\sigma^2=\frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2$$

hesaplanır. Normalize edilmiş değer:$$\hat{x}_i=\frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}}$$

şeklindedir. Son olarak öğrenilebilir scale (γ\gamma) ve shift (β\beta) parametreleri uygulanır:$$y_i=\gamma_i\hat{x}_i+\beta_i$$

Böylece model yalnızca normalize edilmiş değerlerle sınırlı kalmaz; eğitim sırasında uygun ölçek ve kaydırmayı da öğrenebilir.

Transformer’da neden kullanılır?

Transformer’lar çok sayıda katmandan oluşabilir. Her katmanda:

Attention → Residual → FFN → Residual

gibi işlemler tekrarlandıkça aktivasyonların dağılımları değişebilir. Layer Normalization bu temsilleri kontrol altında tutarak:

• eğitim kararlılığını artırmaya,
• optimizasyonu kolaylaştırmaya,
• derin ağlarda gradyan akışını desteklemeye,
• aktivasyon ölçeklerinin aşırı değişmesini azaltmaya

yardımcı olur.

Batch Normalization’dan farkı nedir?

Layer Normalization ile Batch Normalization aynı değildir.

Özellik	Layer Normalization	Batch Normalization
Normalizasyon	Örnek/tokenın özellikleri üzerinden	Batch içindeki örnekler üzerinden
Batch büyüklüğüne bağımlılık	Düşük/yok	Var
Transformer’larda	Çok yaygın	Daha az yaygın
NLP/LLM	Özellikle uygun	Genellikle tercih edilmez

Layer Normalization’ın batch istatistiklerine ihtiyaç duymaması, değişken uzunluklu diziler ve autoregressive modeller açısından kullanışlıdır.

Pre-Norm ve Post-Norm

Transformer mimarilerinde Layer Normalization’ın nereye yerleştirildiği önemlidir. Post-Norm yaklaşımında klasik olarak:$$y=LayerNorm(x+Attention(x))$$

şeklinde çalışılır. Yani:

Attention → Residual Addition → LayerNorm

Orijinal 2017 Transformer mimarisinde bu yaklaşım kullanılmıştır.

Pre-Norm yaklaşımında ise:$$y=x+Attention(LayerNorm(x))$$

şeklinde Layer Normalization alt katmandan önce uygulanır:

LayerNorm → Attention → Residual Addition

Birçok modern derin Transformer mimarisinde Pre-Norm veya onun varyantları, eğitim kararlılığı açısından tercih edilebilir.

Modern LLM’lerde durum

Günümüzde her model klasik LayerNorm kullanmaz. Bazı modern LLM’lerde RMSNorm gibi alternatif normalizasyon yöntemleri tercih edilmektedir. RMSNorm, klasik LayerNorm’dan farklı olarak ortalamayı çıkarma işlemini kullanmaz; temsilleri esas olarak root mean square değerine göre ölçeklendirir. Bu nedenle “bütün LLM’ler LayerNorm kullanır” demek doğru değildir.

Residual Connection ile ilişkisi

Layer Normalization ve Residual Connection birbirini tamamlayan ancak farklı görevleri olan yapılardır:

• Residual Connection: Bilginin doğrudan ilerlemesini sağlar.
• Layer Normalization: Temsillerin ölçeğini normalize eder.

Kısaca: Layer Normalization, Transformer’da bir tokenın gizli temsilindeki özellikleri kendi içinde normalize ederek ağın daha kararlı ve etkin biçimde eğitilmesine yardımcı olan normalizasyon mekanizmasıdır. En kısa formuyla:

LayerNorm = Normalize Et → Öğrenilebilir Ölçekle → Öğrenilebilir Kaydır → Daha Kararlı Temsil Oluştur.