Residual Connection

Residual Connection (Artık/Bağlantı Atlama Bağlantısı), bir sinir ağı katmanına giren bilginin, katmanın gerçekleştirdiği dönüşümün çıktısına doğrudan eklenmesini sağlayan yapıdır. Transformer mimarisinde bilginin çok sayıda katman boyunca daha sağlıklı aktarılmasına ve derin ağların daha kararlı eğitilmesine yardımcı olur. Temel yapı şöyledir:$$y = x + F(x)$$

Burada:

• x: Katmana giren temsil
• F(x): Attention veya FFN gibi alt katmanın uyguladığı dönüşüm
• y: İkisinin toplamından oluşan çıktı

Nasıl çalışır?

Normal bir sinir ağı katmanında:$$x \rightarrow F(x) \rightarrow y$$

Residual Connection kullanıldığında ise giriş için doğrudan bir ek yol oluşturulur:$$x \rightarrow F(x)$$$$x \rightarrow \text{Doğrudan bağlantı}$$

ve sonuçta:$$y=x+F(x)$$

elde edilir. Yani model yalnızca tamamen yeni bir temsil üretmek yerine, mevcut temsili koruyup üzerine öğrenilmiş bir değişiklik ekleyebilir.

Neden “Residual” denir?

Buradaki temel fikir, ağın doğrudan hedef dönüşümün tamamını öğrenmesi yerine mevcut temsile eklenecek artık değişimi (residual) öğrenebilmesidir. Basitleştirirsek:

Eski Bilgi + Öğrenilen Değişiklik = Yeni Temsil

Örneğin:$$Yeni\ Temsil = Mevcut\ Temsil + Attention\ Çıktısı$$

Bu yapı özellikle çok derin ağlarda önemlidir.

Transformer’da nerede kullanılır?

Residual Connection hem Attention hem de Feed Forward Network (FFN) çevresinde kullanılır. Basitleştirilmiş bir Transformer bloğunda:

Girdi
↓
Multi-Head Attention
↓
Residual Connection
↓
Normalization
↓
FFN
↓
Residual Connection
↓
Normalization

Ancak burada önemli bir ayrıntı vardır: Modern Transformer modellerinde Layer Normalization’ın residual bağlantıya göre konumu değişebilir. Bu nedenle Pre-Norm ve Post-Norm gibi farklı Transformer blokları bulunmaktadır.

Neden önemlidir?

Residual Connection’ın birkaç temel avantajı vardır:

• Derin ağlarda gradyan akışını kolaylaştırır.
• Eğitim kararlılığını artırabilir.
• Önceki temsillerin tamamen kaybolmasını önlemeye yardımcı olur.
• Katmanların mevcut bilgi üzerine aşamalı dönüşümler eklemesini sağlar.
• Çok katmanlı Transformer modellerinin eğitilebilirliğine önemli katkıda bulunur.

Örneğin onlarca Transformer katmanı bulunan bir modelde her katman girdiyi tamamen yeniden oluştursaydı bilginin ve gradyanların katmanlar boyunca aktarılması daha zor olabilirdi. Residual yollar bu aktarım için doğrudan güzergâhlar sağlar.

Attention ile ilişkisi

Bir attention alt katmanını basitleştirerek:$$A=Attention(x)$$

şeklinde düşünelim. Residual Connection sonrasında:$$x’=x+A$$

elde edilir. Yani attention’ın ürettiği bağlamsal bilgi, mevcut temsilin yerine geçmez; onun üzerine eklenir. Benzer şekilde FFN için:$$F=FFN(x’)$$$$x”=x’+F$$

şeklinde bir residual yapı kurulabilir.

Skip Connection ile aynı mı?

“Residual Connection” ve “Skip Connection” terimleri çoğu zaman birbirine yakın anlamda kullanılır. Ancak skip connection daha genel bir kavramdır; bir veya daha fazla katmanı atlayarak bilgiyi ileri taşıyan bağlantıları ifade eder. Residual Connection ise tipik olarak:$$x+F(x)$$

şeklindeki toplama tabanlı skip connection yapısını ifade eder.

Kısaca: Residual Connection, Transformer’da bir alt katmanın girdisini, o alt katmanın ürettiği çıktıya ekleyerek bilginin ve gradyanların derin ağ boyunca daha etkin aktarılmasını sağlayan bağlantı yapısıdır. En basit formuyla:

Eski Temsil + Öğrenilen Dönüşüm = Yeni Temsil.