Skip Connection

Skip Connection (Atlama Bağlantısı), bir sinir ağında bilginin bir veya daha fazla katmanı atlayarak daha ilerideki bir katmana doğrudan aktarılmasını sağlayan bağlantı yapısıdır. Derin sinir ağlarında bilgi ve gradyan akışını kolaylaştırmak amacıyla kullanılır. Temel fikir:

Girdi → Katmanlar → Çıktı
↘ Doğrudan kısa yol ↗

Yani ağın bazı ara dönüşümlerinden bağımsız olarak giriş bilgisinin ilerideki bir noktaya ulaşması sağlanır.

Nasıl çalışır?

Normal bir ağda:$$x \rightarrow F(x) \rightarrow y$$

şeklinde bir işlem gerçekleşebilir. Skip Connection eklendiğinde x için alternatif bir yol oluşturulur:$$x \rightarrow F(x)$$

ve aynı zamanda:$$x \rightarrow \text{Skip Path}$$

Bu iki yol daha sonra belirli bir yöntemle birleştirilir. En yaygın örneklerden biri toplama işlemidir:$$y=F(x)+x$$

Bu özel yapı aynı zamanda Residual Connection olarak adlandırılır.

Skip Connection ve Residual Connection aynı mı?

Tam olarak değil. Bu ayrım önemlidir. Skip Connection daha genel kavramdır. Residual Connection ise Skip Connection’ın belirli bir uygulama biçimidir. Şöyle düşünebiliriz:

Skip Connection
↓
Katmanları atlayan bağlantıların genel adı
↓
Residual Connection
↓
Girdinin dönüşüm çıktısına genellikle toplama yoluyla eklenmesi

Yani:$$Residual\ Connection \subset Skip\ Connection$$

Farklı Skip Connection türleri

Bilginin kısa yoldan aktarılması farklı biçimlerde gerçekleştirilebilir.

1. Addition-based$$y=x+F(x)$$

Residual ağlarda ve Transformer’larda yaygın olan yöntemdir.

2. Concatenation-based$$y=Concat(x,F(x))$$

Burada iki temsil toplanmak yerine yan yana birleştirilir. U-Net gibi bazı mimarilerde bu tür bağlantılar önemlidir.

Dolayısıyla her Skip Connection:$$x+F(x)$$

şeklinde olmak zorunda değildir.

Transformer’daki yeri

Transformer mimarisinde yaygın olarak kullanılan skip connection türü Residual Connection’dır. Örneğin attention alt katmanı için kavramsal olarak:$$x’=x+Attention(x)$$

FFN için:$$x”=x’+FFN(x’)$$

şeklinde düşünülebilir. Gerçek mimaride Layer Normalization gibi bileşenlerin konumu kullanılan Transformer tasarımına göre değişebilir. Basitleştirilmiş yapı:

Girdi
↓
Multi-Head Attention
↘ Skip/Residual Path
↓
Birleştirme
↓
Normalization
↓
FFN
↘ Skip/Residual Path
↓
Birleştirme

Neden kullanılır?

Derin sinir ağlarında katman sayısı arttıkça eğitim zorlaşabilir. Skip Connection’lar:

• gradyanların geriye doğru daha rahat taşınmasına,
• önceki temsillerin korunmasına,
• çok derin ağların daha kararlı eğitilmesine,
• katmanların mevcut bilgi üzerine yeni dönüşümler eklemesine

yardımcı olur. Bu nedenle Skip Connection yalnızca Transformer’larda değil; ResNet, U-Net ve çeşitli derin sinir ağı mimarilerinde kullanılan genel bir tasarım ilkesidir.

Residual Connection ile kısa karşılaştırma

Kavram	Tanım
Skip Connection	Bir veya daha fazla katmanı atlayan genel bağlantı
Residual Connection	Skip yolundaki girdiyi genellikle $F(x)$ çıktısına ekleyen özel yapı
Residual formül	$y=x+F(x)$
Amaç	Bilgi ve gradyan akışını kolaylaştırmak

Transformer açısından en doğru kullanım

Transformer anlatılırken çoğu durumda Residual Connection terimini kullanmak daha spesifiktir. Çünkü klasik Transformer bloklarında kullanılan yapı basitçe herhangi bir skip bağlantısı değil, alt katman çıktısına girdinin eklenmesine dayanan residual bağlantıdır.

Kısaca: Skip Connection, bilginin bazı katmanları atlayarak ağın daha ileri bir bölümüne doğrudan taşınmasını sağlayan genel bağlantı mekanizmasıdır; Transformer’da bunun en önemli uygulaması Residual Connection’dır. En kısa ayrımla:

Skip Connection = Genel prensip
Residual Connection = x+F(x)x + F(x) biçimindeki özel uygulama.