Multi-Head Attention

Multi-Head Attention (Çok Başlı Dikkat), bir Transformer modelinin aynı girdideki ilişkileri birden fazla attention başlığı üzerinden paralel olarak değerlendirmesini sağlayan mekanizmadır. Tek bir dikkat hesabı yerine farklı öğrenilmiş projeksiyonlarla birden fazla attention işlemi gerçekleştirilir. Örneğin:

“Profesör öğrencilerine yeni yapay zekâ modelini laboratuvarda gösterdi.”

Model bu cümleyi işlerken farklı attention başlıkları farklı ilişki örüntülerini yakalayabilir. Bazıları yakın kelimeler arasındaki ilişkileri, bazıları daha uzak bağlamsal bağlantıları veya farklı temsil özelliklerini öne çıkarabilir.

Nasıl çalışır?

Önce her attention başlığı için ayrı Query (Q), Key (K) ve Value (V) projeksiyonları oluşturulur.

Her başlık kendi attention hesabını gerçekleştirir:$$head_i = Attention(QW_i^Q,KW_i^K,VW_i^V)$$

Ardından bütün başlıkların çıktıları birleştirilir:$$MultiHead(Q,K,V)=Concat(head_1,…,head_h)W^O$$

Buradaki h, attention head sayısını ifade eder. Basitleştirilmiş süreç:

Girdi → Birden Fazla Attention Head → Paralel İlişki Hesapları → Çıktıların Birleştirilmesi → Bağlamsal Temsil

Neden birden fazla başlık kullanılır?

Tek bir attention işlemi girdideki ilişkileri tek bir öğrenilmiş temsil uzayında değerlendirir. Multi-Head Attention ise modelin farklı temsil alt uzaylarında farklı ilişki örüntülerini eş zamanlı öğrenmesine olanak verir.

Örneğin kavramsal olarak:

Head 1 → yakın bağlamsal ilişkiler
Head 2 → uzak bağımlılıklar
Head 3 → referans ilişkileri
Head 4 → başka bir temsil örüntüsü

Ancak bu örnekler açıklama amaçlıdır. Gerçek modellerde her attention head’in mutlaka insanlar tarafından açıkça adlandırılabilecek tek bir görevi öğrendiğini söylemek doğru değildir.

Self-Attention ile ilişkisi

Multi-Head Attention ayrı bir attention türünden çok, attention işleminin birden fazla başlıkla paralel uygulanmasıdır. Bu nedenle:

Self-Attention + Birden Fazla Head → Multi-Head Self-Attention

Aynı yaklaşım Cross-Attention için de kullanılabilir:

Cross-Attention + Birden Fazla Head → Multi-Head Cross-Attention

Neden önemlidir?

Multi-Head Attention, Transformer’ın aynı bağlam içindeki farklı ilişkileri daha zengin biçimde temsil etmesine yardımcı olur. Bu nedenle LLM’ler, çeviri sistemleri, Vision Transformer’lar ve çeşitli multimodal modellerde temel mimari bileşenlerden biri olarak kullanılır.

Kısaca: Multi-Head Attention, modelin aynı veriye tek bir dikkat perspektifi yerine birden fazla öğrenilmiş dikkat başlığıyla paralel olarak bakmasını ve bu sonuçları birleştirmesini sağlayan Transformer mekanizmasıdır.