Attention Score

Attention Score (Dikkat Skoru), Attention mekanizmasında bir Query (Q) ile bir Key (K) arasındaki ilişkinin veya uyumun sayısal ölçüsüdür. Model bu skorları kullanarak mevcut tokenın diğer tokenlardan hangilerine ne ölçüde dikkat etmesi gerektiğini belirler.

Attention Score nasıl hesaplanır?

Scaled Dot-Product Attention’da ilk adım Query ve Key vektörlerinin noktasal çarpımıdır:$$Score = QK^T$$

Ardından bu skor, vektör boyutunun kareköküne bölünerek ölçeklendirilir:$$Scaled\ Score=\frac{QK^T}{\sqrt{d_k}}$$

Burada dkd_k, Query ve Key vektörlerinin boyutudur.

Basit bir örnek

Şu cümleyi düşünelim: “Ayşe kitabı okudu çünkü onu merak ediyordu.”

Model “onu” tokenını işlerken, onun Query vektörünü diğer tokenların Key vektörleriyle karşılaştırır.

Örneğin tamamen temsili olarak:

Burada “kitabı” daha yüksek bir ham uyum skoruna sahiptir. Ancak bu değerler henüz attention ağırlıkları değildir.

Attention Score ve Attention Weight farkı

Bu iki kavram sıklıkla karıştırılır.

• Attention Score: Query–Key karşılaştırmasından elde edilen ham/ölçeklendirilmiş uyum değeridir.
• Attention Weight: Bu skorlara softmax uygulandıktan sonra elde edilen normalize edilmiş ağırlıktır.

Süreç:$$QK^T$$

↓ Ham Attention Scores$$\frac{QK^T}{\sqrt{d_k}}$$

↓ Scaled Attention Scores$$softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)$$

↓ Attention Weights

↓

Value’ların ağırlıklandırılması

Value ile ilişkisi

Attention Score doğrudan taşınacak içerik değildir. Önce skorlar attention ağırlıklarına dönüştürülür, ardından bu ağırlıklar Value (V) vektörlerine uygulanır:$$Attention(Q,K,V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Dolayısıyla kavramsal olarak:

• Query = Neyi arıyorum?
• Key = Ben aranan bilgiyle ne kadar eşleşiyorum?
• Attention Score = Bu eşleşme ne kadar güçlü?
• Attention Weight = Bu eşleşmeye ne kadar ağırlık vermeliyim?
• Value = Hangi bilgiyi aktarmalıyım?

Neden önemlidir?

Attention Score, Transformer’ın bağlamı oluştururken tokenlar arasındaki ilişkileri dinamik biçimde değerlendirmesinin temel ara hesaplamalarından biridir. Her Query, ilgili Key’lerle karşılaştırıldığı için model bağlama göre farklı ilişki örüntüleri oluşturabilir.

Kısaca: Q + K → Attention Score → Scaling → Softmax → Attention Weight → V → Attention Output

Attention Score, en kısa tanımıyla, bir Query ile Key arasındaki uyumun attention mekanizması tarafından hesaplanan sayısal skorudur.