Key

Key (K – Anahtar), Attention mekanizmasında bir tokenın veya temsilin Query ile karşılaştırılarak ne kadar ilgili olduğunun belirlenmesini sağlayan öğrenilmiş vektördür. Transformer mimarisindeki Query–Key–Value (Q–K–V) yapısının ikinci temel bileşenidir. Basit bir benzetmeyle:

• Query: Hangi bilgiyi arıyorum?
• Key: Ben aradığın bilgiyle ne kadar eşleşiyorum?
• Value: Eşleşirsek sana hangi bilgiyi aktaracağım?

Key nasıl oluşturulur?

Bir tokenın mevcut temsilinden öğrenilebilir bir ağırlık matrisi kullanılarak Key vektörü oluşturulur:$$K=XW^K$$

Burada:

• X: Tokenların mevcut temsilleri
• WKW^K: Eğitim sırasında öğrenilen Key projeksiyon matrisi
• K: Elde edilen Key vektörleri

Benzer şekilde:$$Q=XW^Q$$$$V=XW^V$$

oluşturulur. Dolayısıyla Q, K ve V çoğu self-attention uygulamasında aynı başlangıç temsillerinden türetilse de farklı öğrenilmiş dönüşümlerden geçirilir.

Key ne işe yarar?

Key’in temel görevi Query ile karşılaştırılmaktır:$$QK^T$$

Bu işlem, Query ile her Key arasındaki uyum skorlarını üretir. Scaled Dot-Product Attention’da skorlar:$$\frac{QK^T}{\sqrt{d_k}}$$

şeklinde ölçeklendirilir ve ardından softmax uygulanarak attention ağırlıkları elde edilir.

Yani:

Query + Key → Uyum Skoru → Attention Ağırlığı

Bu ağırlıklar daha sonra Value vektörlerinden ne kadar bilgi alınacağını belirler.

Basit bir örnek

Şu cümleyi düşünelim: “Ayşe kitabı masaya bıraktı çünkü onu bitirmişti.”

“onu” tokenının Query vektörü, diğer tokenların Key vektörleriyle karşılaştırılır:

• Query (“onu”) ↔ Key (“Ayşe”)
• Query (“onu”) ↔ Key (“kitabı”)
• Query (“onu”) ↔ Key (“masaya”)
• Query (“onu”) ↔ Key (“bıraktı”)

Öğrenilmiş attention mekanizması bu ilişkiler için farklı skorlar üretebilir. Böylece model, bağlama göre hangi temsillerden daha fazla bilgi alınacağını belirler.

Query, Key ve Value farkı

Bileşen	Temel işlev
Query (Q)	İlgili bilgiyi arayan temsil
Key (K)	Query ile karşılaştırılan temsil
Value (V)	Attention sonucunda aktarılacak içerik

Bunu bir kütüphane benzetmesiyle düşünürsek:

• Query = Aradığınız konu
• Key = Kitapların katalog bilgileri
• Value = Kitapların içerikleri

Önce Query ile Key karşılaştırılır. Hangi Key daha ilgiliyse onunla ilişkili Value daha fazla ağırlık kazanır.

Self-Attention ve Cross-Attention’da Key

• Self-Attention’da Q, K ve V aynı girdi dizisinin temsillerinden türetilir.
• Cross-Attention’da ise Query bir temsil kümesinden, Key ve Value başka bir temsil kümesinden gelebilir.

Örneğin:

Metin → Query
Görüntü → Key + Value

Böylece metinsel sorgu, görüntü temsillerinin hangilerinin kendisi açısından daha ilgili olduğunu değerlendirebilir.

Kavramsal yapı

• Query → “Neyi arıyorum?”
• Key → “Ben ne kadar ilgiliyim?”
• Value → “Hangi bilgiyi taşıyorum?”

Ardından:

Q × Kᵀ → Attention Skorları → Ölçeklendirme → Softmax → Attention Ağırlıkları → Value’ların Ağırlıklı Birleşimi

Kısaca: Key, Attention mekanizmasında Query ile karşılaştırılan ve ilgili Value’dan ne ölçüde yararlanılacağını belirlemeye yardımcı olan öğrenilmiş sayısal temsildir.