Context Vector

Context Vector (Bağlam Vektörü), attention mekanizmasında Value (V) vektörlerinin Attention Weight’lere göre ağırlıklandırılıp birleştirilmesiyle elde edilen bağlamsal temsildir. Başka bir ifadeyle modelin, belirli bir Query açısından önemli gördüğü bilgilerin matematiksel olarak bir araya getirilmiş hâlidir.

Nasıl oluşturulur?

Önce Query ve Key arasındaki attention skorları hesaplanır:$$Score=\frac{QK^T}{\sqrt{d_k}}$$

Ardından softmax ile Attention Weight’ler elde edilir:$$\alpha=softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)$$

Son olarak bu ağırlıklar Value vektörlerine uygulanır:$$Context\ Vector=\sum_i \alpha_iV_i$$

Matris biçiminde:$$Context=softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Basit bir örnek

Şu cümleyi düşünelim: “Ayşe kitabı okudu çünkü onu merak ediyordu.”

“onu” tokenı işlenirken model farklı tokenlara farklı attention ağırlıkları verebilir:

• Ayşe → 0.10
• kitabı → 0.65
• okudu → 0.15
• diğerleri → 0.10

Bu ağırlıklar ilgili Value vektörleriyle çarpılıp toplanır:$$Context = 0.10V_{Ayşe} +0.65V_{kitabı} +0.15V_{okudu} +…$$

Ortaya çıkan Context Vector, ilgili Query için dizideki yararlı bilgileri bir araya getiren yeni bir temsildir.

Value ile farkı nedir?

Bu iki kavramı ayırmak önemlidir:

Dolayısıyla tek bir Value belirli bir kaynağın temsilidir; Context Vector ise birden fazla Value’dan bağlama göre oluşturulan bileşik temsildir.

Transformer’daki yeri

Şimdiye kadar ele aldığımız kavramların tamamını tek bir işlem zincirinde gösterebiliriz:

Query (Q) + Key (K)
↓
Attention Score
↓
Scaling
↓
Softmax
↓
Attention Weight
↓
Attention Weight × Value (V)
↓
Context Vector

Örneğin tek bir Query için:$$Q \rightarrow K’lerle\ karşılaştır \rightarrow Attention\ Weights \rightarrow V’leri\ ağırlıklandır \rightarrow Context\ Vector$$

Multi-Head Attention’da durum

Multi-Head Attention’da tek bir attention işlemi yerine birden fazla head bulunur. Her head kendi attention çıktısını üretir. Bu çıktılar birleştirilerek ve bir çıktı projeksiyonundan geçirilerek sonraki katmana aktarılır.

Bu nedenle modern Transformer terminolojisinde “attention output” ifadesi çoğu zaman “context vector” ifadesinden daha teknik ve daha genel bir kullanıma sahiptir.

Kısaca: Context Vector, modelin “Bu Query açısından mevcut bağlamdan hangi bilgileri ne ölçüde bir araya getirmeliyim?” sorusunun sonucudur.

En kısa formuyla:

Query + Key → Attention Weight
Attention Weight + Value → Context Vector.