Query

Query (Q – Sorgu), Attention mekanizmasında bir tokenın “Hangi bilgi benim için önemli ve diğer tokenlardan hangi bilgiyi aramalıyım?” sorusunu temsil eden vektördür. Transformer mimarisindeki Query–Key–Value (Q–K–V) yapısının üç temel bileşeninden biridir. Örneğin:

“Öğrenci kitabı masaya bıraktı çünkü onu bitirmişti.”

Model “onu” tokenını işlerken bu tokenın Query vektörü, cümledeki diğer tokenların Key vektörleriyle karşılaştırılır. Böylece hangi kelimelerin “onu” açısından daha ilgili olduğu hesaplanır.

Query nasıl oluşturulur?

Transformer’a giren her token önce sayısal bir temsil olan embedding’e dönüştürülür. Ardından öğrenilebilir bir ağırlık matrisi kullanılarak Query vektörü oluşturulur:$$Q=XW^Q$$

Burada:

• X: Tokenların mevcut temsilleri
• WQW^Q: Eğitim sırasında öğrenilen Query ağırlık matrisi
• Q: Oluşturulan Query vektörleri

Benzer şekilde:$$K=XW^K$$$$V=XW^V$$

hesaplanır.

Yani aynı token temsilinden farklı doğrusal dönüşümlerle Query, Key ve Value elde edilebilir.

Query ne işe yarar?

Query’nin temel görevi, Key’lerle karşılaştırılarak attention skorlarının hesaplanmasına katkı sağlamaktır:$$QK^T$$

Scaled Dot-Product Attention’da bu değer ölçeklendirilir:$$\frac{QK^T}{\sqrt{d_k}}$$

ve softmax uygulanarak attention ağırlıkları elde edilir.

Süreç:

Token → Query oluşturma → Query–Key karşılaştırması → Attention skorları → Softmax → Value’ların ağırlıklandırılması

Query, Key ve Value farkı

Bunu kavramsal olarak şöyle düşünebiliriz:

Örneğin bir arama sistemi analojisi kullanırsak:

Query = Arama sorgusu
Key = İçeriklerin indeks/etiket bilgileri
Value = İlgili içerik

Bu yalnızca kavramı anlamayı kolaylaştıran bir benzetmedir; Transformer’daki Q, K ve V gerçekte öğrenilmiş sayısal vektörlerdir.

Self-Attention’da Query

Self-Attention’da:

Q, K ve V → aynı girdi dizisinden türetilir.

Her tokenın Query’si, aynı dizideki tokenların Key’leriyle karşılaştırılır.

Cross-Attention’da Query

Cross-Attention’da ise Query ve Key/Value farklı temsil kaynaklarından gelebilir. Örneğin bazı multimodal mimarilerde:

Metin → Query
Görüntü temsilleri → Key + Value

şeklinde bir yapı kurulabilir. Böylece metinsel sorgunun görüntünün hangi bölümlerinden bilgi alması gerektiği belirlenebilir.

Kısaca: Query, Attention mekanizmasında bir token veya temsilin diğer temsillerden hangi bilginin kendisi açısından ilgili olduğunu belirlemek üzere Key’lerle karşılaştırılan öğrenilmiş vektörüdür.