Positional Embedding

Positional Embedding (Konum Gömme), bir tokenın dizideki konumunu sayısal bir vektörle temsil eden yöntemdir. Dil modellerinin, tokenların hangi sırada bulunduğunu değerlendirmesine yardımcı olur. Özellikle Transformer mimarisinde konum bilgisinin modele aktarılması, sözcükler arasındaki sıralama ilişkilerinin öğrenilmesi açısından önemlidir. İngilizce positional, “konuma ilişkin” anlamındaki bir sıfattır ve position, yani “konum” sözcüğünden türemiştir. Embedding ise bir birimin sayısal temsil uzayına yerleştirilmesini ifade eder. Terim Türkçede “konum gömmesi”, “konumsal gömme” veya açıklayıcı biçimde “konumun vektörel temsili” olarak kullanılabilir.

Konum bilgisi neden gereklidir? “Ali Ayşe’yi aradı.” ve “Ayşe Ali’yi aradı.” cümlelerinde kişi adlarının sırası, kimin kimi aradığını belirlemeye katkıda bulunur. Dil modellerinin sözcük kimlikleri yanında bu tür sıralama bilgilerini de değerlendirmesi gerekir. Konum gömmeleri, tokenın dizinin başında, ortasında veya daha sonraki bir konumda bulunduğunu sayısal olarak temsil etmeyi sağlar.

Positional Embedding nasıl çalışır? Öğrenilebilir mutlak konum gömmelerinde, her konum için bir vektör içeren tablo bulunur. Tokenın konumuna karşılık gelen vektör seçilerek token gömmesiyle birleştirilir. Örneğin BERT’te girdi temsili; token, konum ve bölüm gömmelerinin toplanmasıyla oluşturulur. Aynı token farklı konumlarda bulunduğunda, temel token gömmesi aynı kalırken eklenen konum vektörü değişir. Buradaki konumlar, doğrudan kelime sırasına değil, token dizisindeki sıraya karşılık gelir. Bir kelime üç tokena ayrılmışsa üç ayrı konumu kaplar. Bu nedenle tokenlaştırma biçimi, kelimelerin model içindeki konumlarını da etkiler.

Positional Embedding ile Positional Encoding terimleri bazen birbirinin yerine kullanılır. Daha dar kullanımda konum gömmesi, eğitim sırasında öğrenilen vektörleri; konum kodlaması ise sabit matematiksel yöntemleri de kapsayan daha geniş yaklaşımı ifade eder. Özgün Transformer çalışmasında sinüs ve kosinüs fonksiyonlarıyla oluşturulan konum kodlamaları kullanılmış, öğrenilebilir konum gömmeleri de değerlendirilmiştir. Konum gömmesi, tokenın anlamını tek başına açıklamaz. İçerik temsiliyle birlikte çalışarak modelin sıra ve bağlam ilişkilerini öğrenmesine katkıda bulunur.