Learned Positional Embedding

Learned Positional Embedding (Öğrenilebilir Konumsal Gömme), Transformer modelinde tokenların dizideki konumlarını temsil eden vektörlerin önceden matematiksel olarak belirlenmesi yerine eğitim sırasında model tarafından öğrenildiği konumsal temsil yöntemidir. Temel amaç Positional Encoding ile aynıdır: Modele “Bu token dizinin hangi konumunda?” bilgisini vermek. Ancak konum bilgisinin nasıl oluşturulduğu farklıdır.

Nasıl çalışır?

Modelin desteklediği her pozisyon için başlangıçta bir embedding vektörü bulunur. Örneğin:

Pozisyon 0 → P0P_0
Pozisyon 1 → P1P_1
Pozisyon 2 → P2P_2
Pozisyon 3 → P3P_3
…

Bu vektörlerin değerleri model eğitilirken diğer model parametreleri gibi gradient descent/backpropagation yoluyla öğrenilir. Klasik kullanımda token embedding ile positional embedding toplanır:

$$Input_i = TokenEmbedding_i + PositionEmbedding_i$$

Böylece her token hem kimlik hem de konum bilgisi taşır.

Basit örnek

Şu cümleyi ele alalım: “Yapay zekâ dünyayı değiştiriyor.” Model kavramsal olarak:

$$E_{Yapay}+P_0$$$$E_{zekâ}+P_1$$$$E_{dünyayı}+P_2$$$$E_{değiştiriyor}+P_3$$

şeklinde girdiler oluşturabilir. Burada:

• E = Token Embedding
• P = Learned Positional Embedding

Önemli nokta, $P_0,P_1,P_2…$ vektörlerinin elle belirlenmemesi; eğitim sırasında öğrenilmesidir.

Sinusoidal Positional Encoding’den farkı

Orijinal Transformer’daki sinusoidal positional encoding ile temel fark buradadır.

Sinusoidal Positional Encoding	Learned Positional Embedding
Matematiksel formülle oluşturulur	Eğitim sırasında öğrenilir
Sabittir	Öğrenilebilir parametrelerden oluşur
Sinüs/kosinüs kullanır	Embedding matrisi kullanır
Ek öğrenilebilir parametre gerektirmez	Ek parametre gerektirir
Konum temsili önceden tanımlıdır	Konum temsili veriden öğrenilir

Sinusoidal yöntemde:$$P_i=f(i)$$

Learned yöntemde ise:$$P_i=\text{öğrenilen vektör}$$

şeklinde düşünülebilir.

Embedding matrisi

Model maksimum 512 pozisyon ve 768 boyutlu hidden representation kullanıyorsa örneğin:$$P\in\mathbb{R}^{512\times768}$$

şeklinde bir positional embedding matrisi bulunabilir. Her satır belirli bir pozisyonun temsilidir. Model eğitim sırasında bu matrisin değerlerini de öğrenir.

Avantajı nedir?

Learned Positional Embedding’in önemli avantajı, modelin hangi konumsal temsillerin görev açısından yararlı olduğunu veriden öğrenebilmesidir. Yani geliştirici: “Pozisyon 17 şu şekilde temsil edilmelidir.” diye bir formül belirlemek zorunda değildir. Model uygun temsili eğitim sürecinde optimize eder.

Sınırlılığı nedir?

Önemli sorunlardan biri maksimum eğitim uzunluğunun dışındaki pozisyonlara genelleme konusudur. Örneğin model yalnızca:

0–511

pozisyonları için embedding öğrenmişse, 512’nin üzerindeki pozisyonlar için doğrudan öğrenilmiş embedding bulunmaz. Bu nedenle çok uzun context window’ları açısından mutlak learned positional embedding bazı sınırlılıklara sahip olabilir. Bu problem, modern Transformer mimarilerinde relative positional encoding, RoPE ve ALiBi gibi farklı yöntemlerin geliştirilmesinin nedenlerinden biridir.

Absolute ve Relative Position farkı

Klasik Learned Positional Embedding çoğunlukla absolute position bilgisini temsil eder: “Bu token 37. pozisyondadır.”

Relative Position yaklaşımı ise tokenların birbirlerine göre konumuyla daha doğrudan ilgilenir: “Bu iki token arasında 4 pozisyon vardır.”

Bu iki yaklaşım kavramsal olarak farklıdır.

Modern LLM’lerde durum

Learned absolute positional embeddings bazı önemli Transformer modellerinde kullanılmıştır. Örneğin BERT ve GPT-2 gibi mimariler bu yaklaşımın bilinen örnekleridir. Ancak birçok modern LLM’de bunun yerine RoPE (Rotary Position Embedding) gibi yöntemler tercih edilmektedir.

Bu nedenle:

• Positional Encoding → genel kavram
• Learned Positional Embedding → konum vektörlerinin öğrenildiği yöntem
• RoPE / ALiBi / Relative Position yöntemleri → konum bilgisini modele aktarmanın alternatif yolları

olarak düşünmek daha doğrudur.

Kısaca: Learned Positional Embedding, tokenların dizideki konumlarını temsil eden vektörlerin sabit bir matematiksel formülle oluşturulmak yerine model eğitimi sırasında öğrenildiği konumsal temsil yöntemidir. En kısa ayrımla:

• Sinusoidal Encoding = Konumu formül belirler.
• Learned Positional Embedding = Konumu model öğrenir.