Embedding Dimension

Embedding Dimension (Gömme Boyutu), bir gömme vektörünün kaç sayısal bileşenden oluştuğunu ifade eder. Örneğin 768 boyutlu bir gömme, temsil edilen her birim için 768 sayı kullanılması demektir. Bu birim, uygulamaya bağlı olarak bir token, cümle, belge veya görüntü olabilir. İngilizce embedding, “gömmek” veya “yerleştirmek” anlamındaki embed fiilinden türemiştir. Yapay zekâda bir birimin sayısal temsil uzayına yerleştirilmesini anlatır. Dimension ise “boyut” anlamına gelir. Terim Türkçede “gömme boyutu”, “gömme vektörünün boyutu” veya “vektör boyutu” olarak kullanılabilir.

Gömme boyutu nasıl anlaşılır? Basitleştirilmiş bir örnekte, bir tokenın [0,2; 0,7; 0,1; 0,9] vektörüyle temsil edildiğini düşünelim. Bu vektör dört sayı içerdiği için gömme boyutu dörttür. Gerçek modellerde yüzlerce veya binlerce bileşen kullanılabilir. Standart bir gömme katmanında, tablodaki bütün token vektörleri aynı boyuttadır. Gömme boyutu, token sayısından farklıdır. On tokenlık bir metinde her token 768 boyutlu temsil ediliyorsa, yalnızca token gömmelerini içeren yapı 10 × 768 boyutlarında olur. Burada 10, dizinin uzunluğunu; 768 ise her tokenın temsilinde kullanılan bileşen sayısını gösterir. Benzer biçimde, token dağarcığının büyüklüğü de ayrı bir özelliktir: Dağarcık kaç farklı token bulunduğunu, gömme boyutu ise her tokenın kaç sayıyla temsil edildiğini belirtir. Gömme boyutunu artırmak, temsilde kullanılabilecek sayısal kapasiteyi genişletir; ancak daha yüksek boyut, tek başına daha başarılı model anlamına gelmez. Eğitim verisi, öğrenme yöntemi, model mimarisi ve hedef görev birlikte değerlendirilmelidir. Örneğin özgün BERT çalışmasında temel modelin gizli temsil boyutu 768, büyük modelinki 1024’tür; bu modeller katman sayısı gibi başka özelliklerde de farklılaşır. Dolayısıyla başarı farkını yalnızca boyuta bağlamak doğru olmaz.

Boyutun kaynak maliyeti de vardır. Dağarcık büyüklüğü sabitken gömme boyutunu iki katına çıkarmak, standart gömme tablosundaki parametre sayısını iki katına çıkarır. Ayrıca her bileşenin “olumluluk” veya “canlılık” gibi tek ve açık bir anlam taşıdığı varsayılmamalıdır; öğrenilen özellikler çoğunlukla vektörün bileşenlerine dağılmış biçimde temsil edilir.