Input Embedding

Input Embedding (Girdi Gömme), bir modelin girdilerini, sinir ağının işleyebileceği sayısal vektörlerle temsil etme işlemidir. Dil modellerinde bu işlem, genellikle token kimliklerinin öğrenilebilir bir gömme tablosundaki vektörlerle eşleştirilmesiyle gerçekleştirilir. Böylece her token, belirli sayıda sayısal bileşenden oluşan bir temsile dönüştürülür. İngilizce input, “girdi”; embedding ise “yerleştirmek” veya “gömmek” anlamındaki embed fiilinden türemiştir. Yapay zekâ bağlamında “gömme”, bir birimin sayısal bir temsil uzayına yerleştirilmesini anlatır. Terim Türkçede “girdi gömmesi”, “giriş gömmesi” veya açıklayıcı biçimde “girdinin vektörel temsili” olarak kullanılabilir.

Input Embedding nasıl çalışır? Metin önce tokenlara ayrılır ve her token bir sayısal kimlikle gösterilir. Gömme katmanı, bu kimliği kullanarak ilgili vektörü tablodan seçer. Örneğin “kitap” sözcüğünün tek token olduğunu ve kimliğinin 125 olduğunu varsayalım. Sistem, gömme tablosunda bu kimliğe karşılık gelen vektörü alır. Buradaki 125 sayısı, sözcüğün anlamını veya önem derecesini belirtmez; tablodaki karşılığına ulaşmayı sağlar. Gömme vektörlerinin değerleri genellikle eğitim sırasında öğrenilir. Vektörün boyutu ise model tasarımında belirlenir. Örneğin 768 boyutlu bir gömme, her tokenın 768 sayıyla temsil edilmesi demektir; bu, girdinin 768 kelimeden oluştuğu anlamına gelmez.

Girdi temsili, modele göre farklı bileşenler içerebilir. BERT’te token gömmelerine konum ve bölüm gömmeleri eklenir. Böylece modele tokenın kimliğiyle birlikte dizideki yeri ve hangi metin bölümüne ait olduğu hakkında bilgi sağlanır. Ancak bütün modeller bu bilgileri aynı biçimde birleştirmez. Başlangıçtaki token gömmesi ile sonraki katmanlarda oluşan bağlamsal temsil birbirinden ayrılmalıdır. Standart bir gömme tablosunda aynı token kimliği aynı temel vektörü getirir. Modelin katmanları ise çevredeki tokenları değerlendirerek bu temsili bağlama göre dönüştürür. Örneğin “yüz” kelimesinin sayı veya insan yüzü anlamında kullanılması, yalnızca başlangıç vektöründen değil, içinde bulunduğu metindeki ilişkilerden hareketle değerlendirilir.