Output Embedding

Output Embedding (Çıktı Gömme), dil modelleme bağlamında, modelin üretebileceği tokenları çıktı katmanında temsil eden öğrenilmiş vektörleri ifade eder. Bu vektörler, modelin oluşturduğu bağlamsal temsilin dağarcıktaki tokenlarla ilişkilendirilmesinde kullanılır. Çıktı katmanının ağırlık matrisi, bu açıdan bir token gömme tablosu olarak değerlendirilebilir. İngilizce output, “çıktı”; embedding ise “gömmek” veya “yerleştirmek” anlamındaki embed fiilinden türemiştir. Yapay zekâda gömme, bir birimin sayısal vektörle temsil edilmesini anlatır. Terim Türkçede “çıktı gömmesi” veya “çıktı tokenlarının vektörel temsili” olarak kullanılabilir. Bazı bağlamlarda modelin dışarı verdiği temsil vektörleri için de kullanıldığından, terimin hangi anlamda geçtiğine dikkat edilmelidir.

Output Embedding nasıl çalışır? Metin üreten bir dil modeli, önce mevcut bağlamı işleyerek bir gizli durum vektörü oluşturur. Standart doğrusal çıktı katmanında bu vektör, her aday tokenın çıktı vektörüyle noktasal çarpım üzerinden ilişkilendirilir. Elde edilen ham puanlara logit denir. Ardından softmax işlemi, bu puanları token olasılıklarına dönüştürür. Sonraki token, kullanılan seçim yöntemine göre belirlenir. Örneğin modelin “Çayı bir …” ifadesini tamamladığını düşünelim. “Bardak” ve “fincan” gibi adayların tek token olduğunu varsayarsak, her birinin çıktı vektörü mevcut bağlamın temsiliyle birlikte değerlendirilir. Hesaplanan puanlar, hangi devamların daha olası bulunduğunu etkiler. Bu örnek açıklama amaçlıdır; gerçek adaylar ve olasılıklar modele bağlıdır.

Input Embedding ile ilişkisi önemlidir. Girdi gömmesi, token kimliğinden modelin işleyeceği vektöre geçiş sağlar. Çıktı gömmesi ise modelin iç temsilinden aday tokenların puanlanmasına katkıda bulunur. Bazı modellerde bu iki işlem aynı ağırlık matrisini paylaşır. Weight tying, yani “ağırlık paylaşımı” olarak bilinen bu yaklaşım, ayrı parametre sayısını azaltabilir. Çıktı gömmesi, tek başına üretilmiş kelime veya olasılık dağılımı değildir. Ayrıca model sabitken aday tokenın çıktı vektörü aynı kalabilir; farklı bağlamlarda değişen gizli durum vektörü, o tokenın puanını ve olasılığını değiştirir.