Prefix Tuning (Ön Ek Uyarlama)

Prefix Tuning (Ön Ek Uyarlama), özellikle doğal dil üretimi görevlerinde büyük dil modellerini minimum hesaplama maliyetiyle optimize etmek amacıyla geliştirilmiş parametre verimli bir ince ayar (PEFT) yöntemidir. Temel modelin tüm orijinal ağırlıklarını dondurarak Transformer mimarisinin dikkat mekanizmasına sürekli ve eğitilebilir sanal vektörler (“prefix” / ön ek) ekleme prensibine dayanır.

Geleneksel istem mühendisliğinde (prompt engineering), modelin çıktısını yönlendirmek için doğal dille yazılmış somut metinler (discrete tokens) kullanılır. Prefix Tuning ise bu yaklaşımı sürekli uzaydaki gradyan tabanlı optimizasyonla birleştirir. Transformer modelinin her bir dikkat katmanındaki anahtar (key) ve değer (value) matrislerinin başına, belirli uzunlukta serbestçe optimize edilebilen sanal aktivasyon vektörleri yerleştirilir. Eğitim boyunca modelin milyarlarca parametrelik ana gövdesi kilitli kalırken yalnızca bu ön ek vektörleri güncellenir.

Ön eklerin doğrudan optimize edilmesi başlangıçta eğitim kararsızlıklarına yol açabileceğinden, bu vektörler genellikle geçici bir çok katmanlı algılayıcı (MLP) üzerinden parametrize edilir; eğitim tamamlandıktan sonra MLP devreden çıkarılarak yalnızca saf ön ek tensörleri saklanır. Bu yöntem sayesinde toplam model parametrelerinin yalnızca %0.1’i civarında bir alan eğitilir.

Önceden eğitilmiş bilgi tabanını koruyarak “yıkıcı unutma” riskini bertaraf eden Prefix Tuning; metin özetleme, veri tabanlı metin üretimi (table-to-text) ve diyalog sistemlerinde tam model güncellemesiyle eşdeğer başarımlar elde edilmesini sağlar. Her görev için sadece minik bir ön ek tensör kümesi saklanarak çoklu görev yönetimi son derece hafif bir altyapıya kavuşturulur.