Prompt Tuning (İstem Uyarlama)

Prompt Tuning (İstem Uyarlama), devasa dil modellerini belirli görevlere uyarlamak için geliştirilen, insan diliyle yazılan geleneksel metin istemlerini (hard prompts) matematiksel olarak sürekli ve optimize edilebilir sanal vektörlere (soft prompts) dönüştüren parametre verimli bir ince ayar (PEFT) yöntemidir.

Klasik istem mühendisliğinde kullanıcılar, modelden istenen çıktıyı alabilmek için kelimeleri ve cümle yapılarını deneme yanılma yoluyla elle kurgular. Prompt Tuning ise bu süreci tamamen otomatik ve gradyan tabanlı bir öğrenme problemine dönüştürür. Modelin dondurulmuş (freeze edilmiş) tüm parametreleri sabit tutulurken, girdi metninin gömme (embedding) katmanının başına belirli sayıda sürekli sanal belirteç (virtual token) vektörü eklenir. Bu sanal vektörler kelime dağarcığındaki somut sözcüklerle sınırlı değildir; doğrudan modelin sürekli temsil uzayında yer alır.

Eğitim sürecinde yalnızca bu sanal istem vektörleri güncellenir. Milyarlarca parametreye sahip temel modelin ağırlıklarına hiç dokunulmadığından, eğitilen kısım genellikle toplam model büyüklüğünün %0.01’inden bile azdır. Model ölçeği büyüdükçe (özellikle on milyarlarca parametreli sistemlerde), Prompt Tuning’in sunduğu başarım tam model ince ayarı (full fine-tuning) sonuçlarına neredeyse tamamen yaklaşır.

Ön eğitimde kazanılan genel yetenekleri ve dünya bilgisini sıfır riskle koruyan bu yaklaşım; soru-cevap, sınıflandırma veya duygu analizi gibi farklı görevler için yalnızca birkaç kilobaytlık istem vektörlerinin saklanmasına imkân tanır. Tek bir merkezi sunucu üzerinde ana model sabit tutularak, gelen göreve göre uygun istem vektörü girdi dizilimine eklenip çıkarılabilir; bu da üretim ortamlarında devasa ölçekte donanım ve bellek tasarrufu sağlar.