Parameter-Efficient Fine-Tuning (Parametre Verimli İnce Ayar)

Parameter-Efficient Fine-Tuning (PEFT) ya da Türkçe karşılığıyla Parametre Verimli İnce Ayar, milyarlarca parametreye sahip büyük dil ve temel modelleri belirli görevlere uyarlarken, modelin tüm ağırlıklarını güncellemek yerine yalnızca küçük bir parametre kümesini eğiten veya modele düşük boyutlu ek katmanlar entegre eden optimizasyon teknikleri bütünüdür.

Geleneksel tam ince ayar (full fine-tuning) yöntemi, modeldeki tüm ağırlık matrislerinin yeniden hesaplanmasını gerektirir. Bu durum, devasa grafik işlemci (GPU) belleği ihtiyacı, yüksek enerji tüketimi ve her yeni görev için modelin dev boyutlu kopyalarının saklanması zorunluluğunu doğurur. PEFT yaklaşımları, temel modelin orijinal parametrelerini dondurarak (freeze) bu darboğazı ortadan kaldırır. Eğitilebilir parametre sayısı çoğu zaman toplam model boyutunun %1’inin altına düşürülür; buna rağmen elde edilen başarım düzeyi tam ince ayar sonuçlarıyla yarışacak seviyede kalır.

Bu paradigma altında en sık kullanılan yöntemler arasında; düşük dereceli ayrıştırma matrisleri ekleyen LoRA (Low-Rank Adaptation) ve türevi QLoRA, modele küçük dönüştürücü bloklar ekleyen Adapter katmanları ile girdi dizilimine eğitilebilir sanal belirteçler yerleştiren Prompt Tuning ve Prefix Tuning yer alır.

PEFT; bilgi işlem maliyetlerini radikal biçimde düşürürken modelin önceden edindiği genel bilgileri silme riskini (catastrophic forgetting) asgariye indirir. Aynı temel omurga üzerinde düzinelerce özelleştirilmiş görevi tek bir donanımda paralel çalıştırma imkânı sunarak yapay zekâ adaptasyonunu demokratikleştiren temel bir yöntemdir.