LoRA (Düşük Dereceli Uyarlama)

LoRA (Low-Rank Adaptation / Düşük Dereceli Uyarlama), devasa yapay zekâ ve büyük dil modellerini özelleştirmek için kullanılan, hesaplama maliyetini ve bellek gereksinimini radikal biçimde düşüren en popüler parametre verimli ince ayar (PEFT) yöntemidir.

Geleneksel ince ayar süreçlerinde milyarlarca parametreden oluşan devasa ağırlık matrislerinin tamamı güncellenir. Bu işlem hem yüksek GPU belleği gerektirir hem de her görev için modelin devasa boyutlu tam bir kopyasının saklanmasını zorunlu kılar. LoRA’nın ardındaki temel matematiksel sezgi; modelin yeni bir göreve uyarlanırken geçirdiği ağırlık değişimlerinin aslında çok daha düşük bir “içsel boyuta” (intrinsic rank) sahip olduğu varsayımıdır.

LoRA yönteminde, önceden eğitilmiş ana modelin orijinal ağırlık matrisleri tamamen dondurulur (freeze). Bu matrislerin üzerine doğrudan müdahale etmek yerine, ağırlık değişimini temsil eden matris iki adet çok daha küçük ve düşük dereceli (low-rank) matrisin çarpımı ($A \times B$) olarak modellenir. Eğitim sürecinde yalnızca bu minik ek matrisler optimize edilir. Bu sayede eğitilebilir parametre hacmi toplam model boyutunun %0.1’i gibi çarpıcı oranlara geriler.

Eğitim tamamlandığında elde edilen adaptör dosyaları megabaytlar düzeyinde kalır ve istendiğinde orijinal model ağırlıklarıyla matematiksel olarak birleştirilebilir (merge). Bu özellik, çıkarım (inference) aşamasında hiçbir ek gecikme yaratmamasını sağlar. LoRA; tüketici sınıfı ekran kartlarında dahi son teknoloji modellerin eğitilmesine zemin hazırlayarak yapay zekâ geliştirmeyi geniş kitleler için erişilebilir kılmıştır.