DPO (Direct Preference Optimization)

DPO (Doğrudan Tercih Optimizasyonu); büyük dil modellerini (LLM) insan veya yapay zekâ tercihlerine göre uyumlamak (alignment) için kullanılan, geleneksel RLHF sürecindeki karmaşık pekiştirmeli öğrenme döngüsünü ve bağımsız ödül modeli gereksinimini ortadan kaldıran analitik bir eğitim yöntemidir.

2023 yılında Stanford Üniversitesi araştırmacıları (Rafailov ve ark.) tarafından geliştirilen bu yaklaşım, hizalama sürecini standart bir ikili sınıflandırma (cross-entropy) kaybı optimizasyonuna indirgeyerek yapay zekâ eğitiminde devrim yaratmıştır.

1. Neden DPO? (Klasik RLHF ve PPO’nun Çıkmazı)

Geleneksel RLHF yönteminde (PPO tabanlı) süreç oldukça hantal, kararsız ve hesaplama açısından maliyetlidir:

• Çoklu Model Yönetimi: Bellekte aynı anda 4 farklı model tutulması gerekir: Eğitilen aktif model, referans donmuş model, ödül modeli (Reward Model) ve değer modeli (Critic Model). Bu durum devasa GPU belleği (VRAM) tüketir.
• Eğitim Kararsızlığı: Pekiştirmeli öğrenme (özellikle PPO), hiperparametre değişimlerine karşı aşırı hassastır; eğitim sık sık sapma yapar (gradient explosion) veya çöker.
• Ödül Hilesi (Reward Hacking): Model, ödül modelinin açıklarını keşfederek anlamsız ama yüksek puan alan yanıtlar üretmeye başlayabilir.

DPO, şu temel matematiksel soruyu sorar: “Madem ödül modeli sadece tercihleri yansıtıyor, aradaki ödül modelini tamamen atıp dil modelini doğrudan tercih verisiyle eğitemez miyiz?”

2. DPO Nasıl Çalışır? (Matematiksel Mantık)

DPO’nun arkasındaki ana fikir, Bradley-Terry tercih modeli ile pekiştirmeli öğrenmedeki optimal politika (policy) arasındaki kapalı formdaki analitik ilişkiyi çözmektir.

PPO optimizasyonunda kullanılan ödül fonksiyonu matematiksel olarak doğrudan modelin olasılıklarına bağlanabilir:

r(x,y)=βlogπref​(y∣x)πθ​(y∣x)​

Bu eşitlik sayesinde bağımsız bir ödül modeli eğitmek yerine, doğrudan dil modelinin kayıp fonksiyonu (loss function) şu şekilde tanımlanır:

LDPO​(θ)=−E(x,yw​,yl​)​[logσ(βlogπref​(yw​∣x)πθ​(yw​∣x)​−βlogπref​(yl​∣x)πθ​(yl​∣x)​)]

• x: Kullanıcı istemi (prompt)
• yw​: Tercih edilen, kazanan yanıt (winning / chosen response)
• yl​: Reddedilen, kaybeden yanıt (losing / rejected response)
• πθ​: Eğitilmekte olan dil modeli
• πref​: Donmuş, değiştirilmeyen temel model (aşırı sapmayı önleyen referans)
• β: Referans modelden ne kadar uzaklaşılabileceğini denetleyen katsayı (KL regülarizasyonu)

Pratikteki anlamı: DPO, tercih edilen yanıtın (yw​) üretilme olasılığını artırırken, reddedilen yanıtın (yl​) olasılığını aktif olarak düşürür. Bunu yaparken modeli referans modelden çok uzaklaşmamaya zorlar.

3. Klasik RLHF (PPO) ile DPO Karşılaştırması

[Klasik RLHF / PPO Akışı]
Tercih Verisi ──> [Ödül Modeli Eğitimi] ──> [PPO Algoritması + 4 Model Bellekte] ──> Nihai Model

[DPO Akışı]
Tercih Verisi ─────────────────────────────> [Doğrudan Sınıflandırma Kaybı] ───────> Nihai Model

4. DPO’nun Güçlü Yönleri ve Sınırları

• Avantajları: Açık kaynak dünyasında (Hugging Face, Mistral, Llama türevleri) hızla standart haline gelmiştir. Küçük ve orta ölçekli araştırma ekiplerinin devasa GPU kümleri olmadan da son teknoloji modelleri uyumlayabilmesini sağlar.
• Sınırları ve Aşırı Uyum (Overfitting): DPO, veri setindeki tercih çiftlerine doğrudan kilitlendiği için veri kalitesine PPO’dan daha duyarlıdır. Tercih verisi gürültülü veya çelişkili ise model hızla aşırı uyuma (overfitting) girebilir ve yaratıcılığını/çeşitliliğini kaybedebilir.

Günümüzde geliştirilen KTO (Kahneman-Tversky Optimization) veya IPO (Identity Preference Optimization) gibi yeni nesil hizalama teknikleri de doğrudan DPO’nun açtığı bu yalın matematiksel yol üzerinden ilerlemektedir.