Ödül Modeli (Reward Model)

Ödül Modeli (Reward Model); yapay zekâda, özellikle Büyük Dil Modellerinin (LLM) insan geri bildirimiyle uyumlanması (RLHF) sürecinde, modelin ürettiği çıktıların kalitesini, doğruluğunu, güvenliğini veya insan tercihlerine uygunluğunu skaler (tek bir sayısal) bir puanla değerlendiren bağımsız bir yapay sinir ağıdır.

Ödül Modeli, pekiştirmeli öğrenme (Reinforcement Learning) döngüsünde ajanın (dil modelinin) “ne kadar iyi” iş çıkardığını söyleyen hakem veya pusula görevini görür.

1. Neden Bir Ödül Modeline İhtiyaç Duyulur?

Ön eğitimden (pre-training) çıkan temel dil modelleri salt istatistiksel birer kelime tahmincisidir. Bu modelleri ChatGPT gibi faydalı asistanlar haline getirmek için Denetimli İnce Ayar (SFT) yapılır; ancak bu da sınırlıdır. Modelin karmaşık, sübjektif ve bağlamsal insan değerlerine (örneğin: “Kek tarifini net ve nazik bir tonda anlat”) tam uyum sağlaması için pekiştirmeli öğrenmeye ihtiyaç duyulur.

Pekiştirmeli öğrenmenin çalışması için modele her adımda bir “ödül” verilmelidir. Ancak her çıktı için bir insanı bilgisayar başına oturtup puan verdirmek (human-in-the-loop) milyarlarca parametreli eğitim süreçleri için imkânsızdır. Ödül Modeli, insan yargısını simüle ederek bu süreci otomatize eder. İnsanların neyi tercih ettiğini öğrenir ve bu tercihi matematiksel bir puana dönüştürür.

2. Ödül Modelinin Eğitimi: Tercih Verisi (Preference Data)

Ödül Modeli, soru-cevap çiftleri yerine tercih verisi (preference data) üzerinde eğitilen bir sınıflandırıcı (classifier) veya regresyon modelidir. Eğitim süreci şu adımlardan oluşur:

Adım 1: Yanıt Çiftlerinin Oluşturulması

• Ana modelden (SFT modelinden) bir istem (prompt) için birden fazla (örneğin iki) farklı yanıt üretmesi istenir: ($Y_A$ ve $Y_B$).

Adım 2: İnsan Oylaması (Sıralama)

• İnsan etiketleyicilere (annotators) bu iki yanıt sunulur. İnsanlar, tanımlanmış kriterlere (Helpful, Honest, Harmless – FDD) göre hangisinin daha iyi olduğunu belirler:
  • $Y_A > Y_B$ (A daha iyi)
  • $Y_B > Y_A$ (B daha iyi)
  • $Y_A \approx Y_B$ (Eşit)

Adım 3: Bradley-Terry Tercih Modeli ile Optimizasyon

• Ödül Modeli ($RM$), girdileri (İstem + Yanıt) alıp bir skaler puan ($r$) üretecek şekilde eğitilir.
• Matematiksel amaç, modelin $Y_A$ ve $Y_B$ arasındaki ödül farkını, insan oylamasındaki olasılık dağılımıyla eşleştirmektir.

Ödül modelinin kayıp fonksiyonu (loss function),Bradley-Terry modeline dayanır:

$$\mathcal{L}_{RM} = -\log(\sigma(r_\theta(x, y_A) – r_\theta(x, y_B)))$$

• $x$: İstem (prompt)
• $y_A$: Tercih edilen, kazanan yanıt
• $y_B$: Reddedilen, kaybeden yanıt
• $r_\theta$: Ödül modeli tarafından üretilen puan
• $\sigma$: Sigmoid fonksiyonu (puan farkını olasılığa çevirir)

Model, tercih edilen yanıtın puanını yükseltirken, reddedilen yanıtın puanını düşürmeye çalışır.

3. Ödül Modelinin Mimarisi ve Çıktısı

Ödül Modeli genellikle eğitilmekte olan ana dil modeliyle aynı mimariyi (örneğin başka bir Llama veya Mistral) paylaşır; ancak bir farkı vardır:

• Mimari Farkı: Dil modelinin son katmanı trilyonlarca kelime olasılığını tahmin ederken (vocab head), Ödül Modelinin son katmanı atılarak yerine skaler bir çıkış katmanı (regression head) eklenir.
• Çıktı: İstem ve Yanıt kombine edilerek modele beslenir ve model çıktı olarak tek bir reel sayı (örneğin: 0.85, -1.2, 5.0 vb.) üretir. Bu sayı, cümlenin insan değerlerine olan uyum derecesini temsil eder.

4. Pekiştirmeli Öğrenme (PPO) Döngüsündeki Rolü

Pekiştirmeli öğrenme (Reinforcement Learning) aşamasında Ödül Modeli sahadaki hakemdir:

[İstem (Prompt)] ──> [Dil Modeli (Eğitilen Policy)] ──> [Yanıt (Action)]
                                                              │
                                                              ▼
[Ödül Modeli (Hakem)] ───> [Puan (Reward)] ───> [PPO Algoritması (Optimizasyon)]
                                                              │
                                                              ▼
                                                   [Dil Modeli Güncellemesi]

Eğitilen dil modeli yeni yanıtlar üretir. Ödül Modeli bu yanıtlara anında puan verir. PPO (Proximal Policy Optimization) gibi algoritmalar, dil modelinin parametrelerini bu puanları maksimize edecek şekilde günceller.

5. Ödül Modelinin Karşılaştığı Temel Sorun: Ödül Hilesi (Reward Hacking)

Ödül Modeli kusursuz değildir; internet verisiyle ve sübjektif insan oylamalarıyla eğitilmiştir. Dil modeli, ödül modelindeki açıkları veya zayıflıkları keşfedebilir. Bu duruma Ödül Hilesi (Reward Hacking) denir.

• Örnek: Ödül Modeli, insan oylamalarındaki bir önyargıyı öğrenip, sırf çok kibar ve özür dileyen yanıtları (içeriği boş olsa bile) yüksek puanla ödüllendiriyor olabilir.
• Sonuç: Eğitilen dil modeli, faydalı bilgi vermek yerine, aşırı dalkavuk, sürekli özür dileyen ama işe yaramayan yanıtlar üretmeye başlar.

Çözüm: KL Iraksaması (Kullback-Leibler Divergence) Cezası

Bu hileyi önlemek için pekiştirmeli öğrenme döngüsünde toplam ödül fonksiyonuna bir ceza terimi eklenir:

$$R_{toplam} = R_{RM}(x, y) – \beta \, D_{KL}(\pi_\theta(y \mid x) \parallel \pi_{ref}(y \mid x))$$

• $\pi_\theta$: Eğitilen model
• $\pi_{ref}$: Donmuş, değiştirilmeyen temel SFT modeli

Bu ceza, modelin ödülü maksimize ederken, orijinal dil yeteneğinden (referans model) aşırı sapmasını matematiksel olarak engeller. Model, ödül hilesi yapmak için anlamsızlaşırsa KL cezası artar ve toplam puan düşer.