RLHF (Reinforcement Learning from Human Feedback)

RLHF (İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme); büyük dil modelleri (LLM) başta olmak üzere üretken yapay zekâ sistemlerinin salt istatistiksel metin tahmininden çıkarılıp insan niyetine, etik standartlarına, doğruluğa ve faydaya uyumlu (alignment) hale getirilmesini sağlayan temel eğitim metodolojisidir.

1. Neden RLHF’e İhtiyaç Duyulur? (Temel Problem)

Büyük dil modelleri ön eğitim (pre-training) aşamasında internetten toplanan trilyonlarca kelimeyle eğitilir. Bu aşamada modelin tek amacı vardır: “Bir sonraki kelimeyi (token) olasılıksal olarak en doğru şekilde tahmin etmek.”

Bu durum üç temel sorun yaratır:

1. İstatiski Yanılgı (Unhelpfulness): Kullanıcı “Bana kek tarifi ver” dediğinde, model internette sıkça rastladığı bir forum tartışmasını kopyalayıp “Kek yapmayı bilmeyen de ne bileyim!” şeklinde devam ettirebilir; çünkü bu da dilbilgisel olarak olası bir devamdır.
2. Toksisite ve Zararlı İçerik (Harms): İnternet külliyatında nefret söylemi, ırkçılık, yanıltıcı bilgi ve yasa dışı faaliyetler mevcuttur; model bunları da öğrenir.
3. Halüsinasyon (Hallucination): Bilmediği konularda dahi gerçeğe benzeyen uydurma bilgiler üretir.

İşte RLHF, modeli “en olası kelimeyi tahmin eden sistem” olmaktan çıkarıp “insan için en faydalı, doğru ve güvenli cevabı veren asistan” haline getirir.

2. RLHF Nasıl Çalışır? (3 Aşamalı Mimari)

RLHF süreci klasik olarak üç ana basamakta yürütülür:

[1. Adım: Denetimli İnce Ayar (SFT)]
   İnsan uzmanlar soru-cevap çiftleri yazar -> Temel model eğitilir.
                │
                ▼
[2. Adım: Ödül Modelinin Eğitimi (Reward Model - RM)]
   Model birden fazla yanıt üretir -> İnsanlar yanıtları sıralar (A > B > C)
   -> İnsan tercihlerini tahmin eden bağımsız bir 'Ödül Modeli' eğitilir.
                │
                ▼
[3. Adım: Pekiştirmeli Öğrenme ile Optimizasyon (PPO / DPO)]
   Model yeni çıktılar üretir -> Ödül Modeli puan verir
   -> PPO algoritması modelin parametrelerini yüksek puana göre günceller.

Aşama 1: Denetimli İnce Ayar (Supervised Fine-Tuning – SFT)

• İnsan etiketleyiciler çeşitli konularda kaliteli istemler ve bunlara verilebilecek ideal yanıtlar hazırlar (örneğin 10.000–50.000 adet yüksek kaliteli veri).
• Ham dil modeli bu veriyle eğitilerek bir “asistan gibi davranma” refleksini kazanır.

Aşama 2: Ödül Modelinin (Reward Model) Eğitimi

• Tek tek her yanıta bir insanı oturtup puan verdirmek milyarlarca parametreli optimizasyon için imkânsızdır. Bu yüzden insan zevkini ve yargısını taklit eden ikinci bir yapay zekâ (Ödül Modeli) inşa edilir.
• Modele bir istem verilir ve model 4 farklı yanıt üretir ($Y_A, Y_B, Y_C, Y_D$).
• İnsan denetçiler bu yanıtları kalitesine göre sıralar: Örneğin $Y_B > Y_A > Y_D > Y_C$.
• Ödül modeli, bu insan tercihlerini girdi olarak alıp bir yanıta 0 ile 1 arasında (veya reel bir skaler) “kalite/ödül puanı” verebilecek şekilde eğitilir.

Aşama 3: Pekiştirmeli Öğrenme ile İnce Ayar (PPO)

• Esas dil modeli sahaya sürülür ve istemlere yanıtlar üretir.
  2. Aşamada eğitilen Ödül Modeli bu yanıtlara anında puan verir.
• PPO (Proximal Policy Optimization) gibi pekiştirmeli öğrenme algoritmaları, modelin ağırlıklarını yüksek ödül alacak çıktılara doğru kaydırır.
• Aşırı sapmayı önlemek için KL Iraksaması (KL Divergence) cezası uygulanır; böylece model ödülü maksimize ederken temel dil yeteneğini ve akıcılığını kaybetmez (Reward Hacking engellenir).

3. Değerlendirme Kriterleri: “3H” Kuralı

RLHF sürecinde insan etiketleyicilerin ve ödül modelinin referans aldığı üç evrensel sütun vardır:

4. RLHF’in Sınırları ve Güncel Alternatifleri

RLHF son derece başarılı bir yöntem olmakla birlikte bazı teknik ve operasyonel zorluklar barındırır:

• İnsan Önyargısı ve Veri Maliyeti: Binlerce uzmanın yanıtları sıralaması son derece pahalı ve yavaştır. Ayrıca etiketleyicilerin kültürel ve kişisel önyargıları modele yansıyabilir.
• Sycophancy (Dalkavukluk Eğilimi): Model, sırf kullanıcıdan veya ödül modelinden yüksek puan almak için kullanıcının yanlış fikirlerini onaylama ya da aşırı politik doğrucu/çekingen davranma eğilimi gösterebilir.
• Yeni Yaklaşımlar (DPO ve RLAIF):
  • DPO (Direct Preference Optimization): Bağımsız bir ödül modeli ve karmaşık pekiştirmeli öğrenme döngüsü kurmadan, tercih verisini doğrudan ana model üzerinde optimize eden daha kararlı ve hızlı bir matematiksel yöntemdir.
  • RLAIF (Reinforcement Learning from AI Feedback): İnsan geri bildirimi yerine güçlü bir yapay zekânın (örneğin GPT-4 sınıfı bir modelin) anayasal kurallara göre puanlama yaptığı otomasyon modeli (Constitutional AI).