Tercih Veri Seti (Preference Dataset)

Tercih Veri Seti (Preference Dataset); büyük dil modellerini (LLM) insan beklentilerine, etik sınırlara ve kullanım amaçlarına uyumlamak (alignment) amacıyla kullanılan, bir girdiye karşılık üretilen alternatif yanıtların “hangisinin daha iyi/uygun olduğunu” gösteren ikili veya sıralı veri kümeleridir.

Klasik denetimli öğrenmede (Supervised Learning) modele yalnızca “tek bir doğru yanıt” verilirken, tercih veri setlerinde model bir durum karşısındaki kalite farkını ve insan tercihinin yönünü öğrenir. Bu veri setleri; Ödül Modeli (Reward Model) eğitiminin, DPO (Direct Preference Optimization), KTO, ORPO ve RLAIF süreçlerinin temel yakıtıdır.

1. Neden Tek Bir İdeal Yanıt Yetmez?

Geleneksel Denetimli İnce Ayar (SFT) veri setleri (İstem, İdeal Yanıt) çiftlerinden oluşur. Ancak dilde ve akıl yürütmede tek bir “doğru” yoktur; aynı soruya verilebilecek onlarca farklı doğru üslup veya yaklaşım bulunabilir.

• Sınırları Öğretme Güçlüğü: Modele sadece iyi yanıtları gösterdiğinizde, neyin “kötü”, “tehlikeli” veya “gereksiz yere lafı uzatan” bir yanıt olduğunu anlamakta zorlanır.
• Nüans Ayrımı: Bir yanıt doğru bilgi içerse bile aşırı kaba, gereksiz teknik ya da yanıltıcı olabilir.
• Çözüm: Tercih veri setleri, modele neyin tercih edildiğini ($y_w$) gösterirken aynı zamanda neyin elendiğini ($y_l$) de sunarak modelin aradaki sınır çizgisini (decision boundary) çok daha keskin öğrenmesini sağlar.

2. Standart Veri Seti Mimarisi ve Formatı

Bir tercih veri setinin en temel yapı taşı bir üçlü (triplet) veya sıralı listedir:

$$\mathcal{D} = \{(x, y_w, y_l)\}$$

• $x$ (Prompt / Context): Kullanıcının yönelttiği soru, talimat veya görev.
• $y_w$ (Chosen / Winning Response): Tercih edilen, daha kaliteli, güvenli veya amaca uygun yanıt.
• $y_l$ (Rejected / Losing Response): Elenen, daha kalitesiz, hatalı, halüsinasyon içeren veya zararlı yanıt.

Örnek JSON Şeması:

JSON

{
  "prompt": "Bana bir toplantı erteleme e-postası taslağı yazar mısın?",
  "chosen": "Merhaba [İsim], bugün saat 14:00'te yapmayı planladığımız toplantıyı acil gelişen bir operasyonel durum nedeniyle ileri bir tarihe ertelememiz gerekiyor. Yarın aynı saat sizin için uygun mudur? Anlayışınız için teşekkür ederim.",
  "rejected": "Bugün gelemem toplantı iptal. Yarın bakarız.",
  "metadata": {
    "eval_criteria": "tone_and_politeness",
    "annotator_id": "annotator_42",
    "confidence_score": 0.95
  }
}

Daha gelişmiş veri setlerinde ikili eşleşme yerine $K$ adet yanıtın tam bir sıralaması yer alabilir:

$$y_1 \succ y_2 \succ y_3 \succ y_4$$

3. Tercih Verisi Nasıl Toplanır ve Üretilir?

Tercih veri setleri üç ana kaynak üzerinden inşa edilir:

                  ┌────────────────────────┐
                  │ Tercih Verisi Kaynağı  │
                  └───────────┬────────────┘
         ┌────────────────────┼────────────────────┐
         ▼                    ▼                    ▼
[İnsan Etiketleyiciler] [Kitle Kaynağı / Arena] [Sentetik / RLAIF]
(RLHF Uzmanları)        (LMSYS Kör Testleri)   (Güçlü LLM Hakemliği)

1. İnsan Uzmanlar (Human Annotation):
   • Alanında uzmanlaşmış denetçiler yanıtları “Faydalılık (Helpfulness)”, “Doğruluk (Honesty)” ve “Zararsızlık (Harmlessness)” ilkelerine göre puanlar veya sıralar.
   • Maliyeti yüksektir ancak yüksek doğruluk ve kültürel bağlam içerir.
2. Kitle Kaynaklı Kör Testler (Crowdsourcing):
   • LMSYS Chatbot Arena gibi platformlarda kullanıcıların iki anonim model arasında yaptığı “A daha iyi” / “B daha iyi” tercihleri doğrudan devasa bir tercih veri tabanına dönüşür.
3. Sentetik Üretim ve Yapay Zekâ Geri Bildirimi (AI-Assisted / RLAIF):
   • Üretilen yanıtlar, önceden belirlenmiş bir kural seti (Anayasa) doğrultusunda GPT-4 veya Claude gibi güçlü bir hakem modele (LLM-as-a-Judge) okutulur ve tercih sentetik olarak üretilir (UltraFeedback, LMSYS-1M türevleri).

4. Hizalama Yöntemlerinde Tercih Veri Setinin Kullanımı

Tercih veri seti, seçilen optimizasyon mimarisine göre iki farklı yoldan işlenir:

• RLHF / PPO Boru Hattında:
  • Tercih veri seti önce Ödül Modelini (Reward Model) eğitmek için kullanılır.
  • Ödül modeli Bradley-Terry olasılık modeline göre $y_w$ ile $y_l$ arasındaki puan farkını maksimize etmeyi öğrenir.
  • Ardından ana model bu ödül modelinden gelen anlık puanlarla eğitilir.
• DPO (Direct Preference Optimization) Boru Hattında:
  • Araya ödül modeli koyulmaz.
  • Tercih veri setindeki $(x, y_w, y_l)$ üçlüleri doğrudan modelin kayıp fonksiyonuna (loss function) beslenir; model doğrudan $y_w$ olasılığını artırıp $y_l$ olasılığını bastırır.

5. Literatürdeki Popüler Tercih Veri Setleri

Açık kaynak dünyasında modellerin uyumlanmasında en sık kullanılan standart referans veri setleri şunlardır:

6. Karşılaşılan Temel Riskler ve Kalite Sorunları

• Uzunluk Yanlılığı (Length Bias): İnsanlar da yapay zekâ hakemleri de uzun ve biçimlendirmesi bol yanıtları “daha kaliteli” sanma eğilimindedir. Eğer filtrelenmezse model gereksiz yere lafı uzatan (geveze) bir karaktere bürünür.
• Gürültü ve Çelişkili Etiketler (Label Noise): Farklı etiketleyicilerin zevkleri ve dünya görüşleri çatışabilir. Aynı isteme bir denetçi $y_A > y_B$ derken diğeri $y_B > y_A$ diyebilir; bu durum modelin loss değerinde kararsızlığa yol açar.
• Yankı Odası ve Aşırı Uyum (Overfitting): Sentetik olarak sadece tek bir güçlü modelin tercihleriyle eğitilen bir veri seti, o hakem modelin tüm sistematik bilişsel hatalarını yeni modele aktarır.