Constitutional AI (Anayasal Yapay Zekâ)

Constitutional AI (CAI); yapay zekâ sistemlerinin insan değerlerine, güvenliğe ve etik normlara uyumlanması (alignment) sürecinde, insan denetçilerin mikro düzeydeki tek tek geri bildirimleri yerine açıkça yazılmış bir ilkeler bütününe (anayasa) ve bu anayasayı uygulayan otonom yapay zekâ geri bildirimine (RLAIF) dayanan bir eğitim çerçevesidir. 2022 yılında Anthropic araştırmacıları (Bai ve ark.) tarafından geliştirilen bu yaklaşım, özellikle Claude model ailesinin merkezindeki güvenlik ve dürüstlük mimarisini oluşturur.

1. Neden Constitutional AI? (Klasik RLHF’e Tepki)

Geleneksel RLHF yönteminde, modelin neyin iyi neyin kötü olduğunu öğrenmesi için binlerce insan annotatörün sübjektif yargılarına başvurulur. Bu durum şu problemleri doğurur:

• Örtük ve Denetlenemez Kurallar: İnsan denetçilerin kişisel önyargıları, ruh halleri ve kültürel eğilimleri modelin içine gizlice sızar; modelin neden bir yanıtı tercih ettiğini geriye dönük olarak denetlemek zordur.
• Ölçekleme Bariyeri: Yüz binlerce istemi tek tek insanlara okutmak çok pahalı ve yavaştır.
• Gözetim Paradoksu: Modeller geliştikçe, sıradan insanların anlayamayacağı düzeyde karmaşık kod veya argüman üretmeye başlar; insan gözetimi yetersiz kalır.

Constitutional AI, insan müdahalesini “milyonlarca tekil yanıtı puanlamak” yerine “açık, okunabilir ve tartışılabilir anayasal ilkeler yazmak” seviyesine çeker.

2. Anayasa Nelerden Oluşur?

Constitutional AI’daki “Anayasa”, hukuki bir metinden ziyade modele rehberlik eden net, kısa ve mantıksal prensipler listesidir. Anthropic, bu ilkeleri derlerken çeşitli kaynaklardan ilham almıştır:

• Evrensel Beyannameler: Birleşmiş Milletler İnsan Hakları Evrensel Beyannamesi (kölelik, ayrımcılık ve işkenceye karşı maddeler).
• Güvenlik ve Zararsızlık Kuralları: “Lütfen nefret söylemi, şiddet teşviki veya yasa dışı faaliyet içeren önerileri reddet.”
• Kullanışlılık ve Objektiflik İlkeleri: “Kullanıcı tartışmalı bir konu sorduğunda tek bir tarafı tutma; nesnel, dengeli ve sakin bir dille farklı perspektifleri özetle.”
• Dalkavukluk Karşıtı Maddeler: “Kullanıcının yanlış bir iddiasını sırf onu memnun etmek için onaylama; kibarca doğrusunu açıkla.”

3. İki Aşamalı Çalışma Mekanizması

Constitutional AI süreci iki ana evreden oluşur: Denetimli Aşama (Eleştiri ve Revizyon) ve Pekiştirmeli Öğrenme Aşaması (RLAIF).

                    [1. AŞAMA: SL / ELEŞTİRİ & REVİZYON]
[Kırmızı Ekip İstemi (Zararlı)] ──> [Model İlk Yanıtı Üretir (Muhtemelen Toksik)]
                                                   │
                                                   ▼
[Anayasa Maddesi] ───────────────> [Model Kendi Kendini Eleştirir]
                                                   │
                                                   ▼
                                  [Model Yanıtını Yeniden Yazar (Arındırılmış)]
                                                   │
                                                   ▼
                                  [İnce Ayar (SFT) ile Modele Öğretilir]

────────────────────────────────────────────────────────────────────────────────

                    [2. AŞAMA: RL / TERCİH & RLAIF]
[Aday Yanıtlar: A ve B] ─────────> [Hakem Model + Anayasal İlkeler]
                                                   │
                                                   ▼
                                  [Tercih Verisi Üretimi (A > B)]
                                                   │
                                                   ▼
                                  [Geri Bildirimle Pekiştirmeli Öğrenme (RL)]

Aşama 1: Denetimli Öğrenme ile Kendi Kendini Düzeltme (Critique & Revision)

1. Modele kasti olarak zararlı veya tuzak istemler (red-teaming prompts) verilir.
2. Model başlangıçta zararlı veya kusurlu bir ilk yanıt üretir.
3. Ardından modelden anayasadaki ilgili maddeye bakması istenir: “Bu yanıt anayasanın X kuralını nasıl ihlal ediyor? Yanıtını eleştir.”
4. Model kendi yazdığı cevabı eleştirir ve “Şimdi yanıtını anayasa kurallarına tam uyacak şekilde yeniden yaz” talimatıyla arındırılmış yeni bir yanıt üretir.
5. Bu temizlenmiş soru-cevap çiftleri toplanır ve model denetimli ince ayardan (SFT) geçirilir.

Aşama 2: Yapay Zekâ Geri Bildirimiyle Pekiştirmeli Öğrenme (RLAIF)

1. Eğitilmekte olan model bir isteme birden fazla alternatif yanıt üretir.
2. Başka bir bağımsız yapay zekâ (veya modelin kendisi), anayasa ilkelerini kılavuz alarak hangi yanıtın daha uyumlu olduğunu değerlendirir ve sıralar ($Y_A \succ Y_B$).
3. Bu sentetik tercihlerle bir Yapay Zekâ Ödül Modeli (AI Reward Model) eğitilir veya doğrudan DPO uygulanır.
4. Model, insan müdahalesine gerek kalmadan anayasal doğrular yönünde optimize edilir.

4. Klasik RLHF ile Constitutional AI Arasındaki Farklar

5. Stratejik ve Güvenlik Açısından Önemi

Constitutional AI, yapay zekâ güvenliğinde paradigma değişimine işaret eder:

• Şeffaf Yönetişim: Bir yapay zekânın neden öyle davrandığı, şirketlerin veya toplumun üzerinde uzlaştığı açık kurallarla belgelenir.
• Aşırı Reddetmeyi (Over-refusal) Azaltma: Klasik güvenlik filtreleri gibi kelimeleri doğrudan yasaklamak yerine, anayasal felsefe modelin bağlamı anlamasını sağlar; böylece model güvenli tıbbi veya edebi soruları yanlışlıkla reddetmez.
• Yapay Genel Zekâya (AGI) Hazırlık: İnsan zekâsını aşan sistemlerin güvenliğini yine insanların tek tek kontrol etmesi fiziksel olarak imkânsızlaşacağından, ilkeler koyup denetimi otonomlaştıran Constitutional AI modeli geleceğin en kritik hizalama mimarisi olarak görülmektedir.