Debate Prompting – (Tartışma İstemleme)

Tartışma İstemleme, bir problemin tek bir yapay zekâ yanıtıyla çözülmesi yerine, farklı görüşleri veya çözüm yollarını temsil eden birden fazla yapay zekâ rolünün/ajanının birbirlerinin argümanlarını eleştirmesi, karşı kanıt üretmesi ve tartışma sonunda daha güçlü bir sonuca ulaşması esasına dayanan prompting yaklaşımıdır.

Temel mantığı: Problem → Farklı görüşler oluştur → Bağımsız argümanlar üret → Karşılıklı eleştiri → Yanıtları revize et → Hakem/değerlendirici → Nihai sonuç

Örneğin doğrudan: “Uzaktan çalışma çalışan performansını artırır mı?” demek yerine Debate Prompting şöyle uygulanabilir: “Bu soruyu iki bağımsız akademik uzman arasında tartıştır. Birinci uzman uzaktan çalışmanın çalışan performansını artırabileceğini, ikinci uzman ise azaltabileceğini savunsun. Her uzman iddiasını kuramsal gerekçeler ve ampirik kanıtlarla desteklesin. Ardından birbirlerinin argümanlarındaki zayıflıkları belirlesinler. Son aşamada tarafsız bir hakem, hangi iddiaların daha güçlü kanıtlara dayandığını değerlendirerek dengeli bir sonuç oluştursun.” Buradaki amaç yapay zekâya rastgele bir “münazara” yaptırmak değil, ilk cevabın eleştiriye maruz bırakılmasıdır.

Akademik kullanım örneği

Debate Prompting özellikle tartışmalı araştırma sonuçlarını değerlendirirken kullanılabilir: “Araştırmamda X’in Y üzerindeki etkisi anlamlı bulunmadı. Üç akademik uzman oluştur. Birinci uzman sonucu kuramsal açıdan açıklasın. İkinci uzman sonucun yöntemsel veya istatistiksel sorunlardan kaynaklanabileceğini savunsun. Üçüncü uzman alternatif açıklamalar geliştirsin. Her uzman diğerlerinin açıklamalarını eleştirsin. Ardından tarafsız bir akademik hakem, yalnızca mevcut bulgularla desteklenebilen açıklamaları değerlendirerek en güçlü yorumu oluştursun.” Bu yöntem araştırmacının yalnızca kendi beklediği açıklamayı destekleyen yorumlara yönelmesini azaltmak açısından yararlı olabilir.

Hakemlikte Debate Prompting

Hakemlik için oldukça işlevsel bir kullanım biçimi şöyledir: “Bu makaleyi üç bağımsız hakem rolüyle değerlendir. Hakem 1 kuramsal katkıya, Hakem 2 yöntem ve istatistiksel analizlere, Hakem 3 bulgular, tartışma ve sonuçların tutarlılığına odaklansın. Ardından hakemler birbirlerinin değerlendirmelerindeki aşırı veya yetersiz eleştirileri sorgulasın. Son aşamada editör rolü, yalnızca makaleden doğrulanabilen sorunları dikkate alarak kabul, minör revizyon, majör revizyon veya ret seçeneklerinden birini gerekçelendirsin.” Burada önemli avantaj, aynı makalenin farklı epistemik perspektiflerden değerlendirilmesidir.

Sınav sorusu kontrolünde kullanım

Debate Prompting sınav sorularının kalite kontrolünde de kullanılabilir: “Hakem A bu çoktan seçmeli sorunun tek doğru cevaplı olduğunu savunsun. Hakem B soruda ikinci bir doğru veya tartışmalı seçenek bulunup bulunmadığını araştırarak Hakem A’nın görüşüne itiraz etsin. Hakem C soru kökü ve çeldiricileri ölçme-değerlendirme ilkeleri açısından değerlendirsin. Son olarak tarafsız bir değerlendirici sorunun kullanılabilir olup olmadığına karar versin.” Bu yaklaşım özellikle çift doğru cevapların ve tartışmalı çeldiricilerin yakalanmasında yararlı olabilir.

Debate Prompting ile Self-Reflection farkı

• Self-Reflection: Cevap üret → Kendi cevabını eleştir → Düzelt. Aynı model/rol kendi çıktısını değerlendirmektedir.
• Debate Prompting: Görüş A ↔ Görüş B ↔ Görüş C → Karşılıklı eleştiri → Hakem → Sonuç. Farklı perspektifler birbirlerini sınamaktadır.

Self-Consistency ile farkı

Self-Consistency’de birden fazla çözüm yolu üretilir ve çoğunlukla cevaplar arasındaki tutarlılık/çoğunluk dikkate alınır. Debate Prompting’de ise amaç çoğunluğu bulmak değildir. Ajanların birbirlerinin gerekçelerini görmesi ve eleştirmesi beklenir. Dolayısıyla üç ajandan ikisinin aynı şeyi söylemesi, o görüşün otomatik olarak doğru olduğu anlamına gelmez.

Multi-Agent Debate

Debate Prompting’in daha sistematik biçimlerinden biri Multi-Agent Debate yaklaşımıdır. Basitleştirilmiş yapı:

Ajan 1 → İlk çözüm

Ajan 2 → İlk çözüm

Ajan 3 → İlk çözüm

↓

Birbirlerinin cevaplarını görürler

↓

Eleştiri + karşı argüman

↓

Yanıtları revize ederler

↓

Yeni tartışma turu

↓

Nihai karar

Du ve arkadaşlarının çalışmasında birden fazla dil modeli örneğinin birkaç tartışma turunda birbirlerinin cevaplarını değerlendirmesinin matematiksel ve stratejik muhakeme gibi çeşitli görevlerde incelendiği görülmektedir.

En etkili Debate Prompt nasıl yazılır?

İyi bir Debate Prompt’ta beş unsur bulunmalıdır:

• 1. Roller: Kimler tartışıyor?
• 2. Perspektifler: Her rol neyi değerlendirecek?
• 3. Bağımsız başlangıç: İlk görüşler mümkünse birbirinden etkilenmeden oluşturulmalı.
• 4. Eleştiri: Ajanlar birbirlerinin gerekçelerini sorgulamalı.
• 5. Karar mekanizması: Sonuç yalnızca “çoğunluk kazandı” şeklinde değil, kanıt kalitesine göre değerlendirilmelidir.

Örneğin: “Üç bağımsız uzman olarak problemi önce birbirinizin yanıtını görmeden değerlendirin. Daha sonra diğer uzmanların değerlendirmelerini inceleyin. Her uzman diğer görüşlerdeki olgusal hata, mantıksal tutarsızlık, eksik kanıt ve alternatif açıklamaları belirlesin. İkinci turda kendi görüşünü eleştiriler ışığında revize etsin. Son olarak bağımsız bir hakem, görüşleri kanıt gücü ve mantıksal tutarlılık açısından karşılaştırarak nihai cevabı oluştursun. Uzmanların uzlaşması zorunlu değildir; çözülemeyen belirsizlikleri açıkça belirt.” Bu son cümle önemlidir. Aksi hâlde yapay zekâ ajanları yapay bir konsensüs üretmeye eğilim gösterebilir.

Sınırlılığı

Debate Prompting otomatik bir doğruluk garantisi değildir. Birden fazla ajan aynı yanlış varsayımdan hareket edebilir, birbirlerinin hatalarını tekrar edebilir veya gerçekte bulunmayan kaynaklar konusunda birbirlerini “onaylayabilir”. Bu nedenle özellikle akademik kullanımda:

• Debate → daha güçlü muhakeme olabilir; fakat
• Debate ≠ doğrulanmış bilgi ayrımı korunmalıdır.

Kaynakların gerçekten var olup olmadığı ve ampirik iddiaların doğru aktarılıp aktarılmadığı ayrıca doğrulanmalıdır.

En kısa tanımı

Debate Prompting = “Tek bir yapay zekâ görüşüne güvenme; farklı yapay zekâ perspektiflerini karşı karşıya getir, birbirlerini eleştirmelerini sağla ve nihai kararı argümanların gücüne göre ver.”

Temel kaynak: Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., & Mordatch, I. (2024). Improving Factuality and Reasoning in Language Models through Multiagent Debate. Proceedings of the 41st International Conference on Machine Learning (ICML).