Multi-Agent Debate – (Çok Ajanlı Tartışma)

Çok Ajanlı Tartışma, aynı problem üzerinde birden fazla yapay zekâ ajanının önce bağımsız çözümler üretmesi, ardından birbirlerinin yanıtlarını inceleyerek eleştirmesi ve görüşlerini bir veya daha fazla tartışma turunda revize etmesi esasına dayanan bir muhakeme yaklaşımıdır. Amaç, tek bir model çıktısına bağlı kalmak yerine farklı çözüm yollarını karşı karşıya getirerek hataların ve zayıf gerekçelerin ortaya çıkarılmasını sağlamaktır.

Temel mantığı: Problem → Bağımsız ajanlar → Farklı çözümler → Karşılıklı eleştiri → Revizyon → Yeni tartışma turu → Karar/uzlaşma

Nasıl çalışır?

Örneğin üç ajan kullanıldığını düşünelim:

• Ajan 1: Problemi çözer.
• Ajan 2: Aynı problemi bağımsız olarak çözer.
• Ajan 3: Kendi çözümünü üretir.

İlk aşamada ajanların birbirlerinin cevaplarını görmemesi, bağımsız çözüm çeşitliliğinin korunması açısından yararlıdır. Ardından cevaplar paylaşılır:

• Ajan 1 → Ajan 2 ve 3’ün cevaplarını eleştirir.
• Ajan 2 → Ajan 1 ve 3’ün cevaplarını eleştirir.
• Ajan 3 → Diğer iki cevabı değerlendirir.

Ajanlar eleştirilerden sonra kendi cevaplarını revize eder. Süreç birkaç tur devam ettirilebilir. Son aşamada ortak sonuç oluşturulabilir veya ayrı bir hakem ajan argümanları değerlendirerek nihai kararı verebilir.

Akademik kullanım örneği

Bir araştırmada hipotezin desteklenmediğini düşünelim: “H1: Yapay zekâ bilgisi çevrim içi satın alma davranışını pozitif yönde etkiler.” Ancak analiz sonucunda ilişki anlamlı çıkmamıştır.

Multi-Agent Debate şöyle kullanılabilir: “Dört bağımsız akademik ajan oluştur. Ajan 1 sonucu kuramsal açıdan, Ajan 2 yöntem ve örneklem açısından, Ajan 3 istatistiksel analiz açısından, Ajan 4 alternatif açıklamalar açısından değerlendirsin. İlk turda ajanlar birbirlerinin görüşlerini görmeden bağımsız değerlendirme yapsın. İkinci turda diğer ajanların değerlendirmelerini inceleyerek olgusal hata, yöntemsel sorun, aşırı yorum ve gözden kaçırılan alternatif açıklamaları belirlesinler. Üçüncü turda her ajan kendi değerlendirmesini eleştiriler doğrultusunda revize etsin. Son olarak editör rolündeki beşinci ajan, yalnızca mevcut bulgularla savunulabilen açıklamaları sentezlesin. Uzlaşma sağlanamayan noktaları ayrıca belirt.” Bu yapı özellikle tartışma bölümünün aşırı yorumlanmasını önlemek açısından yararlı olabilir.

Hakemlikte Multi-Agent Debate

Akademik hakemlik için daha da işlevsel bir örnek oluşturulabilir:

• Ajan 1 – Kuram Hakemi: Literatür, araştırma boşluğu, kavramsal model ve hipotezleri inceler.
• Ajan 2 – Yöntem Hakemi: Örneklem, ölçüm araçları, geçerlilik, güvenilirlik ve araştırma tasarımını değerlendirir.
• Ajan 3 – İstatistik Hakemi: Varsayımlar, analiz yöntemleri, katsayılar, etki büyüklükleri ve sonuçları kontrol eder.
• Ajan 4 – Sonuç Hakemi: Bulgular, tartışma, sonuç ve öneriler arasındaki tutarlılığı inceler.
• Ajan 5 – Editör: Hakemlerin değerlendirmelerini karşılaştırarak nihai karar oluşturur.

Böylece: Makale → 4 bağımsız hakem → Karşılıklı eleştiri → Revize edilmiş hakem görüşleri → Editör kararı şeklinde çok ajanlı bir hakemlik sistemi kurulabilir.

Debate Prompting ile Multi-Agent Debate aynı mı?

Tam olarak değil, fakat birbirlerine çok yakındırlar.

• Debate Prompting daha geniş bir kavram olarak yapay zekâya farklı perspektifleri tartıştırma fikrini ifade edebilir. Hatta tek bir model, sırayla farklı rollere girerek bir tartışmayı simüle edebilir.
• Multi-Agent Debate ise daha sistematik biçimde birden fazla ajan/model örneğinin bağımsız yanıtlar üretmesi ve daha sonra birbirlerinin yanıtları üzerinden etkileşime girmesine dayanır.

Basitleştirirsek:

• Debate Prompting: “Farklı görüşleri tartıştır.”
• Multi-Agent Debate: “Bağımsız ajanlar oluştur → ayrı çözümler üret → ajanları birbirleriyle tartıştır → cevapları revize ettir → nihai karar üret.”

Self-Consistency ile farkı

Bu ayrım da önemlidir.

Self-Consistency:

Çözüm 1
Çözüm 2
Çözüm 3
↓
En tutarlı/çoğunluk cevabı

Çözümlerin birbirleriyle konuşması gerekmez.

Multi-Agent Debate’te ise:

Ajan A ↔ Ajan B ↔ Ajan C

Ajanlar birbirlerinin gerekçelerini görür, eleştirir ve kendi cevaplarını değiştirebilirler. Dolayısıyla Multi-Agent Debate’in ayırt edici özelliği etkileşimdir.

Çok güçlü bir Multi-Agent Debate promptu

“Aşağıdaki problemi beş bağımsız uzman ajanla değerlendir. Her ajana farklı bir uzmanlık rolü ver. İlk turda ajanlar birbirlerinin cevaplarını görmeden bağımsız değerlendirme yapsın. İkinci turda tüm ajanların değerlendirmelerini paylaş. Her ajan diğer görüşlerdeki olgusal hataları, mantıksal tutarsızlıkları, eksik kanıtları ve gözden kaçırılan alternatifleri belirlesin. Üçüncü turda ajanlar eleştiriler ışığında kendi cevaplarını revize etsin. Son aşamada bağımsız bir hakem ajan, görüşleri çoğunluğa göre değil kanıt gücü, mantıksal tutarlılık ve problemle uyum açısından değerlendirsin. Hakem nihai sonucu ve gerekçesini sunsun. Uzlaşma sağlanamayan noktaları belirsizlik olarak raporlasın.”

Bu prompttaki “çoğunluğa göre değil, kanıt gücüne göre” ifadesi özellikle önemlidir. Üç ajanın aynı hatayı yapması, hatayı doğru hâle getirmez.

Multi-Agent Debate’in güçlü yönleri

Yöntem özellikle farklı çözüm yollarının karşılaştırılması, ilk yanıtların eleştirilmesi, hataların yakalanması, alternatif açıklamaların üretilmesi ve karmaşık kararların farklı uzmanlık perspektiflerinden değerlendirilmesi açısından yararlıdır.

Bununla birlikte çok ajan kullanmak otomatik olarak daha doğru sonuç anlamına gelmez. Ajanlar aynı model ailesine ve benzer bilgiye dayanıyorsa aynı hatayı tekrarlayabilir, birbirlerini yanlış biçimde ikna edebilir veya gerçekte bulunmayan bir bilgide uzlaşabilirler. Bu nedenle akademik kullanımda kaynak ve veri doğrulaması ayrıca yapılmalıdır.

En kısa tanımı

Multi-Agent Debate = “Aynı problemi birden fazla bağımsız yapay zekâ ajanına çözdür; ajanların birbirlerinin çözümlerini eleştirmesini ve revize etmesini sağla; ardından en güçlü kanıta dayanan sonucu seç.” Multi-Agent Debate yaklaşımının önemli erken çalışmalarından birinde Du ve arkadaşları, birden fazla dil modeli örneğinin birbirlerinin yanıtlarını birkaç tartışma turunda değerlendirmesinin muhakeme ve olgusal doğruluk üzerindeki etkilerini incelemiştir.

Temel kaynak: Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., & Mordatch, I. (2024). Improving Factuality and Reasoning in Language Models through Multiagent Debate. Proceedings of the 41st International Conference on Machine Learning (ICML).