Self-Consistency – (Öz-Tutarlılık)

Öz-Tutarlılık, büyük dil modellerinde özellikle karmaşık akıl yürütme görevlerinde tek bir çözüm yolu üretmek yerine, aynı problem için birden fazla bağımsız muhakeme yolu oluşturup bu yolların ulaştığı sonuçlar arasındaki en tutarlı veya en sık tekrarlanan cevabı seçmeye dayanan bir prompting tekniğidir. Bu yaklaşım, özellikle Chain of Thought (CoT) Prompting ile birlikte kullanıldığında etkili olur. Temel varsayım, karmaşık bir problem için farklı akıl yürütme yolları aynı doğru sonuca ulaşıyorsa, bu sonucun güvenilirlik olasılığının daha yüksek olduğudur. Self-Consistency’nin temel mantığı şu şekilde özetlenebilir:

Aynı Problem → Farklı Muhakeme Yolları → Farklı Sonuçlar → Sonuçları Karşılaştır → En Tutarlı Cevabı Seç

Örneğin bir matematik problemi için model tek bir çözüm üretmek yerine beş farklı çözüm yolu oluşturabilir. Bu beş çözümden dördü aynı sonuca, biri farklı bir sonuca ulaşıyorsa sistem çoğunluğun ulaştığı sonucu nihai cevap olarak seçebilir.

Nasıl Çalışır?

Self-Consistency yaklaşımında model aynı isteme birden fazla kez yanıt üretir. Her üretimde örnekleme sürecindeki rastlantısallık nedeniyle farklı muhakeme yolları ortaya çıkabilir. Örneğin:

Yol 1 → Sonuç A
Yol 2 → Sonuç A
Yol 3 → Sonuç B
Yol 4 → Sonuç A
Yol 5 → Sonuç A

Bu durumda Sonuç A, dört farklı muhakeme yolunda tekrarlandığı için daha tutarlı kabul edilir. Bu yöntem özellikle cevabın tek ve açık olduğu görevlerde daha anlamlıdır. Matematiksel problemler, mantık soruları, sembolik muhakeme ve belirli sınıflandırma görevleri buna örnektir.

Chain of Thought ile İlişkisi

Self-Consistency, klasik Chain of Thought yaklaşımının geliştirilmiş bir biçimi olarak düşünülebilir.

Standart CoT:

Problem → Tek Muhakeme Yolu → Sonuç

Self-Consistency + CoT:

Problem → Birden Fazla CoT Yolu → Sonuçları Karşılaştır → En Tutarlı Sonuç

Dolayısıyla Self-Consistency’nin amacı tek bir muhakeme zincirine aşırı bağımlılığı azaltmaktır.

Akademik Bir Örnek

Bir yapay zekâya şu soru verildiğini düşünelim: “Bu araştırmada kullanılan analiz yöntemi bağımlı değişkenin yapısına uygun mu?” Model tek bir değerlendirme yerine farklı açılardan inceleme yapabilir:

Yol 1: Ölçüm düzeyine göre değerlendir.
Yol 2: Varsayımlara göre değerlendir.
Yol 3: Alternatif analiz yöntemleriyle karşılaştır.
Yol 4: Literatürde benzer araştırmalarda kullanılan yöntemleri dikkate al.

Bu farklı değerlendirme yollarının çoğu aynı sonuca ulaşıyorsa, karar daha güçlü bir temele oturabilir. Ancak bu kullanım, matematiksel görevlerdeki klasik Self-Consistency’den biraz daha yorumlayıcıdır; çünkü akademik değerlendirmelerde “çoğunluk cevabı” her zaman bilimsel doğruluk anlamına gelmez.

Self-Consistency Prompt Örneği

Basitleştirilmiş bir istem şöyle olabilir: “Bu problemi birkaç bağımsız çözüm yaklaşımı kullanarak değerlendir. Her yaklaşımı ayrı ayrı yürüt. Nihai sonuçları karşılaştır ve en tutarlı sonucu belirt. Sonuçlar arasında uyuşmazlık varsa bunu açıkça raporla.” Bu, yöntemin kullanıcı düzeyinde basitleştirilmiş bir uygulamasıdır.

Avantajları

Self-Consistency’nin en önemli avantajı, modelin ilk ürettiği muhakeme yoluna bağlı kalmasını azaltmasıdır. Tek bir çözüm zincirindeki hata, nihai cevabı doğrudan bozabilirken, çoklu muhakeme yolları bu riski azaltabilir. Özellikle:

• matematiksel muhakeme,
• mantık problemleri,
• çok adımlı çıkarım,
• sembolik görevler,
• belirli soru-cevap problemleri

gibi alanlarda performansı artırabilir.

Sınırlılıkları

Self-Consistency daha fazla model çağrısı gerektirdiği için hesaplama maliyetini artırır. Ayrıca çoğunluk cevabının doğru olması garanti değildir. Model aynı hatalı varsayımı farklı muhakeme yollarında tekrar ederse yanlış cevap yüksek tutarlılık gösterebilir. Bu nedenle:

Tutarlılık ≠ Doğruluk

özellikle vurgulanmalıdır.

Self-Consistency, bağımsız dış doğrulamanın yerine geçmez.

Self-Consistency ile Tree of Thoughts Arasındaki Fark

Self-Consistency, birden fazla bağımsız çözüm yolundan çıkan sonuçların çoğunluk veya tutarlılık temelinde seçilmesine odaklanır.

Tree of Thoughts, çözüm sürecinde dallar oluşturarak hangi yolların devam ettirileceğini ara aşamalarda değerlendirir.

Kısaca:

Self-Consistency: “Birçok çözüm üret ve sonuçları karşılaştır.”

Tree of Thoughts: “Birçok çözüm yolu oluştur, ara aşamalarda değerlendir ve en umut verici dalları geliştir.”

Self-Consistency ile Debate Prompting Arasındaki Fark

Self-Consistency’de farklı çözüm yolları birbirleriyle tartışmak zorunda değildir. Her yol bağımsız üretilir ve sonuçlar daha sonra karşılaştırılır. Debate Prompting’de ise modeller veya ajanlar birbirlerinin argümanlarını görür, eleştirir ve karşı argüman üretir.

Kısaca

Chain of Thought: Tek bir muhakeme yolu oluştur.

Self-Consistency: Birden fazla muhakeme yolu oluştur ve en tutarlı sonucu seç.

Tree of Thoughts: Alternatif yolları dallandır ve süreç içinde değerlendir.

Graph of Thoughts: Düşünceleri ilişkilendir ve birleştir.

ReAct: Muhakeme ile eylem ve gözlemi birleştir.

Self-Consistency yaklaşımı, Wang ve arkadaşlarının 2023 yılında yayımlanan “Self-Consistency Improves Chain of Thought Reasoning in Language Models” çalışmasıyla sistematik olarak tanımlanmıştır. Çalışmada, tek bir greedy decoding yoluna dayanmak yerine farklı Chain of Thought örnekleri üretilip sonuçların çoğunluk üzerinden seçilmesinin birçok muhakeme görevinde performansı artırdığı gösterilmiştir.

Kaynak: Wang, X., Wei, J., Schuurmans, D., Le, Q. V., Chi, E. H., Narang, S., Chowdhery, A., & Zhou, D. (2023). Self-Consistency Improves Chain of Thought Reasoning in Language Models. International Conference on Learning Representations (ICLR).