Faithful Chain-of-Thought (Faithful CoT)- (Sadık/Güvenilir Düşünce Zinciri)

Sadık/Güvenilir Düşünce Zinciri, bir yapay zekânın yalnızca doğru cevabı üretmesini değil, ürettiği ara muhakeme ile ulaştığı nihai sonuç arasında güvenilir ve doğrulanabilir bir bağlantı kurulmasını amaçlayan bir yaklaşımdır. Temel sorun şudur: Bir dil modeli doğru cevabı verse bile, sunduğu açıklama cevabı gerçekten ortaya çıkaran hesaplama veya muhakeme sürecini yansıtmayabilir.

Bu nedenle Faithful CoT’nin temel mantığı şöyle özetlenebilir: Problem → Yapılandırılmış muhakeme → Doğrulanabilir ara temsil → Harici yürütme/hesaplama → Sonuç

Neden “Faithful” denilmektedir?: Standart Chain-of-Thought yaklaşımında modelden bir problemi açıklayarak çözmesi istenebilir. Ancak ortaya çıkan açıklamanın modelin cevaba ulaşmasında gerçekten belirleyici olup olmadığı garanti edilemez.

Örneğin model: “Bu nedenle sonuç 48’dir.” diyebilir ve öncesinde ikna edici görünen birkaç işlem sunabilir. Sonucun doğru olması, açıklamanın da zorunlu olarak güvenilir olduğu anlamına gelmez. Faithful CoT bu problemi azaltmak için muhakemenin belirli bölümlerini sembolik veya çalıştırılabilir bir ara temsile dönüştürür.

Özgün Faithful CoT yaklaşımı nasıl çalışır?

Faithful CoT çalışmasında yöntem temelde iki aşamaya ayrılır:

• 1. Translation – Çeviri: Doğal dildeki problem, model tarafından sembolik bir muhakeme zincirine dönüştürülür.
• 2. Problem Solving – Problem Çözme: Oluşturulan sembolik temsil uygun bir deterministik çözücü tarafından çalıştırılır.

Bu çözücü göreve göre örneğin: Python yorumlayıcısı, Datalog motoru veya başka bir sembolik çözümleyici olabilir. Dolayısıyla model hem problemi yorumlayan hem de her hesaplamayı kendi başına yapan tek bileşen değildir.

Basit örnek: “Bir ürünün fiyatı 2.000 TL’dir. Ürüne önce %20 indirim uygulanıyor. Daha sonra indirimli fiyat üzerinden %10 artış yapılıyor. Son fiyat nedir?” Standart CoT yaklaşımında model bütün işlemleri doğal dil içinde gerçekleştirebilir. Faithful CoT mantığında ise problem önce doğrulanabilir işlemlere dönüştürülür:

price = 2000
after_discount = price * 0.80
final_price = after_discount * 1.10
print(final_price)

Program çalıştırıldığında: 1.760 TL sonucu elde edilir. Burada nihai cevap, modelin serbest biçimli açıklamasından değil, model tarafından oluşturulan çalıştırılabilir temsilin sonucundan türetilmiştir.

Akademik araştırmada kullanım örneği

Araştırmacı şöyle sorabilir: “Bir araştırmada 600 katılımcının %42’si A grubunda, %35’i B grubunda, geri kalanı C grubundadır. Her gruptaki katılımcı sayısını hesapla.”

Faithful CoT mantığında model: Problemi yorumlar → değişkenleri belirler → hesaplamayı kodlar → kod çalıştırılır → sonuç raporlanır. Böylece özellikle sayısal araştırma sonuçlarının hesaplanmasında modelin doğal dil içerisinde yaptığı aritmetik hatalar azaltılabilir.

Faithful CoT ile standart CoT arasındaki fark

Standart Chain-of-Thought: Problem → Doğal dilde muhakeme → Cevap

Faithful CoT: Problem → Sembolik/çalıştırılabilir muhakeme → Deterministik çözücü → Cevap

En önemli fark doğrulanabilirliktir.

Program of Thoughts ile farkı nedir?

Önceki başlıkta ele aldığımız Program of Thoughts (PoT) ile Faithful CoT birbirine oldukça yakındır. Her ikisi de dil modelinin hesaplama yeteneğini harici araçlarla desteklemektedir.

Ancak vurgu farklıdır:

• Program of Thoughts: Muhakeme ile hesaplamayı birbirinden ayırmaya odaklanır.
• Faithful Chain-of-Thought: Ara muhakeme ile nihai cevap arasındaki ilişkinin sadık ve doğrulanabilir olmasına odaklanır.

Bu nedenle Faithful CoT daha geniş bir çerçevede Python dışında Datalog gibi sembolik çözümleyicilerden de yararlanabilir.

Self-Consistency ile farkı

Self-Consistency: Birden fazla muhakeme yolu üretir ve sonuçlar arasındaki tutarlılıktan yararlanır.

Faithful CoT: Muhakemenin sonucunu doğrulanabilir bir ara temsil ve deterministik çözüm mekanizmasına bağlamaya çalışır.

Dolayısıyla: Self-Consistency → “Birden fazla çözüm üret; en tutarlı sonucu seç.”

Faithful CoT → “Çözümü doğrulanabilir biçimde temsil et ve sonucu bu temsilden üret.”

Hangi alanlarda kullanılabilir?

Faithful CoT özellikle: matematiksel muhakeme, çok aşamalı hesaplama, sembolik mantık, planlama, finansal hesaplamalar ve program aracılığıyla doğrulanabilecek problemler için uygundur. Buna karşılık: “Bu makalenin kuramsal katkısı yeterli midir?” gibi öznel ve yoruma dayalı akademik değerlendirmelerde Faithful CoT’nin özgün biçimini uygulamak daha güçtür; çünkü “kuramsal katkı” Python tarafından hesaplanabilecek deterministik bir sonuç değildir.

Kullanılabilecek örnek prompt

“Aşağıdaki problemi Faithful Chain-of-Thought yaklaşımıyla çöz. Problemi önce doğrulanabilir sembolik veya çalıştırılabilir bir temsile dönüştür. Hesaplama ve mantıksal işlemleri uygun bir araçla gerçekleştir. Nihai cevabı yalnızca doğrulanmış sonuçlara dayandır. Sonuç ile kullanılan ara temsil arasında tutarsızlık varsa sonucu yeniden kontrol et.”

En kısa tanımı

Faithful Chain-of-Thought = “Yalnızca mantıklı görünen bir açıklama üretme; cevabın doğrulanabilir biçimde muhakemeden türemesini sağla.” Bu nedenle Faithful CoT’nin temel kavramı açıklama uzunluğu değil, muhakeme–sonuç sadakatidir.

Kaynak: Lyu, Q., Havaldar, S., Stein, A., Zhang, L., Rao, D., Wong, E., Apidianaki, M., & Callison-Burch, C. (2023). Faithful Chain-of-Thought Reasoning. Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics (IJCNLP-AACL).