Program of Thoughts (PoT)- (PoT – Düşünce Programı)

PoT – Düşünce Programı, özellikle matematiksel, sayısal ve mantıksal muhakeme gerektiren problemlerde, dil modelinin problemi anlamlandırma görevini hesaplama görevinden ayıran bir prompting tekniğidir. Model problemi analiz eder ve çözümü gerçekleştirecek bir program/kod üretir; kesin hesaplamalar ise kod çalıştırılarak elde edilir.

Temel mantığı: Problem → Problemi analiz et → Hesaplama adımlarını programa dönüştür → Kodu çalıştır → Sonucu elde et → Yanıtla

Bu nedenle PoT, klasik Chain-of-Thought yaklaşımından önemli ölçüde ayrılır. CoT’da model hem muhakemeyi hem de hesaplamayı doğal dil içinde yürütürken PoT’da hesaplamanın önemli bölümü Python gibi bir programlama ortamına devredilir.

Örneğin şu problem verilsin: “Bir ürünün fiyatı 1.200 TL’dir. Önce %20 indirim, ardından indirimli fiyat üzerinden %10 KDV uygulanırsa son fiyat kaç TL olur?” PoT yaklaşımında model problemi yalnızca sözel olarak çözmek yerine buna benzer bir hesaplama oluşturabilir:

price = 1200
discounted_price = price * (1 - 0.20)
final_price = discounted_price * (1 + 0.10)
final_price

Sonuç: 1.056 TL

Buradaki önemli nokta, dil modelinin hangi işlemlerin yapılması gerektiğini belirlemesi, hesaplama motorunun ise aritmetiği gerçekleştirmesidir.

Akademik araştırma örneği

Araştırmacının elinde şu veriler olduğunu düşünelim: “Bir deney grubunun ön test ortalaması 62,4, son test ortalaması 78,7’dir. Kontrol grubunun ön test ortalaması 63,1, son test ortalaması 68,2’dir. Grupların değişim miktarlarını ve deney grubunun kontrol grubuna göre farkların farkını hesapla.” PoT yaklaşımında yapay zekâ:

1. Hangi değerlerin karşılaştırılacağını belirler.
2. Gerekli hesaplamaları tanımlar.
3. Hesaplamaları kodlar.
4. Programı çalıştırır.
5. Sonuçları yorumlar.

Böylece özellikle çok sayıda hesaplama içeren görevlerde doğal dil içinde yapılan aritmetik hatalarının azaltılması amaçlanır.

Daha kapsamlı bir PoT promptu

“Aşağıdaki sayısal problemi Program of Thoughts yaklaşımıyla çöz. Önce problemin hangi değişkenleri ve hesaplamaları gerektirdiğini belirle. Hesaplama gerektiren işlemleri Python koduna dönüştür. Sayısal sonuçları kod aracılığıyla hesapla. Sonuçların problemdeki koşullarla tutarlı olup olmadığını kontrol et ve kullanıcıya yalnızca gerekli hesaplama özeti ile nihai sonucu açıkla.”

PoT hangi görevlerde özellikle yararlıdır?

PoT özellikle; aritmetik problemler, finansal hesaplamalar, tarih/zaman hesaplamaları, olasılık problemleri, veri işlemleri, denklem ve sayısal muhakeme görevleri gibi programlama yoluyla güvenilir biçimde yürütülebilecek işlemlerde avantaj sağlayabilir. Buna karşılık “Bu makalenin tartışma bölümü kuramsal açıdan yeterli mi?” gibi esas olarak kavramsal değerlendirme gerektiren bir problemde PoT genellikle ilk tercih değildir.

Chain-of-Thought ile farkı

Chain-of-Thought: Problem → Doğal dilde ara muhakeme → Sonuç

Program of Thoughts: Problem → Problemi yapılandır → Program oluştur → Hesaplamayı programla gerçekleştir → Sonuç

Dolayısıyla PoT’un ayırt edici özelliği yalnızca problemi “adım adım düşünmek” değildir. Asıl özellik, muhakemenin hesaplama gerektiren bölümünü çalıştırılabilir bir programa dönüştürmektir.

PAL ile ilişkisi

PoT, Program-Aided Language Models (PAL) yaklaşımına da oldukça yakındır. Her iki yaklaşım da dil modelinin problem çözme yeteneğini programlama ortamıyla birleştirir. Aralarındaki terminolojik ve yöntemsel ayrımlar nedeniyle bunları tamamen aynı teknik olarak değerlendirmek doğru değildir; ancak her ikisinin de ortak fikri, dil modelinin sayısal işlemleri tek başına doğal dil içinde gerçekleştirmesi yerine harici bir program yürütücüsünden yararlanmasıdır.

En kısa tanımı

Program of Thoughts = “Problemi yapay zekâ analiz etsin; hesaplamayı kod yapsın.” Bu nedenle özellikle sayısal doğruluğun önemli olduğu görevlerde PoT, “model her şeyi kendi içinde hesaplasın” yaklaşımına güçlü bir alternatiftir.

Kaynak: Chen, W., Ma, X., Wang, X., & Cohen, W. W. (2023). Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks. Transactions on Machine Learning Research (TMLR).