Tree of Thoughts (ToT) – (Düşünce Ağacı)

Tree of Thoughts (ToT) / Düşünce Ağacı, büyük dil modellerinin karmaşık bir problemi çözerken tek bir doğrusal muhakeme yoluna bağlı kalmak yerine, birden fazla olası çözüm yolunu dallar hâlinde oluşturmasına, bu alternatifleri değerlendirmesine ve daha umut verici yollar üzerinden ilerlemesine dayanan bir problem çözme yaklaşımıdır. Tree of Thoughts, özellikle tek bir çözüm yolunun yeterli olmadığı; planlama, arama, stratejik karar verme ve alternatiflerin karşılaştırılmasını gerektiren karmaşık görevlerde kullanılabilir. Temel mantığı şu şekilde gösterilebilir:

Problem
↓
Düşünce 1 ─ Düşünce 2 ─ Düşünce 3
↓　　　　↓　　　　↓
1A–1B　 2A–2B　 3A–3B
↓
Alternatifleri Değerlendir
↓
Uygun Olmayan Yolları Ele
↓
En Güçlü Yoldan Devam Et
↓
Nihai Sonuç

Tree of Thoughts Nasıl Çalışır?

ToT yaklaşımında problem çözme süreci bir arama ağacı (search tree) gibi ele alınır. Model belirli bir aşamada yalnızca bir sonraki cevabı üretmek yerine birkaç olası “düşünce” veya ara çözüm oluşturabilir.

Örneğin bir araştırmacı: “Yapay zekâ kullanımının çalışan davranışları üzerindeki etkisini inceleyen özgün bir araştırma modeli geliştir.” şeklinde bir görev verdiğinde sistem tek bir model önermek yerine alternatif yollar geliştirebilir:

Dal 1: Yapay zekâ kullanımı → İş performansı
Dal 2: Yapay zekâ kullanımı → İş tatmini
Dal 3: Yapay zekâ kullanımı → İş güvencesizliği → Tükenmişlik
Dal 4: Yapay zekâ kullanımı → Teknolojik stres → İşten ayrılma niyeti

Daha sonra her dal; teorik dayanak, özgünlük, ölçülebilirlik, veri toplanabilirliği ve literatüre katkı gibi ölçütlerle değerlendirilebilir. Zayıf alternatifler elenir ve daha güçlü görülen seçenekler geliştirilir.

Chain of Thought ile Farkı

Tree of Thoughts’un anlaşılması açısından en önemli karşılaştırma Chain of Thought (CoT) ile yapılabilir.

Chain of Thought: Problem → A → B → C → Sonuç

Model esas olarak doğrusal bir muhakeme yolu üzerinden ilerler.

Tree of Thoughts: Problem → A / B / C → alternatifleri değerlendir → gerekirse geri dön → en uygun yolu geliştir → sonuç

Dolayısıyla CoT’de vurgu adım adım muhakeme, ToT’da ise alternatif muhakeme yollarının araştırılması ve değerlendirilmesi üzerindedir.

ToT’un Temel Bileşenleri

Tree of Thoughts yaklaşımı dört temel unsurla açıklanabilir:

1. Thought Decomposition: Problem, anlamlı ara düşünce veya çözüm aşamalarına ayrılır.

2. Thought Generation: Her aşamada birden fazla olası çözüm veya düşünce üretilir.

3. State Evaluation: Oluşturulan alternatiflerin hedefe ulaşma potansiyeli değerlendirilir.

4. Search Algorithm: Hangi yolların geliştirileceği, hangilerinin terk edileceği ve gerektiğinde hangi önceki aşamaya dönüleceği belirlenir.

Bu nedenle gerçek ToT yaklaşımı yalnızca modele “üç farklı çözüm düşün” demekten daha kapsamlıdır. Alternatiflerin üretilmesi, değerlendirilmesi ve sistematik bir arama stratejisiyle yönetilmesi gerekir.

Basit Bir Tree of Thoughts Prompt Örneği

“Aşağıdaki problem için tek bir çözüm önermek yerine üç farklı çözüm yaklaşımı oluştur. Her yaklaşımı uygulanabilirlik, avantajlar, dezavantajlar ve olası riskler açısından değerlendir. Yetersiz seçenekleri ele. En güçlü iki seçeneği daha ayrıntılı geliştir. Son olarak seçenekleri karşılaştırarak en uygun çözümü gerekçesiyle belirt.”

Bu yapı, ToT mantığının basitleştirilmiş bir prompt uygulamasıdır.

Tree of Thoughts’un Avantajı

ToT’un temel avantajı, modelin ilk bulduğu çözüm yoluna erken biçimde bağlanmasını azaltabilmesidir. Alternatif yollar üretildiği için farklı çözüm olasılıkları değerlendirilebilir.

Özellikle: karmaşık problem çözme, planlama, strateji geliştirme, matematiksel muhakeme, yaratıcı görevler ve karar verme gibi alanlarda yararlı olabilir.

Ayrıca başarısız görünen bir çözüm yolunun terk edilerek başka bir dala geçilmesi veya önceki aşamalara dönülmesi mümkündür. Bu özellik klasik doğrusal prompting yaklaşımlarından önemli ölçüde farklıdır.

Sınırlılıkları

Tree of Thoughts her görev için gerekli değildir. Basit sorularda çok sayıda alternatif üretmek işlem yükünü ve maliyeti gereksiz biçimde artırabilir. Ayrıca modelin alternatifleri değerlendirmesi, bu değerlendirmenin mutlaka doğru olduğu anlamına gelmez. Eğer değerlendirme ölçütleri hatalıysa sistem iyi bir çözümü eleyebilir veya zayıf bir çözümü seçebilir. Bu nedenle ToT özellikle alternatif çözüm yollarının gerçekten anlamlı olduğu karmaşık problemlerde kullanılmalıdır.

Kısaca

Chain of Thought: “Adım adım düşün.”

Tree of Thoughts: “Birden fazla çözüm yolu oluştur, yolları değerlendir, gerekirse geri dön ve en güçlü çözüm yolunu geliştir.”

Tree of Thoughts yaklaşımı, Yao ve arkadaşlarının 2023 yılında yayımlanan “Tree of Thoughts: Deliberate Problem Solving with Large Language Models” çalışmasıyla sistematik biçimde ortaya konmuştur. Çalışmanın temel katkısı, dil modeli çıkarımını tek bir token dizisi boyunca ilerleyen doğrusal süreç olmaktan çıkarıp, ara düşüncelerin araştırılabildiği ve değerlendirilebildiği daha genel bir problem çözme çerçevesine dönüştürmesidir.

Kaynak: Yao, S., Yu, D., Zhao, J., Shafran, I., Griffiths, T. L., Cao, Y., & Narasimhan, K. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. Advances in Neural Information Processing Systems, 36.