Automatic Chain of Thought- (Auto-CoT – Otomatik Düşünce Zinciri)

Auto-CoT – Otomatik Düşünce Zinciri, büyük dil modellerine elle hazırlanmış düşünme örnekleri vermek yerine, modelin çeşitli örnek problemler için muhakeme gösterimlerini otomatik olarak üretmesini ve bunları yeni problemlerin çözümünde few-shot örnekleri olarak kullanmasını amaçlayan bir prompting yöntemidir.

Temel mantığı: Problem havuzu → Benzer problemleri gruplandır → Temsilci problemleri seç → Muhakeme örneklerini otomatik üret → Bu örnekleri prompta ekle → Yeni problemi çöz. Auto-CoT’nin ayırt edici yönü buradadır. Yöntem yalnızca modele “adım adım düşün” demek değildir; Chain-of-Thought örneklerinin hazırlanmasını otomatikleştirir.

Neden geliştirilmiştir?

Few-shot Chain-of-Thought yaklaşımında genellikle insan tarafından hazırlanmış örnekler kullanılır:

Problem 1 → Muhakeme örneği → Cevap
Problem 2 → Muhakeme örneği → Cevap
Yeni problem → ?

Bu yöntem etkili olabilir; ancak kaliteli muhakeme örneklerini elle hazırlamak zaman alır ve uzman emeği gerektirir. Auto-CoT bu süreci otomatikleştirmeyi amaçlar: Örnekleri seç → Model muhakeme örneklerini oluştursun → Bu örneklerle yeni soruyu çöz

Auto-CoT Nasıl Çalışır?

Özgün Auto-CoT yaklaşımı temelde iki aşamaya dayanır.

1. Question Clustering – Soruları Kümeleme: Benzer problemler gruplandırılır. Amaç, demonstrasyon örneklerinin yalnızca tek bir problem türünden oluşmasını önleyerek çeşitlilik sağlamaktır.

2. Demonstration Sampling – Gösterim Örneği Seçme: Her kümeden temsilci bir soru seçilir. Model bu soruya Zero-Shot CoT yaklaşımıyla bir muhakeme örneği üretir. Ortaya çıkan örnekler daha sonra yeni soruların çözümünde few-shot Chain-of-Thought demonstrations olarak kullanılır.

Basitleştirilmiş yapı:

Sorular

↓

Küme 1 — Küme 2 — Küme 3 — Küme 4

↓

Her kümeden temsilci soru

↓

Otomatik CoT örnekleri

↓

Few-shot prompt

↓

Yeni problem

↓

Cevap

Basit örnek

Bir yapay zekâya matematik soruları çözdürüleceğini düşünelim. Sistemde; yüzde, oran, yaş, hız, kâr-zarar problemleri bulunuyor.

Auto-CoT bu sorulardan rastgele birkaç tane seçmek yerine, farklı problem yapılarını temsil eden örnekleri belirlemeye çalışır. Model daha sonra her örnek için çözüm gösterimi üretir.

Örneğin: “Bir ürün 800 TL’den %25 indirimle satılmaktadır. Satış fiyatını hesapla.” Model bu problem için bir muhakeme gösterimi oluşturur.

Başka bir kümeden: “Bir araç 240 kilometrelik yolu 3 saatte gidiyor. Ortalama hızını hesapla.” gibi farklı yapıda bir örnek seçilir. Bu çeşitli örnekler yeni problemlerin çözümünde modele bağlam sağlar.

Eğitimde kullanım örneği

Bir öğretmen YZ’ye farklı türlerde istatistik soruları hazırlatmak istiyorsa Auto-CoT mantığı şöyle uygulanabilir: “Ders materyalindeki soru türlerini kavramsal yapılarına göre gruplandır. Her gruptan temsilci bir problem seç. Bu problemlerin doğru çözüm yaklaşımını örnek olarak oluştur. Ardından bu çeşitli örnekleri referans alarak aynı bilişsel düzeyde fakat farklı veriler ve senaryolar içeren yeni sorular üret.” Bu, özgün Auto-CoT algoritmasının birebir uygulanması değil, Auto-CoT mantığının eğitimsel bir uyarlamasıdır.

Akademik kullanım açısından önemli ayrım

Auto-CoT’yi şu promptla eşitlemek doğru değildir: “Adım adım düşünerek cevapla.” Bu daha çok Zero-Shot Chain-of-Thought mantığına yakındır.

Auto-CoT’de esas yenilik: CoT demonstrasyonlarının insan tarafından yazılması yerine otomatik oluşturulması ve çeşitli örneklerin sistematik biçimde seçilmesidir.

Auto-CoT ve diğer CoT türleri

Teknik	Temel özellik
Zero-Shot CoT	Modele adım adım muhakeme etmesi yönünde talimat verilir
Few-Shot CoT	Modele önceden hazırlanmış muhakeme örnekleri verilir
Auto-CoT	Muhakeme örnekleri otomatik oluşturulur ve çeşitlilik gözetilerek seçilir
Self-Consistency	Birden fazla muhakeme yolu üretilip cevaplar arasından tutarlı sonuç seçilir

Dolayısıyla:

Few-Shot CoT: İnsan örnekleri hazırlar → Model örneklerden yararlanır

Auto-CoT: Sistem örnekleri seçer → Model CoT gösterimlerini üretir → Yeni soruda bunlardan yararlanılır

Avantajları

Auto-CoT özellikle çok sayıda problem üzerinde çalışan sistemlerde manuel örnek hazırlama ihtiyacını azaltması, örnek çeşitliliğini artırması ve few-shot CoT oluşturma sürecini ölçeklenebilir hâle getirmesi açısından önemlidir. Ancak otomatik oluşturulan muhakeme örneklerinin hatalı olabileceği unutulmamalıdır. Yanlış bir demonstrasyon sonraki cevapları da olumsuz etkileyebilir. Bu nedenle yüksek doğruluk gerektiren akademik, tıbbi, hukuki veya sayısal uygulamalarda otomatik üretilen örneklerin doğrulanması gerekir.

En kısa tanımı

Automatic Chain-of-Thought = “Düşünce zinciri örneklerini tek tek insan yazmasın; yapay zekâ çeşitli örnekleri seçip bu muhakeme gösterimlerini otomatik oluştursun.” Auto-CoT, Zhang ve arkadaşları tarafından manuel olarak tasarlanan CoT demonstrasyonlarına duyulan ihtiyacı azaltmak amacıyla geliştirilmiştir. Çalışmanın önemli bulgularından biri, otomatik oluşturulan gösterimlerde bazı hatalar bulunsa bile örnek çeşitliliğinin muhakeme performansı açısından kritik rol oynayabilmesidir.

Kaynak: Zhang, Z., Zhang, A., Li, M., & Smola, A. (2023). Automatic Chain of Thought Prompting in Large Language Models. ICLR 2023.