Reflection Prompting – (Yansıtıcı İstemleme)

Yansıtıcı İstemleme, büyük dil modelinin oluşturduğu ilk yanıtı doğrudan nihai çıktı olarak kabul etmek yerine, bu yanıtı belirli ölçütler doğrultusunda yeniden incelemesini, hata ve eksikliklerini belirlemesini ve ardından daha güçlü bir nihai yanıt üretmesini isteyen prompting tekniğidir. Temel amaç, modele yalnızca “cevap üret” görevi vermek yerine ikinci bir eleştirel değerlendirme ve revizyon aşaması eklemektir.

Reflection Prompting’in temel mantığı şöyledir:

Görev → İlk Yanıt → Reflection → Hataları/Eksikleri Belirleme → Revizyon → Nihai Yanıt

Bu yaklaşım özellikle karmaşık problem çözme, akademik yazım, kodlama, karar verme, metin değerlendirme ve çok aşamalı görevlerde yararlı olabilir.

Reflection Prompting Nasıl Çalışır?

Örneğin modele şu görev verilsin: “Yapay zekâ kullanımının çalışan performansı üzerindeki etkisini açıklayan üç hipotez oluştur.” Model önce hipotezleri üretir. Normal bir prompting sürecinde görev burada tamamlanabilir.

Reflection Prompting’de ise modele ikinci bir görev verilir: “Şimdi oluşturduğun hipotezleri teorik dayanak, kavramsal tutarlılık, test edilebilirlik ve nedensellik açısından eleştirel biçimde değerlendir. Belirlediğin sorunları gider ve yalnızca düzeltilmiş hipotezleri nihai cevap olarak sun.” Böylece model ilk çıktısına tekrar dönerek onu değerlendirmek zorunda kalır.

Temel Reflection Döngüsü

Reflection Prompting basit biçimde üç aşamada uygulanabilir:

1. Generate – Üret: İlk çözümü veya yanıtı oluştur.

2. Reflect – Değerlendir: İlk çıktının doğruluğunu, tutarlılığını ve eksikliklerini incele.

3. Revise – Düzelt: Değerlendirmeden elde edilen sonuçları kullanarak daha güçlü bir nihai çıktı oluştur.

Dolayısıyla temel yapı: Generate → Reflect → Revise şeklindedir.

Daha gelişmiş uygulamalarda bu döngü birden fazla kez tekrarlanabilir:

Üret → Değerlendir → Düzelt → Yeniden Değerlendir → Yeniden Düzelt → Nihai Sonuç

Ancak daha fazla reflection turunun her zaman daha iyi sonuç sağlayacağı varsayılmamalıdır.

Basit Reflection Prompt Örneği

“Aşağıdaki problemi çöz. İlk çözümünü oluşturduktan sonra cevabını doğruluk, mantıksal tutarlılık, eksiksizlik ve talimatlara uygunluk açısından yeniden değerlendir. Belirlediğin önemli hataları veya eksiklikleri düzelt. Ardından yalnızca geliştirilmiş nihai cevabı sun.”

Burada kritik unsur değerlendirme kriterlerinin açıkça belirtilmesidir. “Cevabını tekrar düşün” gibi genel bir talimat yerine hangi özelliklerin kontrol edileceğinin belirtilmesi daha sistematik bir reflection süreci sağlar.

Akademik Hakemlik Örneği

Reflection Prompting, akademik hakemlik için oluşturulan bir AI Agent’ta özellikle kullanışlıdır.

İlk prompt: “Bu makaleyi yöntem, analiz, bulgular ve tartışma açısından değerlendir ve bir hakem raporu oluştur.”

Ardından Reflection Prompt: “Hazırladığın hakem raporunu yeniden değerlendir. Her major eleştirinin makalede somut bir karşılığı olup olmadığını kontrol et. Minor sorunları major sorun olarak sınıflandırıp sınıflandırmadığını incele. Önerdiğin ek analizlerin gerçekten gerekli olup olmadığını değerlendir. Son olarak hakem raporundaki eleştiriler ile yayın kararının tutarlı olup olmadığını kontrol ederek raporu revize et.”

Bu durumda süreç:

Makale → İlk Hakem Raporu → Reflection → Eleştirilerin Kontrolü → Kararın Kontrolü → Revize Hakem Raporu

şeklinde ilerler.

Reflection Prompting ile Self-Reflection Arasındaki Fark

Bu iki kavram birbirine oldukça yakındır ve uygulamada bazen birbirinin yerine kullanılmaktadır. Ancak kavramsal bir ayrım yapmak yararlıdır.

Reflection Prompting, kullanıcının veya sistem tasarımcısının modele kendi çıktısını yeniden değerlendirmesini söyleyen prompt stratejisidir.

Self-Reflection ise modelin veya agent’ın kendi önceki çıktısını, kararını ya da eylemini değerlendirme davranışını ifade eden daha geniş bir kavramdır.

Başka bir ifadeyle:

Reflection Prompting = Bu değerlendirmeyi başlatan istem tekniği

Self-Reflection = Gerçekleştirilen öz-değerlendirme süreci

Örneğin: “Cevabını eleştirel biçimde yeniden değerlendir ve hatalarını düzelt.” ifadesi bir Reflection Prompttur.

Modelin bunun sonucunda kendi cevabındaki sorunları değerlendirmesi ise Self-Reflection davranışıdır.

Reflection Prompting ve Chain of Thought

Chain of Thought ile Reflection Prompting de farklı amaçlara sahiptir.

Chain of Thought:

Problem → Ara Muhakeme → Ara Muhakeme → Sonuç

Reflection Prompting:

Problem → İlk Sonuç → Sonucu Değerlendirme → Revizyon → Nihai Sonuç

CoT problemin nasıl çözüleceğine, Reflection ise oluşturulan çözümün nasıl kontrol edilip geliştirileceğine odaklanır.

Bu iki yaklaşım birlikte de kullanılabilir:

Problem → CoT ile Çözüm → Reflection → Düzeltme → Nihai Sonuç

Reflection Prompting ve Self-Consistency

Self-Consistency aynı problem için birden fazla bağımsız çözüm üretmeye dayanır:

Problem → Çözüm A / B / C / D → Sonuçları Karşılaştır → En Tutarlı Sonuç

Reflection Prompting ise genellikle mevcut bir çözüm üzerinde çalışır:

Problem → Çözüm A → Eleştiri → Çözüm A’

Bu nedenle:

Self-Consistency = Alternatif çözüm yolları arasında tutarlılık

Reflection Prompting = Mevcut çözümün eleştirel değerlendirilmesi ve revizyonu

Reflection Prompting ve Self-Refine

Bu iki yaklaşım da birbirine yakındır ancak aynı kavram değildir.

Reflection Prompting genel bir prompting stratejisidir. Self-Refine ise modelin kendi çıktısına geri bildirim üretmesi ve bu geri bildirime dayanarak çıktısını iteratif biçimde geliştirmesi üzerine kurulmuş daha spesifik bir yöntemdir.

Self-Refine döngüsü:

Initial Output → Feedback → Refinement → Feedback → Refinement

şeklinde çalışabilir.

Dolayısıyla Self-Refine, Reflection Prompting mantığının sistematik ve tekrarlı biçimde uygulanmasına yakın bir yöntem olarak değerlendirilebilir.

Reflection Prompting ve Reflexion

Reflexion ile de karıştırılmamalıdır.

Reflection Prompting, mevcut çıktının değerlendirilmesine yönelik bir istem stratejisidir.

Reflexion ise özellikle agent sistemlerinde başarısızlıklar ve geri bildirimlerden çıkarılan derslerin sözel geri bildirim/bellek biçiminde sonraki denemelerde kullanılmasını sağlayan daha spesifik bir agentic framework’tür.

Basitleştirirsek:

Reflection Prompting: “Cevabını kontrol et ve düzelt.”

Self-Refine: “Geri bildirim üret, düzelt ve gerekirse döngüyü tekrarla.”

Reflexion: “Önceki deneyiminden ders çıkar ve bunu sonraki denemende kullan.”

Avantajları

Reflection Prompting özellikle şu alanlarda kullanılabilir:

Akademik yazım: Metindeki mantıksal ve kavramsal sorunların kontrol edilmesi.

Akademik hakemlik: Hakem raporunun tutarlılığının değerlendirilmesi.

Kodlama: Kodun hata ve eksikliklerinin yeniden incelenmesi.

Problem çözme: İlk çözümün alternatif açıdan kontrol edilmesi.

Karar verme: İlk kararın dayanaklarının yeniden değerlendirilmesi.

İçerik üretimi: İlk taslağın doğruluk, açıklık ve hedefe uygunluk açısından geliştirilmesi.

AI Agent sistemleri: Agent’ın gerçekleştirdiği işlemlerin sonuçlarını değerlendirerek sonraki adımlarını iyileştirmesi.

Sınırlılıkları

Reflection Prompting önemli bir sınırlamaya sahiptir: Bir modelin kendi cevabını tekrar değerlendirmesi, cevabın mutlaka doğru hâle geleceği anlamına gelmez.

Model ilk yanıtta yanlış bir bilgiye veya varsayıma dayanıyorsa reflection aşamasında aynı hatayı sürdürebilir. Hatta bazı durumlarda başlangıçta doğru olan bir cevabı gereksiz yere değiştirebilir.

Bu nedenle: Reflection ≠ Verification

Yani yansıtıcı değerlendirme, bağımsız doğrulama değildir.

Özellikle akademik araştırmalarda önemli iddiaların güvenilir kaynaklarla; sayısal sonuçların ise veri veya hesaplamalarla ayrıca doğrulanması gerekir.

Kısaca

Chain of Thought: “Problemi adım adım çöz.”

Self-Consistency: “Birden fazla çözüm üret ve sonuçları karşılaştır.”

Reflection Prompting: “İlk cevabını eleştir, eksiklerini belirle ve geliştir.”

Self-Reflection: “Kendi çıktını veya davranışını değerlendir.”

Self-Refine: “Geri bildirim ve revizyon döngüsüyle çıktıyı geliştir.”

Reflexion: “Önceki deneyimlerden ders çıkar ve sonraki denemede kullan.”

Dolayısıyla Reflection Prompting, özellikle ilk üretimin yeterli olmadığı karmaşık görevlerde modele bir eleştiri ve revizyon katmanı ekleyen kullanışlı bir prompting stratejisidir. Ancak teknik literatürde “Reflection Prompting” ifadesinin CoT veya ReAct gibi tek bir standart algoritmayı ifade etmediği; farklı öz-değerlendirme ve iteratif iyileştirme yaklaşımlarını kapsayabilecek daha genel bir terim olduğu unutulmamalıdır.

İlgili temel kaynaklar:

Madaan, A., et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. Advances in Neural Information Processing Systems, 36.

Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. Advances in Neural Information Processing Systems, 36.