Reflexion – (Sözel Geri Bildirimle Öz-Düzeltme)

Reflexion, özellikle yapay zekâ ajanlarının (AI Agents) başarısız veya yetersiz sonuçlardan sözel geri bildirim yoluyla ders çıkarmasını ve bu bilgiyi sonraki denemelerde kullanmasını sağlayan ileri düzey bir agentic reasoning yaklaşımıdır. Reflexion’da modelin parametreleri yeniden eğitilmez; bunun yerine model, önceki denemelerde neyin yanlış gittiğini doğal dilde analiz eder, bu değerlendirmeyi bir tür kısa dönem veya episodik bellek içinde saklar ve sonraki denemelerde davranışını buna göre değiştirir. Bu nedenle Reflexion, klasik “cevabı yeniden kontrol et” yaklaşımından daha ileri bir mekanizma sunar. Temel yapı şöyle gösterilebilir:

Görev → Eylem/Deneme → Sonuç → Başarı/Başarısızlık Değerlendirmesi → Sözel Reflection → Belleğe Kaydetme → Yeni Deneme

Örneğin bir yapay zekâ ajanına: “Bu kodlama problemini çöz ve testlerden geç.” görevi verildiğini düşünelim.

İlk denemede ajan kodu üretir ancak testlerin bazıları başarısız olur. Reflexion yaklaşımında sistem yalnızca “yeniden dene” demez. Önce şuna benzer bir değerlendirme üretir: “İlk çözüm sınır durumlarını dikkate almadı. Özellikle boş girişlerde hata oluşuyor. Sonraki çözümde başlangıç koşulları ayrı kontrol edilmeli.” Bu değerlendirme daha sonra sonraki denemede kullanılır. Böylece ajan yalnızca önceki cevabı tekrar üretmek yerine, önceki başarısızlıktan elde ettiği sözel dersi yeni çözümüne aktarır.

Reflexion Nasıl Çalışır?

Reflexion yaklaşımında tipik olarak üç önemli unsur bulunur:

1. Actor: Görevi gerçekleştiren dil modeli veya agent.

2. Evaluator: Üretilen sonucun başarılı olup olmadığını değerlendiren mekanizma.

3. Self-Reflection: Sonucun neden başarılı veya başarısız olduğunu doğal dilde açıklayan geri bildirim.

Bu süreçte elde edilen reflection, bir episodic memory içinde saklanabilir ve sonraki görev turunda promptun bir parçası olarak tekrar modele verilebilir.

Basitleştirilmiş yapı:

Actor → Sonuç → Evaluator → Reflection → Memory → Yeni Actor Denemesi

Akademik Hakem Agent Örneği

Bir hakem agent’ın bir makaleyi değerlendirdiğini düşünelim.

İlk turda agent: “Major Revision” kararı vermiş olsun.

Daha sonra değerlendirme mekanizması raporu kontrol ettiğinde, aslında major olarak işaretlenen sorunların yalnızca yazım, format ve küçük raporlama problemleri olduğunu belirleyebilir.

Reflexion aşamasında agent şu tür bir ders çıkarabilir: “Önceki değerlendirmede major ve minor sorunları yeterince ayıramadım. Bir sonraki raporda, yalnızca çalışmanın bilimsel geçerliliğini veya temel sonuçlarını etkileyen sorunları major olarak sınıflandırmalıyım.” Bu bilgi sonraki değerlendirmelerde kullanılabilir.

Dolayısıyla Reflexion:

Hakemlik Yap → Kararı Değerlendir → Hatalı Sınıflandırmayı Belirle → Sözel Ders Çıkar → Sonraki Hakemlikte Kullan

mantığıyla çalışabilir.

Reflexion ile Self-Reflection Arasındaki Fark

Bu iki kavram yakın ancak aynı değildir.

Self-Reflection, modelin kendi çıktısını yeniden değerlendirip hatalarını belirlemesiyle ilgilidir.

Reflexion ise bu değerlendirmeyi sonraki denemelerde kullanılabilecek bir öğrenme sinyaline veya belleğe dönüştürür.

Kısaca:

Self-Reflection: “Ne yanlış yaptım?”

Reflexion: “Ne yanlış yaptım ve bunu bir sonraki denemede nasıl kullanacağım?”

Reflexion ile Reflection Prompting Arasındaki Fark

Reflection Prompting, modele: “Cevabını yeniden değerlendir ve düzelt.” gibi bir talimat verilmesidir.

Reflexion ise daha yapısal bir çerçevedir. Değerlendirme yalnızca mevcut cevabı düzeltmek için değil, gelecekteki denemelerde performansı artırmak için saklanır ve yeniden kullanılır.

Reflexion ile Reinforcement Learning Arasındaki Fark

Reflexion’ın önemli özelliği, model parametrelerinin güncellenmesine gerek duymamasıdır.

Klasik reinforcement learning’de:

Eylem → Ödül → Parametre Güncelleme

süreci vardır.

Reflexion’da ise:

Eylem → Sonuç → Sözel Geri Bildirim → Prompt/Memory Güncelleme

mantığı kullanılır.

Bu nedenle Reflexion, “verbal reinforcement learning” olarak tanımlanmıştır.

Basit Reflexion Prompt Örneği

“Görevi tamamladıktan sonra sonucu değerlendir. Başarısız veya eksik kalan noktaları belirle. Bu başarısızlığın temel nedenini kısa ve genel bir ders hâline getir. Sonraki denemede bu dersi dikkate alarak farklı bir yaklaşım uygula. Aynı hatayı tekrar etme.”

Bu, Reflexion mantığının kullanıcı düzeyinde sadeleştirilmiş bir örneğidir.

Kullanım Alanları

Reflexion özellikle şu alanlarda kullanılabilir:

• AI Agent sistemleri
• Kodlama agentları
• Web görevleri
• Oyun ve karar verme
• Araştırma agentları
• Çok adımlı problem çözme
• Planlama görevleri
• Akademik hakemlik
• Otomatik hata düzeltme süreçleri

Avantajları

Reflexion’ın en önemli avantajı, modelin ağırlıklarını yeniden eğitmeden deneyimden yararlanmasını sağlamasıdır. Ayrıca:

• Aynı hatanın tekrarlanma olasılığını azaltabilir.
• Çok adımlı görevlerde performansı artırabilir.
• Agent sistemlerinde sürekli iyileştirme sağlayabilir.
• Başarısızlıkları açık sözel derslere dönüştürebilir.
• Bellek destekli agent tasarımlarıyla kolayca bütünleştirilebilir.

Sınırlılıkları

Reflexion’ın başarısı, üretilen sözel değerlendirmenin kalitesine bağlıdır. Model başarısızlığın gerçek nedenini yanlış analiz ederse, bu hatalı reflection sonraki denemeleri de olumsuz etkileyebilir. Ayrıca çok fazla geçmiş reflection’ın belleğe eklenmesi bağlamı gereksiz yere büyütebilir veya eski ve artık geçerli olmayan kuralların kullanılmasına neden olabilir. Bu nedenle Reflexion sistemlerinde:

hangi deneyimlerin saklanacağı, ne kadar süre tutulacağı ve hangi durumlarda unutulacağı

önemli bir tasarım problemidir.

Reflexion ve ReAct Birlikte Kullanılabilir mi?

Evet. Hatta oldukça uyumludurlar.

ReAct:

Reason → Act → Observe

Reflexion:

Observe → Evaluate → Reflect → Remember → Retry

Birleştirildiğinde:

Düşün → Eyleme Geç → Gözlemle → Sonucu Değerlendir → Ders Çıkar → Belleğe Kaydet → Yeni Stratejiyle Tekrarla

şeklinde daha gelişmiş bir agent döngüsü oluşur.

Kısaca

Self-Reflection: Kendi cevabını değerlendir.

Reflection Prompting: Modeli bu değerlendirmeyi yapmaya yönlendir.

Self-Refine: Geri bildirimle çıktıyı iteratif olarak geliştir.

Reflexion: Başarısızlıklardan sözel ders çıkar, bunu belleğe kaydet ve sonraki denemelerde kullan.

ReAct: Muhakeme ile eylem ve gözlemi birleştir.

Reflexion bu nedenle yalnızca bir “prompt türü” değil, daha doğru ifadeyle LLM tabanlı agentların deneyimlerinden sözel geri bildirim yoluyla öğrenmesini sağlayan agentic framework olarak değerlendirilmelidir.

Temel Kaynak:

Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. Advances in Neural Information Processing Systems, 36.