Self-Reflection – (Öz-Yansıtma)

Öz-Yansıtma, büyük dil modelinin ürettiği bir cevap, çözüm, plan veya çıktıyı yeniden değerlendirerek olası hata, eksiklik ve tutarsızlıkları belirlemesi ve elde ettiği değerlendirmeye göre çıktısını iyileştirmesi esasına dayanan ileri düzey bir prompting ve agentic reasoning yaklaşımıdır. Temel fikir, modelin ilk ürettiği cevabı doğrudan nihai cevap olarak kabul etmek yerine, kendi çıktısına eleştirel bir değerlendirme aşaması uygulamasıdır.

Self-Reflection’ın temel mantığı şöyle gösterilebilir:

Görev → İlk Çözüm → Öz-Değerlendirme → Hataları/Eksikleri Belirleme → Revizyon → Geliştirilmiş Sonuç

Bu nedenle Self-Reflection, modele basitçe “daha dikkatli düşün” demekten farklıdır. Burada önce somut bir çıktı üretilir, ardından bu çıktı belirli ölçütlere göre incelenir ve gerekiyorsa değiştirilir.

Self-Reflection Nasıl Çalışır?

Örneğin modele şu görev verilsin: “Yapay zekâ kullanımının çalışan performansı üzerindeki etkisini inceleyen bir araştırma modeli oluştur.” Model önce bir araştırma modeli geliştirebilir:

Yapay Zekâ Kullanımı → İş Performansı

Self-Reflection aşamasında model kendi önerisini yeniden değerlendirir:

Kontrol 1: Model teorik olarak yeterince açıklanmış mı?
Kontrol 2: İlişki fazla basit mi?
Kontrol 3: Aracı veya düzenleyici mekanizma gerekli mi?
Kontrol 4: Önerilen değişkenler birbirinden kavramsal olarak ayrışıyor mu?
Kontrol 5: Modelin literatüre özgün katkısı açık mı?

Bu değerlendirme sonucunda ilk modelin fazla basit olduğu belirlenirse yeni bir yapı geliştirilebilir:

Yapay Zekâ Kullanımı → Çalışan Yaratıcılığı → İş Performansı

Ardından bu model de yeniden değerlendirilebilir.

Dolayısıyla süreç:

Üret → Eleştir → Düzelt → Yeniden değerlendir

döngüsüne dönüşür.

Basit Bir Self-Reflection Prompt Örneği

“Önce verilen göreve ilişkin bir çözüm oluştur. Ardından oluşturduğun çözümü doğruluk, tutarlılık, eksiksizlik ve verilen talimatlara uygunluk açısından yeniden değerlendir. Belirlediğin hataları ve önemli eksiklikleri düzelt. İlk cevabı tekrar etmek yerine değerlendirme sonucuna göre geliştirilmiş nihai cevabı oluştur.”

Daha spesifik değerlendirme ölçütleri verilmesi Self-Reflection sürecini güçlendirebilir.

Örneğin akademik bir metin için:

“Hazırladığın metni akademik doğruluk, kavramsal tutarlılık, kaynak desteği, aşırı genelleme ve amaç-sonuç uyumu açısından yeniden değerlendir. Belirlediğin sorunları düzelterek nihai metni oluştur.”

Akademik Hakemlikte Self-Reflection

Self-Reflection, akademik hakemlik yapan bir AI Agent için özellikle yararlı olabilir. Agent önce makaleyi değerlendirerek bir hakem raporu oluşturur. Ardından kendi raporunu şu sorularla kontrol edebilir:

Eleştirilerim makaledeki kanıtlara dayanıyor mu?

Yazarların yapmadığı bir analizi yapmış gibi mi değerlendirdim?

Major olarak sınıflandırdığım sorun gerçekten çalışmanın bilimsel geçerliliğini etkiliyor mu?

Önerdiğim ek analiz gerçekten gerekli mi?

Hakem raporum ile verdiğim yayın kararı tutarlı mı?

Örneğin agent Major Revision kararı verdiyse ancak raporda yalnızca yazım ve biçim sorunları bulunuyorsa Self-Reflection aşaması bu tutarsızlığın fark edilmesine yardımcı olabilir.

Bu durumda süreç:

Makaleyi İncele → Hakem Raporu Oluştur → Raporu Eleştir → Kararı Kontrol Et → Gerekirse Revize Et → Nihai Hakem Raporu

şeklinde çalışabilir.

Self-Reflection ve Chain of Thought Arasındaki Fark

İki yaklaşımın amacı farklıdır.

Chain of Thought (CoT), problemin çözümü sırasında ara muhakeme adımlarının kullanılmasına odaklanır:

Problem → Ara Muhakeme → Ara Muhakeme → Sonuç

Self-Reflection ise oluşturulan çözümün sonradan değerlendirilmesine odaklanır:

Problem → Çözüm → Değerlendirme → Düzeltme → Nihai Çözüm

Kısaca:

CoT: “Problemi sistematik biçimde çöz.”

Self-Reflection: “Ürettiğin çözümü yeniden değerlendir ve gerekiyorsa düzelt.”

Self-Reflection ve Self-Consistency Arasındaki Fark

Bu iki kavram da birbirine karıştırılmamalıdır.

Self-Consistency, aynı problem için birden fazla bağımsız muhakeme yolu üretir ve sonuçlar arasındaki tutarlılıktan yararlanır:

Problem → Çözüm A / Çözüm B / Çözüm C → Karşılaştır → En Tutarlı Sonuç

Self-Reflection ise mevcut çözümü eleştirerek geliştirir:

Problem → Çözüm A → Eleştiri → Revizyon → Çözüm A’

Dolayısıyla:

Self-Consistency = Çoklu çözümler arasından seçim

Self-Reflection = Mevcut çözümü değerlendirme ve geliştirme

Self-Reflection ve ReAct Arasındaki Fark

ReAct, modelin muhakeme ile eylemi ve dış çevreden gelen gözlemi birleştirmesine dayanır.

ReAct:

Muhakeme → Eylem → Gözlem → Yeni Muhakeme

Self-Reflection ise modelin kendi oluşturduğu çıktıyı değerlendirmesine odaklanır:

Üretim → Öz-Değerlendirme → Revizyon

İki yöntem birlikte de kullanılabilir. Örneğin bir araştırma agent’ı web’de bilgi toplamak için ReAct yaklaşımından, oluşturduğu nihai raporu kontrol etmek için Self-Reflection yaklaşımından yararlanabilir.

Self-Reflection’ın Avantajları

Self-Reflection özellikle şu görevlerde yararlı olabilir:

Akademik yazım: Kavramsal ve yapısal eksikliklerin belirlenmesi.

Kodlama: Üretilen kodun hata ve eksikliklerinin değerlendirilmesi.

Problem çözme: İlk çözümdeki mantıksal sorunların belirlenmesi.

Planlama: Oluşturulan planın uygulanabilirliğinin kontrol edilmesi.

AI Agent sistemleri: Agent’ın önceki eylemlerinden elde ettiği sonuçları değerlendirerek sonraki davranışını geliştirmesi.

Hakemlik: Eleştiriler ile nihai yayın kararının tutarlılığının kontrol edilmesi.

Sınırlılıkları

Self-Reflection’ın önemli bir sınırlılığı, modelin kendi hatasını her zaman tespit edememesidir. Model yanlış bilgiye dayanarak cevap oluşturmuşsa aynı yanlış varsayımı değerlendirme aşamasında da sürdürebilir.

Bu nedenle: Öz-değerlendirme ≠ Bağımsız doğrulama

Self-Reflection özellikle dış kaynak doğrulamasının gerekli olduğu bilimsel, hukuki, finansal veya sağlıkla ilgili konularda tek başına doğruluk garantisi sağlamaz.

Ayrıca tekrar tekrar öz-değerlendirme yaptırmak her zaman daha iyi sonuç üretmez. Gereksiz reflection döngüleri işlem maliyetini artırabilir ve bazı durumlarda başlangıçta doğru olan bir cevabın gereksiz biçimde değiştirilmesine yol açabilir.

Self-Reflection, Reflexion ve Self-Refine Aynı Şey mi?

Tam olarak değildir.

Self-Reflection, modelin kendi çıktısını değerlendirmesine ilişkin geniş bir kavramdır.

Self-Refine, geri bildirim ve iteratif iyileştirme döngüsünü sistematikleştiren belirli bir yaklaşımdır:

Üret → Geri Bildirim → İyileştir → Tekrarla

Reflexion ise özellikle ajanlarda başarısızlık ve geri bildirimlerden elde edilen değerlendirmelerin sözel bir bellekte tutulmasını ve sonraki denemelerde kullanılmasını içeren daha spesifik bir çerçevedir.

Bu nedenle bu üç terimi eş anlamlı kullanmak teknik açıdan doğru değildir.

Kısaca

Chain of Thought: “Adım adım çöz.”

Self-Consistency: “Birden fazla çözüm üret ve en tutarlı olanı seç.”

Self-Reflection: “Ürettiğin çözümü eleştir ve geliştir.”

ReAct: “Düşün, eyleme geç ve gözleme göre devam et.”

Reflexion: “Sonuçlarından ders çıkar ve bu deneyimi sonraki denemelerde kullan.”

Self-Reflection tek bir makaleye veya yönteme indirgenebilen standart bir teknikten ziyade, LLM’lerin kendi çıktıları üzerinde değerlendirme ve düzeltme gerçekleştirdiği geniş bir yaklaşım ailesi olarak ele alınmalıdır. Bu nedenle kavramı açıklarken Self-Refine ve Reflexion gibi daha spesifik yöntemlerden ayırmak terminolojik açıdan önemlidir.

İlgili temel çalışmalar:

Madaan, A., Tandon, N., Gupta, P., Hallinan, S., Gao, L., Wiegreffe, S., Alon, U., Dziri, N., Prabhumoye, S., Yang, Y., Welleck, S., Majumder, B. P., Gupta, S., Yazdanbakhsh, A., & Clark, P. (2023). Self-Refine: Iterative Refinement with Self-Feedback. Advances in Neural Information Processing Systems, 36.

Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. Advances in Neural Information Processing Systems, 36.