Prompt Error Analysis

Prompt Error Analysis (Prompt Hata Analizi), bir prompt kullanılarak elde edilen hatalı, eksik veya istenmeyen model çıktılarının sistematik biçimde incelenerek hata türlerinin, tekrar eden örüntülerin ve olası nedenlerin belirlenmesi sürecidir. Amaç yalnızca kaç hata yapıldığını ölçmek değil, model-prompt sisteminin nerede ve neden başarısız olduğunu anlamaktır.

Örneğin bir promptun 200 müşteri yorumunu olumlu, olumsuz veya nötr olarak sınıflandırması istensin. Model 30 yorumu yanlış sınıflandırmışsa yalnızca:

Accuracy = %85

sonucuna bakmak hata analizi için yeterli değildir. Yanlış sınıflandırılan 30 örnek ayrıca incelenebilir:

Bu analiz, sistemin genel performansından çok hangi durumlarda başarısız olduğunu gösterir. Örneğin hataların büyük bölümünün ironik ifadelerde ortaya çıkması, promptta ironi ve sarkazmın nasıl değerlendirileceğine ilişkin ek bir talimata ihtiyaç olduğunu gösterebilir.

Prompt Error Analysis sırasında hataların yalnızca prompttan kaynaklandığı varsayılmamalıdır. Sorunlar prompt tasarımı, model kapasitesi, yetersiz bağlam, hatalı referans veri (ground truth), üretim parametreleri veya görevin kendisindeki belirsizlikten kaynaklanabilir. Bu nedenle hata nedenlerinin ayrıştırılması önemlidir.

Hatalar farklı kategoriler altında incelenebilir. Örneğin yanlış bilgi üretme, talimatı izlememe, yanlış sınıflandırma, eksik cevap, gereksiz içerik, format ihlali ve tutarsız çıktı ayrı hata türleri olarak kodlanabilir. Daha sonra hata sıklıkları ve örnekleri karşılaştırılarak promptun hangi bölümlerinin geliştirilmesi gerektiği belirlenebilir.

Prompt Error Analysis özellikle Prompt Debugging ve Prompt Optimization süreçlerine veri sağlar. Error Analysis sorunun örüntüsünü ve olası kaynağını ortaya çıkarırken Debugging bu sorunun giderilmesine, Optimization ise genel performansın geliştirilmesine odaklanır.

Kısaca: Prompt Error Analysis, “Model hangi hataları, ne sıklıkla ve hangi koşullarda yapıyor; bu hataların olası nedenleri nelerdir?” sorularını sistematik biçimde inceleme sürecidir.

Prompt Evaluation: Performans ne düzeyde?
Prompt Error Analysis: Hatalar nerede ve neden oluşuyor?
Prompt Debugging: Belirlenen sorun nasıl düzeltilebilir?
Prompt Optimization: Genel performans nasıl artırılabilir?

İlgili kavramlar: Error Analysis, Prompt Debugging, Prompt Testing, Prompt Evaluation, Prompt Optimization, Failure Mode, Edge Case, Ground Truth, Error Taxonomy.