İstem Değerlendirme Metrikleri

İstem Değerlendirme Metrikleri (Prompt Evaluation Metrics), bir promptun yapay zekâdan ne ölçüde doğru, ilgili, tutarlı ve beklenen formata uygun sonuç ürettiğini ölçmek için kullanılan kriterlerdir. Prompt optimizasyonunda hangi prompt sürümünün daha başarılı olduğunu belirlemek için kullanılır.

Temel süreç: Prompt → Model Çıktısı → Değerlendirme Kriterleri → Puanlama → Karşılaştırma → Prompt İyileştirme

Başlıca değerlendirme metrikleri

Basit örnek

İki farklı promptun akademik makale özetleme performansı karşılaştırılabilir:

Prompt A: “Bu makaleyi özetle.”
Prompt B: “Bu makaleyi amaç, yöntem, örneklem, temel bulgular ve sonuç açısından 300 kelimeyle özetle. Yalnızca makaledeki bilgileri kullan.”

Her iki çıktı daha sonra doğruluk, eksiksizlik, kaynak metne sadakat ve talimatlara uyum açısından örneğin 1–5 arasında puanlanabilir.

Değerlendirme yöntemleri

Metriklerin ölçülmesinde insan değerlendirmesi (Human Evaluation), otomatik ölçütler ve LLM-as-a-Judge yaklaşımı kullanılabilir. LLM-as-a-Judge yönteminde başka bir dil modeli, önceden tanımlanan rubriğe göre çıktıları değerlendirir ve puanlar. Her görev için aynı metriklerin kullanılması doğru değildir. Örneğin sınıflandırmada accuracy, belge analizinde faithfulness, yaratıcı yazmada ise özgünlük ve hedeflenen üsluba uygunluk daha önemli olabilir.

Prompt Optimizasyonundan farkı

Prompt Evaluation, promptun performansını ölçer; Prompt Optimization ise bu değerlendirme sonuçlarından yararlanarak promptu iyileştirir.

Kısaca: İstem değerlendirme metrikleri, bir promptun yalnızca “iyi görünüp görünmediğini” değil, doğruluk, ilgililik, tutarlılık, talimatlara uyum, kaynak sadakati ve verimlilik gibi ölçütlerle ne kadar başarılı çalıştığını sistematik olarak değerlendirmeyi sağlar.