Prompt Accuracy

Prompt Accuracy (Prompt Doğruluğu), bir promptun yapay zekâ modelini hedeflenen doğru sonuca ne ölçüde yönlendirdiğini ifade eden performans boyutudur. Özellikle doğru cevabın veya doğru sınıfın önceden bilindiği görevlerde, prompt kullanılarak elde edilen model çıktılarının referans sonuçlarla karşılaştırılması yoluyla değerlendirilebilir.

Örneğin müşteri yorumlarını olumlu, olumsuz veya nötr olarak sınıflandırmak amacıyla bir prompt geliştirildiğini düşünelim. Prompt 100 doğru etiketlenmiş yorum üzerinde test edildiğinde model bunların 92’sini doğru sınıflandırıyorsa:

Accuracy = 92 / 100 = %92

Bu durumda söz konusu prompt ve model yapılandırmasının bu test setindeki doğruluk oranı %92 olarak raporlanabilir.

Ancak teknik açıdan önemli bir ayrım vardır: Accuracy doğrudan promptun kendisine ait değişmez bir özellik değildir. Elde edilen doğruluk; kullanılan promptun yanı sıra model, model sürümü, test veri seti, decoding ayarları ve diğer çalışma koşullarından da etkilenir. Bu nedenle “bu promptun doğruluğu %92’dir” yerine “bu prompt, belirtilen model ve test koşullarında %92 accuracy sağlamıştır” demek daha doğrudur.

Accuracy özellikle sınıflandırma, bilgi çıkarımı, soru-cevap ve doğru/yanlış gibi nesnel referans cevabı bulunan görevlerde kullanışlıdır. Yaratıcı yazım veya fikir üretimi gibi tek bir doğru cevabın bulunmadığı görevlerde ise accuracy uygun bir değerlendirme ölçütü olmayabilir. Bu tür görevlerde relevancy, coherence, instruction adherence veya insan değerlendirmesi gibi farklı ölçütlere ihtiyaç duyulur.

Ayrıca accuracy tek başına her zaman yeterli değildir. Özellikle sınıfların dengesiz olduğu veri setlerinde yüksek accuracy yanıltıcı olabilir. Böyle durumlarda precision, recall ve F1-score gibi ek performans ölçütleri de değerlendirilmelidir.

Kısaca: Prompt Accuracy, belirli bir prompt kullanılarak üretilen model çıktılarının referans doğru sonuçlarla ne ölçüde eşleştiğini gösteren doğruluk performansıdır.

Formül:

Accuracy = Doğru sonuç sayısı / Toplam test örneği sayısı

Önemli not: Prompt Accuracy, evrensel ve prompttan bağımsız bir değer değil; prompt + model + veri seti + üretim ayarları kombinasyonunun belirli koşullardaki performansıdır.

İlgili kavramlar: Prompt Evaluation, Prompt Benchmark, Accuracy, Precision, Recall, F1-score, Ground Truth, Test Dataset, Evaluation Metrics.