Prompt Consistency

Prompt Consistency (Prompt Tutarlılığı), bir promptun aynı veya benzer girdiler ve benzer çalışma koşulları altında istikrarlı, birbiriyle uyumlu ve görev gerekliliklerini koruyan çıktılar üretme derecesini ifade eder. Prompt değerlendirmesinde özellikle güvenilirlik ve tekrarlanabilirlik açısından önemlidir.

Örneğin bir promptun müşteri yorumlarını olumlu, olumsuz veya nötr olarak sınıflandırması istensin. Aynı yorum modele birkaç kez gönderildiğinde sonuçların şöyle olması:

1. çalıştırma: Olumlu
2. çalıştırma: Olumlu
3. çalıştırma: Olumlu

yüksek çıktı tutarlılığına işaret eder. Buna karşılık aynı yorumun farklı çalıştırmalarda “olumlu”, “nötr” ve “olumsuz” olarak sınıflandırılması düşük tutarlılık göstergesidir.

Prompt Consistency yalnızca aynı girdinin tekrar çalıştırılmasıyla değerlendirilmez. Anlamı aynı fakat farklı biçimde ifade edilmiş girdilere verilen yanıtların uyumu da incelenebilir. Örneğin “Bu üründen çok memnun kaldım” ile “Bu ürünü oldukça beğendim” ifadelerinin aynı sınıflandırma mantığıyla değerlendirilmesi beklenebilir.

Tutarlılık; promptun açıklığı ve özgüllüğünün yanı sıra model, Temperature, sampling yöntemi, Random Seed ve diğer decoding parametrelerinden de etkilenebilir. Bu nedenle gözlenen tutarlılığı yalnızca promptun kendisine bağlamak teknik olarak doğru değildir.

Ayrıca tutarlılık ile doğruluk aynı şey değildir. Bir model aynı yanlış cevabı her çalıştırmada veriyorsa sonuç oldukça tutarlı ancak hatalıdır. Bu nedenle Prompt Consistency, Prompt Accuracy gibi doğruluk ölçütleriyle birlikte değerlendirilmelidir.

Prompt tutarlılığı özellikle sınıflandırma, veri çıkarımı, otomatik değerlendirme, kurumsal iş akışları ve tekrarlanabilir sonuçların gerekli olduğu uygulamalarda önem taşır.

Kısaca: Prompt Consistency, belirli bir prompt ve çalışma koşulları altında modelin tekrarlanan veya eşdeğer girdiler karşısında ne kadar istikrarlı ve uyumlu sonuç verdiğini ifade eder.

Prompt Accuracy: Sonuç doğru mu?
Prompt Consistency: Sonuçlar birbiriyle tutarlı mı?
Prompt Robustness: Değişen koşul ve girdiler karşısında performans korunuyor mu?

İlgili kavramlar: Prompt Accuracy, Prompt Robustness, Prompt Evaluation, Reliability, Reproducibility, Deterministic Output, Stochastic Output, Temperature, Random Seed.