Prompt Improvement

Prompt Improvement (Prompt İyileştirme), mevcut bir promptun daha açık, spesifik, tutarlı, güvenilir ve amaca uygun çıktılar üretmesi için gözden geçirilerek geliştirilmesi sürecidir. Prompt mühendisliğinde genellikle test, değerlendirme ve hata analizinden elde edilen bulgular doğrultusunda gerçekleştirilir.

Örneğin başlangıçta şu prompt kullanılıyor olsun:

İlk prompt: “Bu müşteri yorumunu analiz et.”

Bu talimat oldukça geneldir. Model yorumun duygusunu, konusunu veya müşteri memnuniyetini analiz edebilir ve farklı biçimlerde yanıt verebilir.

Prompt şu şekilde iyileştirilebilir:

İyileştirilmiş prompt: “Müşteri yorumunun genel duygu yönelimini ‘olumlu’, ‘olumsuz’ veya ‘nötr’ olarak sınıflandır. Yalnızca kategori adını yaz. Yorum hem olumlu hem olumsuz ifadeler içeriyorsa baskın duygu yönelimini esas al.”

Bu düzenlemede görev, olası kategoriler, karar kuralı ve çıktı biçimi daha açık hâle getirilmiştir.

Prompt Improvement sırasında prompta yalnızca daha fazla kelime eklemek amaçlanmaz. Gereksiz veya birbiriyle çelişen talimatların çıkarılması da iyileştirme olabilir. Dolayısıyla daha uzun bir prompt her zaman daha iyi bir prompt değildir.

İyileştirme sürecinde Prompt Clarity, Specificity, Context, Constraints, örnekler, çıktı formatı ve edge case kuralları gözden geçirilebilir. Hangi unsurun değiştirilmesi gerektiği ise gözlenen hata türlerine göre belirlenmelidir.

Prompt Improvement genellikle iteratif bir süreçtir:

Mevcut prompt → Test → Değerlendirme → Hata analizi → Düzenleme → Yeniden test

Örneğin hata analizi modelin çıktı formatına uymadığını gösteriyorsa format talimatı güçlendirilebilir. Sorun belirsiz kategorilerden kaynaklanıyorsa kategori tanımları eklenebilir. Model görevi yanlış yorumluyorsa bağlam ve amaç daha açık ifade edilebilir.

Prompt Improvement ile Prompt Optimization yakın kavramlardır ancak tamamen eş anlamlı olmak zorunda değildir. Improvement, prompt üzerinde yapılan genel nitelikli geliştirmeleri ifade ederken Optimization daha sistematik biçimde belirli performans ölçütlerini en iyi hâle getirmeye yönelik süreçleri ifade edebilir.

Ayrıca bir promptun “iyileştiğini” söylemek için yalnızca yeni sürümün daha iyi görünmesi yeterli değildir. Mümkün olduğunda eski ve yeni sürümler aynı test seti ve değerlendirme ölçütleriyle karşılaştırılmalıdır.

Kısaca: Prompt Improvement, mevcut bir promptun tespit edilen sorunlar ve performans sonuçları doğrultusunda daha etkili hâle getirilmesi sürecidir.

Prompt Testing: Sorun var mı?
Prompt Error Analysis: Sorun nerede ve neden oluşuyor?
Prompt Improvement: Promptta neyi değiştirmeliyiz?
Prompt Evaluation: Değişiklik gerçekten işe yaradı mı?

İlgili kavramlar: Prompt Optimization, Prompt Testing, Prompt Evaluation, Prompt Debugging, Prompt Error Analysis, Prompt Clarity, Prompt Specificity, Iterative Prompting.