DSPy

DSPy, büyük dil modelleriyle çalışan uygulamaları tek tek prompt yazarak geliştirmek yerine programlanabilir, modüler ve otomatik olarak optimize edilebilir yapılar hâlinde oluşturmayı sağlayan açık kaynaklı bir Python framework’üdür. Stanford NLP kökenlidir ve temel yaklaşımı “Program, don’t prompt” şeklinde ifade edilir.

Temel mantığı

Geleneksel yaklaşım: Görev → Manuel Prompt → LLM → Çıktı

DSPy yaklaşımı: Görev Tanımı → DSPy Programı → Optimizasyon → LLM → Değerlendirilmiş Çıktı

DSPy’da geliştirici sürekli prompt metniyle uğraşmak yerine girdileri, çıktıları ve görevin amacını tanımlar. Framework uygun promptlama stratejisinin optimize edilmesine yardımcı olur.

Temel bileşenleri

Örneğin geliştirici basitçe:

• Girdi: Müşteri yorumu
• Çıktı: Olumlu / Nötr / Olumsuz

şeklinde görevi tanımlayabilir. DSPy bu görevin LLM tarafından nasıl gerçekleştirileceğinin sistematik biçimde yapılandırılmasına ve optimize edilmesine olanak verir.

APE’den farkı

APE, alternatif promptlar üreterek en başarılı promptu bulmaya odaklanan bir otomatik prompt optimizasyon yaklaşımıdır.

DSPy ise bundan daha kapsamlıdır. Prompt optimizasyonunun yanında RAG, sınıflandırma, bilgi çıkarımı, ajanlar ve çok aşamalı LLM uygulamalarını programlama olanağı sağlayan bir framework’tür.

Kısaca

DSPy = LLM uygulamalarını prompt yazmaktan programlamaya taşıyan framework.

COSTAR, RISEN veya CRISPE gibi bir prompt şablonu değildir. APE gibi yalnızca otomatik prompt üretme yöntemi de değildir. Promptları ve diğer LLM bileşenlerini programatik olarak tanımlama, birleştirme, değerlendirme ve optimize etme altyapısıdır.

DSPy resmi dokümantasyonu