Top-p Sampling

Top-p Sampling, yapay zekâ modellerinin yanıt üretirken bir sonraki kelime/token seçiminde hangi olası seçenekleri dikkate alacağını belirleyen örnekleme yöntemidir. Literatürde Nucleus Sampling olarak da adlandırılır. Temel mantığı şudur: Model, bir sonraki token için olası seçenekleri olasılıklarına göre sıralar. Ardından toplam olasılığı belirlenen p değerine ulaşan en küçük seçenek grubunu dikkate alır. Seçim bu grubun içinden yapılır.

Basit Bir Örnek

Modelin şu cümleyi tamamladığını düşünelim: “Bugün hava oldukça…” Modelin olası devamları şöyle olsun:

Eğer: Top-p = 0.70 olarak belirlenirse, “güzel” (%40) ve “sıcak” (%30) seçeneklerinin toplamı %70’e ulaştığı için örnekleme esas olarak bu nucleus içerisinden yapılır. Top-p değeri yükseldikçe daha düşük olasılıklı seçeneklerin de değerlendirmeye girme ihtimali artar.

Düşük Top-p Ne Yapar?

Daha küçük bir olasılık havuzundan seçim yapılmasına yol açar. Sonuçlar genellikle: daha kontrollü, daha öngörülebilir ve daha az çeşitli olur.

Örneğin: Top-p = 0.2 modelin en yüksek olasılıklı seçeneklere yoğunlaşmasına neden olur. Bu yaklaşım; bilgi çıkarma, sınıflandırma, standartlaştırılmış çıktı, veriye bağlı özetleme gibi yaratıcılığın düşük tutulmasının istendiği görevlerde yararlı olabilir.

Yüksek Top-p Ne Yapar?

Daha geniş bir olasılık havuzunun dikkate alınmasına izin verir. Örneğin: Top-p = 0.95 daha düşük olasılıklı alternatiflerin de seçim havuzuna girmesine olanak tanıyabilir. Bu durum; hikâye, slogan, reklam fikri, yaratıcı başlık, alternatif senaryo üretiminde daha fazla çeşitlilik sağlayabilir.

Top-p = 1 Ne Demektir?

Genel olarak olasılık kütlesinin tamamına kadar seçeneklerin değerlendirmeye açık olması anlamına gelir. Başka bir ifadeyle nucleus sampling kaynaklı bir daraltma uygulanmaz. Ancak bu, bütün tokenların eşit olasılıkla seçileceği anlamına gelmez. Model yine olasılık dağılımına göre seçim yapar.

Top-p ile Temperature Arasındaki Fark Nedir?

Bu iki kavram birbirine benzer görünse de aynı değildir.

Temperature, tokenların olasılık dağılımının şeklini değiştirir.

Top-p, hangi tokenların seçim havuzunda kalacağını belirler.

Basitleştirirsek: Temperature → “Olasılıklar ne kadar keskin/dağınık olsun?”

Top-p → “Olasılıkların ne kadarlık bölümünü seçim havuzuna alalım?”

Örneğin modelin yüzlerce olası devamı varsa Top-p bunların tamamını kullanmak yerine toplam olasılığı belirli bir eşiğe ulaşan dinamik bir alt küme oluşturur.

Neden “Nucleus Sampling” Denir?

Çünkü her adımda sabit sayıda token seçilmez. Model, toplam olasılığı p eşiğine ulaşan en küçük yüksek olasılıklı token kümesini oluşturur. Bu kümeye “nucleus” denir. Bu yönüyle Top-k Sampling yönteminden ayrılır.

Top-k: “En olası 50 tokenı kullan.” derken,

Top-p: “Toplam olasılığı örneğin %90’a ulaşan en küçük token grubunu kullan.” mantığıyla çalışır.

Dolayısıyla Top-p’de seçim havuzunun büyüklüğü her token üretim adımında değişebilir.

Akademik Kullanım Örneği

Bir araştırmacı: “Aşağıdaki bulguları yalnızca verilen sonuçlara dayanarak üç maddede özetle.” şeklinde bir görev veriyorsa yüksek çeşitlilik çoğunlukla gerekli değildir. Daha kontrollü örnekleme tercih edilebilir.

Ancak: “Bu araştırma sonucunu açıklayabilecek 10 farklı kuramsal mekanizma öner.” gibi keşfedici bir görevde daha geniş örnekleme çeşitliliği yararlı olabilir.

Top-p Doğruluğu Artırır mı?

Doğrudan hayır. Top-p bir doğruluk veya halüsinasyon önleme parametresi değildir. Top-p değerini düşürmek modeli daha muhafazakâr hâle getirebilir; fakat model yüksek olasılık verdiği yanlış bir bilgiyi yine üretebilir. Bu nedenle: Düşük Top-p ≠ Doğru bilgi eşitliği kurulamaz.

Temperature ve Top-p Birlikte Kullanılır mı?

Teknik olarak birçok sistemde birlikte kullanılabilir. Ancak ikisi de örnekleme davranışını etkilediği için aynı anda agresif biçimde değiştirmek çıktının neden değiştiğini anlamayı zorlaştırabilir. Bu nedenle uygulamada çoğu zaman bir parametreyi değiştirirken diğerini daha sabit tutmak daha anlaşılır bir deney yaklaşımıdır.

En Kısa Tanımı

Top-p Sampling (Nucleus Sampling) = Modelin bir sonraki tokenı seçerken, toplam olasılığı p eşiğine ulaşan en küçük yüksek olasılıklı token kümesinden örnekleme yapmasıdır.

Kısaca:

Düşük Top-p → Dar seçim havuzu → Daha kontrollü çıktı

Yüksek Top-p → Geniş seçim havuzu → Daha çeşitli çıktı

Temperature ile arasındaki temel fark ise şudur: Temperature olasılık dağılımını değiştirir; Top-p seçim havuzunu sınırlar.