Top-p -(Nucleus Sampling)

Top-p, büyük dil modellerinde (Large Language Models – LLM’ler) yanıt üretimi sırasında kullanılacak tokenların seçimini kontrol eden bir örnekleme (sampling) yöntemidir. Bu yöntemde model, tüm olası tokenlar arasından seçim yapmak yerine, toplam olasılıkları belirlenen bir eşik değere (p) ulaşan en olası tokenlardan oluşan bir küme (nucleus) oluşturur ve yalnızca bu küme içerisinden seçim yapar. Böylece hem çeşitlilik korunur hem de çok düşük olasılıklı, anlamsız tokenların seçilmesi engellenir.

Büyük dil modelleri her yeni token için binlerce olası kelime üretir ve bunların her birine bir olasılık değeri atar. En basit yaklaşım, en yüksek olasılığa sahip tokenı her zaman seçmektir. Ancak bu yöntem tekrarlayan ve monoton çıktılara neden olabilir. Top-p yöntemi ise olasılık dağılımını dinamik olarak değerlendirerek yalnızca en anlamlı adayları dikkate alır.

Örneğin modelin bir sonraki token için şu olasılıkları hesapladığını düşünelim:

Eğer Top-p = 0.90 olarak belirlenmişse model, toplam olasılığı %90’a ulaşıncaya kadar en yüksek olasılıklı tokenları seçer:

• Ankara (%45)
• İstanbul (%25)
• İzmir (%15)
• Bursa (%8)

Bu dört tokenın toplam olasılığı %93 olduğundan seçim yalnızca bu kümeden yapılır. Antalya ve diğer düşük olasılıklı seçenekler değerlendirme dışı bırakılır.

Top-p’nin çalışma mantığı, Top-k Sampling yönteminden farklıdır. Top-k yönteminde aday sayısı sabittir (örneğin yalnızca en yüksek olasılıklı 50 token değerlendirilir). Top-p yönteminde ise aday token sayısı sabit değildir; modelin olasılık dağılımına göre dinamik olarak değişir. Eğer model çok emin ise yalnızca birkaç token yeterli olabilir. Belirsiz durumlarda ise aday kümesi daha fazla token içerebilir.

Top-p değeri farklı davranışlar oluşturur:

• Top-p = 0.3–0.5: Model yalnızca en yüksek olasılıklı tokenları değerlendirir; yanıtlar daha tutarlı ve öngörülebilir olur.
• Top-p = 0.8–0.9: Çeşitlilik ile doğruluk arasında dengeli sonuçlar elde edilir. Bu aralık birçok uygulamada varsayılan tercih olarak kullanılır.
• Top-p = 1.0: Hiçbir token elenmez; tüm olası tokenlar değerlendirilir. Bu durum yaratıcılığı artırabilir ancak tutarsızlık ve halüsinasyon riskini de yükseltebilir.

Top-p genellikle Temperature parametresiyle birlikte kullanılır. Temperature, olasılık dağılımının ne kadar keskin veya düz olacağını belirlerken, Top-p bu dağılımdan hangi tokenların seçime dahil edileceğini belirler. Bu iki parametre birlikte kullanıldığında modelin yaratıcılığı ve tutarlılığı hassas biçimde ayarlanabilir.

Modern büyük dil modellerinde Top-p, özellikle aşağıdaki görevlerde yaygın olarak kullanılmaktadır:

• Sohbet sistemleri
• Hikâye üretimi
• Kod oluşturma
• Makine çevirisi
• Metin tamamlama
• İçerik üretimi

Avantajları

• Düşük olasılıklı anlamsız tokenları filtreler.
• Yaratıcılık ile doğruluk arasında denge kurar.
• Olasılık dağılımına göre dinamik aday kümesi oluşturur.
• Tekrarlayan çıktıları azaltabilir.
• Modern büyük dil modellerinde yüksek kaliteli metin üretimini destekler.

Dezavantajları

• Çok yüksek Top-p değerleri tutarsız veya hatalı çıktılara neden olabilir.
• Çok düşük değerlerde yanıtlar aşırı tahmin edilebilir hâle gelebilir.
• Uygun değer, kullanım amacına göre değişir.
• Temperature ile birlikte yanlış ayarlandığında çıktı kalitesi düşebilir.

Özet

Top-p (Nucleus Sampling), büyük dil modellerinde bir sonraki tokenın seçimi sırasında toplam olasılığı belirli bir eşiğe ulaşan en olası tokenlardan oluşan dinamik bir aday kümesi oluşturan örnekleme yöntemidir. Bu yaklaşım, yalnızca en olası birkaç tokenla sınırlı kalmadan, gerektiğinde daha geniş bir aday havuzu kullanarak hem çeşitliliği hem de doğruluğu korur. Günümüzde GPT, Llama, Gemini ve benzeri büyük dil modellerinde en yaygın kullanılan örnekleme tekniklerinden biridir.

İlgili Kavramlar: Temperature, Top-k Sampling, Sampling, Token, Tokenization, Inference, Prompt, Hallucination, Large Language Model (LLM)

Kaynakça

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2020). The curious case of neural text degeneration. Proceedings of the 8th International Conference on Learning Representations (ICLR 2020).

Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Pearson.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.