Top-k Sampling

Top-k Sampling, büyük dil modellerinde (Large Language Models – LLM’ler) yanıt üretimi sırasında kullanılacak tokenların seçimini kontrol eden bir örnekleme (sampling) yöntemidir. Bu yöntemde model, her adımda hesapladığı binlerce olası token arasından yalnızca olasılığı en yüksek ilk k tokenı dikkate alır ve seçimi yalnızca bu sınırlı küme içerisinden yapar. Böylece çok düşük olasılıklı ve anlamsız tokenların seçilmesi engellenirken, üretilen metinde belirli bir çeşitlilik korunur.

Büyük dil modelleri her yeni token için olası tüm kelimelerin olasılıklarını hesaplar. Eğer hiçbir filtreleme yapılmazsa model teorik olarak çok düşük olasılıklı binlerce token arasından seçim yapabilir. Top-k yöntemi bu sorunu çözmek için yalnızca en yüksek olasılığa sahip belirli sayıdaki tokenı seçer ve diğer tüm seçenekleri değerlendirme dışı bırakır.

Örneğin modelin bir sonraki token için şu olasılıkları ürettiğini düşünelim:

Eğer Top-k = 3 olarak belirlenmişse model yalnızca şu üç tokenı dikkate alacaktır:

• Ankara
• İstanbul
• İzmir

Bursa ve daha düşük olasılıklı tüm seçenekler tamamen elenir. Son seçim ise yalnızca bu üç adayın olasılıklarına göre yapılır.

Top-k değerinin büyüklüğü, modelin üreteceği metnin çeşitliliğini doğrudan etkiler:

• Top-k = 1: Model her zaman en yüksek olasılıklı tokenı seçer. Bu durum greedy decoding (açgözlü çözümleme) olarak adlandırılır ve en tutarlı ancak en az çeşitli çıktıları üretir.
• Top-k = 10–50: Doğruluk ile çeşitlilik arasında dengeli sonuçlar sağlar. Birçok uygulamada tercih edilen aralıktır.
• Top-k = 100 veya daha yüksek: Model daha fazla alternatifi değerlendirebilir ve daha yaratıcı yanıtlar üretebilir; ancak hata ve tutarsızlık riski de artabilir.

Top-k yöntemi, Top-p (Nucleus Sampling) ile sıkça karşılaştırılır. İki yöntem arasındaki temel fark şudur:

• Top-k Sampling: Aday token sayısı sabittir. Her zaman en yüksek olasılığa sahip k token değerlendirilir.
• Top-p Sampling: Aday token sayısı sabit değildir. Toplam olasılık belirli bir eşik değerine ulaşıncaya kadar tokenlar seçilir.

Örneğin model çok emin olduğunda Top-p yalnızca üç token seçebilirken, belirsiz olduğunda yirmi tokenı değerlendirebilir. Buna karşılık Top-k, her durumda aynı sayıda tokenı dikkate alır.

Top-k genellikle Temperature ve Top-p parametreleriyle birlikte kullanılmaktadır. Temperature olasılık dağılımını şekillendirirken, Top-k en yüksek olasılıklı kaç tokenın seçime dahil edileceğini belirler. Bu parametrelerin birlikte ayarlanması, modelin doğruluğu, çeşitliliği ve yaratıcılığı üzerinde önemli etkiye sahiptir.

Top-k Sampling aşağıdaki uygulamalarda yaygın olarak kullanılmaktadır:

• Sohbet sistemleri
• Metin tamamlama
• Kod üretimi
• Hikâye oluşturma
• Diyalog sistemleri
• Oyun içi yapay zekâ karakterleri

Avantajları

• Çok düşük olasılıklı tokenları filtreleyerek daha kaliteli çıktı üretir.
• Yanıt çeşitliliğini artırırken tutarlılığı korur.
• Hesaplama sürecini daha verimli hâle getirir.
• Parametresi kolay anlaşılır ve uygulanabilir.
• Yaratıcı içerik üretiminde tekrarları azaltabilir.

Dezavantajları

• Sabit aday sayısı her durum için ideal olmayabilir.
• Çok küçük Top-k değerleri monoton ve tekrar eden metinler oluşturabilir.
• Çok büyük Top-k değerleri anlamsız veya tutarsız tokenların seçilmesine yol açabilir.
• Olasılık dağılımının yapısını dikkate almadığından bazı durumlarda Top-p kadar esnek değildir.

Özet

Top-k Sampling, büyük dil modellerinde yalnızca olasılığı en yüksek k tokenın değerlendirilmesini sağlayan örnekleme yöntemidir. Böylece düşük olasılıklı tokenlar elenir, model daha kontrollü ve kaliteli metinler üretir. Top-k değeri büyüdükçe yaratıcılık artarken, çok yüksek değerlerde tutarsızlık riski de yükselir. Günümüzde Top-k, Top-p ve Temperature parametreleri birlikte kullanılarak üretken yapay zekâ sistemlerinin çıktı kalitesi optimize edilmektedir.

İlgili Kavramlar: Top-p (Nucleus Sampling), Temperature, Sampling, Greedy Decoding, Token, Inference, Prompt, Hallucination, Large Language Model (LLM)

Kaynakça

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901.

Fan, A., Lewis, M., & Dauphin, Y. (2018). Hierarchical neural story generation. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 889–898.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2020). The curious case of neural text degeneration. Proceedings of the 8th International Conference on Learning Representations (ICLR 2020).

Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Pearson.