Top-p Sampling (Nucleus Sampling), büyük dil modellerinin bir sonraki kelimeyi seçerken yalnızca toplam olasılığı belirli bir eşiğe (p değeri) ulaşan en olası kelimeler arasından seçim yapmasını sağlayan bir örnekleme yöntemidir. Sabit sayıda aday belirlemek yerine, model her adımda en yüksek olasılıklı kelimeleri toplar ve bunların kümülatif olasılığı belirlenen p değerine ulaşınca aday havuzunu oluşturur. Sonraki kelime yalnızca bu havuzdan seçilir.
Örneğin Top-p = 0,90 olarak ayarlandığında model, toplam olasılığı %90’a ulaşan en olası kelimeleri seçilebilir adaylar olarak belirler. Eğer birkaç kelime zaten bu eşiğe ulaşıyorsa havuz küçük olur; olasılıkların daha dengeli dağıldığı durumlarda ise havuz otomatik olarak genişler. Böylece model, her durumda en uygun sayıda seçenek arasından seçim yaparak hem tutarlılığı hem de çeşitliliği dengeler.
Top-p Sampling, Temperature ile birlikte en sık kullanılan üretim parametrelerinden biridir. Temperature seçimin ne kadar rastgele olacağını belirlerken, Top-p hangi kelimelerin seçim havuzuna girebileceğini belirler. Düşük Top-p değerleri daha güvenli ve öngörülebilir yanıtlar üretirken, yüksek değerler daha yaratıcı ve çeşitli çıktılar elde edilmesini sağlar. Bu nedenle sohbet botları, içerik üretimi, kod yazma ve yaratıcı metin oluşturma gibi farklı uygulamalarda ihtiyaca göre Top-p değeri ayarlanarak modelin üretim davranışı optimize edilir.
Yorumlar (0)