Nucleus Sampling

Nucleus Sampling (Çekirdek Örnekleme), büyük dil modellerinin metin üretirken bir sonraki tokenı seçmek için kullandığı olasılıksal kod çözme (decoding) yöntemlerinden biridir. Literatürde ve model ayarlarında çoğunlukla Top-p Sampling adıyla da karşılaşılır.

Bu yöntemde model, olası tüm tokenları kullanmak yerine, olasılığı en yüksek tokenlardan başlayarak toplam olasılığı belirlenen p değerine ulaşan en küçük token grubunu oluşturur. Ardından bir sonraki token bu grubun içerisinden olasılıksal olarak seçilir.

Örneğin Top-p = 0.90 olsun:

Bu durumda ilk dört tokenın toplam olasılığı %90’a ulaştığı için nucleus, yani aday havuzu bu tokenlardan oluşur. “farklı” ve “başka” gibi daha düşük olasılıklı seçenekler havuz dışında bırakılır. Model daha sonra ilk dört seçenek arasından olasılıklarına göre örnekleme yapar.

Nucleus Sampling’in önemli özelliği, aday token sayısının sabit olmamasıdır. Model bir sonraki token konusunda çok eminse aday havuzu küçük olabilir; olasılıklar çok sayıda token arasında dağılmışsa havuz genişleyebilir. Bu özelliği onu sabit sayıda aday kullanan Top-k Sampling yönteminden ayırır.

Düşük p değerleri modelin daha güvenli ve öngörülebilir seçeneklere yönelmesine, yüksek p değerleri ise daha fazla alternatifin değerlendirilmesine neden olur. Ancak çok yüksek değerler düşük olasılıklı tokenların da seçime katılmasına izin verebilir.

Nucleus Sampling özellikle doğallık ile çeşitlilik arasında denge kurmak amacıyla kullanılır. Bu nedenle sohbet sistemleri, yaratıcı yazım ve açık uçlu metin üretimi gibi görevlerde kullanışlı bir decoding yaklaşımıdır.

Kısaca: Nucleus Sampling, “en olası kaç tokenı almalıyım?” yerine “toplam olasılığın belirli bir bölümünü kapsayan tokenları aday havuzuna almalıyım” mantığıyla çalışır.

Nucleus Sampling = Top-p Sampling

İlgili kavramlar: Top-p, Top-k Sampling, Temperature, Sampling Strategy, Greedy Decoding, Token Probability, Decoding.