Sampling Strategy

Sampling Strategy (Örnekleme Stratejisi), bir dil modelinin her üretim adımında olası tokenlar arasından bir sonraki tokenı hangi yöntemle seçeceğini belirleyen genel yaklaşımdır. Bir başka ifadeyle model önce olası devam seçenekleri için bir olasılık dağılımı oluşturur. Sampling Strategy ise bu dağılımdan hangi kurala göre seçim yapılacağını belirler. Basitçe: Sampling Strategy = Modelin olası kelime/token seçenekleri arasından seçim yapma yöntemi. Bu nedenle Sampling Strategy tek başına Temperature, Top-p veya Top-k gibi bir ayar değildir. Daha geniş bir kavramdır; Temperature, Top-p ve Top-k gibi teknikler sampling sürecinin parçaları veya belirli örnekleme yöntemleri olarak kullanılabilir.

Dil Modeli Neden Sampling Yapar?

Modelin şu cümleyi tamamladığını düşünelim: “Yapay zekâ gelecekte işletmelerin …” Basitleştirilmiş biçimde sonraki tokenlar için şu olasılıklar oluşabilir:

Olası devam	Olasılık
verimliliğini	%35
çalışma	%25
karar	%18
pazarlama	%12
yönetim	%6
diğer	%4

Modelin mutlaka en yüksek olasılıklı seçeneği seçmesi gerekmez. İşte Sampling Strategy bu noktada devreye girer:

Her zaman %35’lik seçeneği mi seçelim?

Olasılıklara göre rastgele seçim mi yapalım?

Yalnızca en güçlü 3 seçeneği mi değerlendirelim?

Toplam olasılığın %90’ını kapsayan seçeneklerden mi seçim yapalım?

Bu tercihler farklı üretim davranışlarına yol açar.

1. Greedy Decoding

En basit yöntemlerden biridir. Model her adımda olasılığı en yüksek tokenı seçer.

Örneğin:

verimliliğini  → %35çalışma        → %25karar          → %18

Greedy decoding:

verimliliğini

seçer.

Sonraki adımda yine en olası token seçilir ve süreç devam eder.

Avantajı

Daha öngörülebilir ve deterministik çıktılar üretmeye yardımcı olur.

Dezavantajı

Sürekli en yüksek olasılıklı tokenın seçilmesi metni fazla standart, tekrarlı veya yaratıcılıktan uzak hâle getirebilir. Bu nedenle yaratıcı metin üretiminde her zaman ideal değildir.

2. Random Sampling

Bu yaklaşımda tokenlar olasılıklarına göre örneklenir.

Örneğin: A = %50B = %30C = %15D = %5

A en olası token olsa da her seferinde A’nın seçilmesi zorunlu değildir. B veya C de seçilebilir.

Bu yaklaşım model çıktılarında çeşitlilik sağlar. Ancak tamamen kontrolsüz örnekleme düşük olasılıklı ve bağlama daha az uygun tokenların seçilmesi riskini artırabilir. Bu nedenle pratik sistemlerde örnekleme genellikle Temperature, Top-p veya Top-k gibi mekanizmalarla kontrol edilir.

3. Temperature Sampling

Temperature, modelin token olasılık dağılımının ne kadar keskin veya düz olacağını etkiler. Genel olarak:

Düşük Temperature → yüksek olasılıklı tokenlara daha fazla ağırlık

Yüksek Temperature → düşük olasılıklı alternatiflerin seçilme şansında artış

Örneğin: Temperature = 0,2 daha tutarlı ve öngörülebilir çıktılara yönelirken,

Temperature = 1,0 daha çeşitli çıktılara olanak sağlayabilir. Ancak bunun etkisi model ve API uygulamasına bağlıdır.

Temperature doğrudan: “Şu tokenı seç.” demez. Tokenların seçimden önceki olasılık dağılımını değiştirir.

4. Top-k Sampling

Top-k Sampling, modelin yalnızca olasılığı en yüksek k adet token arasından seçim yapmasına izin verir.

Örneğin: Top-k = 3 ise modelin adayları: A → %40B → %25C → %15 olabilir. Bunların altında kalan diğer tokenlar seçim havuzundan çıkarılır. Böylece çok düşük olasılıklı ve ilgisiz tokenların seçilme riski azaltılabilir.

Buradaki temel soru: “En olası kaç seçenek arasından seçim yapılsın?” şeklindedir.

5. Top-p Sampling

Top-p, diğer adıyla Nucleus Sampling, sabit sayıda token seçmek yerine belirli bir kümülatif olasılık eşiği kullanır.

Örneğin: Top-p = 0,90 ise model en yüksek olasılıklı tokenlardan başlayarak toplam olasılık yaklaşık %90’a ulaşıncaya kadar aday havuzu oluşturur.

Örneğin:

Token	Olasılık	Kümülatif
A	%40	%40
B	%30	%70
C	%15	%85
D	%7	%92
E	%5	%97

Top-p = 0,90 olduğunda seçim havuzu yaklaşık olarak bu eşiğe ulaşan en olası tokenlardan oluşur.

Top-k’dan temel farkı şudur:

Top-k → Aday sayısını sınırlar.

Top-p → Adayların toplam olasılığını sınırlar.

Sampling Strategy Neden Önemlidir?

Aynı model ve aynı prompt kullanıldığı hâlde farklı sampling yöntemleri farklı çıktılar oluşturabilir.

Örneğin prompt: “Yapay zekâ için yaratıcı bir slogan üret.”

Daha deterministik bir seçim yaklaşımı: “Geleceği yapay zekâyla şekillendirin.” gibi oldukça güvenli ve standart bir çıktı oluşturabilir. Daha çeşitli sampling yaklaşımı ise daha beklenmedik alternatifler üretebilir.

Dolayısıyla sampling strategy modelin: çeşitliliğini, öngörülebilirliğini, tekrarlanabilirliğini, yaratıcılığını önemli ölçüde etkileyebilir.

Hangi Sampling Strategy Ne Zaman Kullanılır?

Tek bir “en iyi” sampling strategy yoktur.

Daha deterministik yaklaşım

Şunlar için tercih edilebilir: sınıflandırma, bilgi çıkarımı, veri dönüştürme, yapılandırılmış çıktı, bazı kodlama görevleri. Amaç mümkün olduğunca istikrarlı sonuç almaktır.

Kontrollü Sampling

Şunlar için uygundur: chatbotlar, genel içerik üretimi, özetleme, açıklama, pazarlama metinleri. Burada hem tutarlılık hem de doğal çeşitlilik istenir.

Daha çeşitli Sampling

Şunlarda yararlı olabilir: hikâye, slogan, isim önerisi, beyin fırtınası, yaratıcı reklam fikirleri. Burada tek bir güvenli cevaptan çok farklı alternatifler üretmek değerli olabilir.

Sampling Strategy ile Log Probability Arasındaki Fark

Bir önceki kavramımızla doğrudan bağlantılıdır.

Log Probability, modelin tokenlara verdiği olasılıkları analiz etmeye yarar.

Sampling Strategy ise bu olasılık dağılımından nasıl seçim yapılacağını belirler.

Örneğin model: Ankara %80İstanbul %10İzmir %5Diğer %5 olasılıklarını oluşturmuş olsun.

Log Probability: “Bu tokenların olasılıkları neydi?” sorusuyla ilgilenir.

Sampling Strategy: “Bu seçeneklerin hangisini, hangi kurala göre seçeceğiz?” sorusuyla ilgilenir.

Sampling Strategy ile Max Tokens ve Stop Sequence Arasındaki Fark

Bu üç kavram tamamen farklı görevleri kontrol eder:

• Sampling Strategy → Hangi token seçilecek?
• Max Tokens → En fazla ne kadar çıktı üretilecek?
• Stop Sequence → Hangi dizi oluştuğunda üretim duracak?

Bunları bir otomobil benzetmesiyle düşünürsek:

• Sampling Strategy → Hangi yolu izleyeceğiz?
• Max Tokens → En fazla ne kadar yol gidebiliriz?
• Stop Sequence → Hangi işareti gördüğümüzde duracağız?

Temperature, Top-p ve Top-k Birlikte Kullanılır mı?

Teknik olarak bazı sistemlerde kullanılabilir. Ancak her API aynı parametreleri desteklemez ve hepsini aynı anda değiştirmek her zaman iyi bir yaklaşım değildir. Örneğin Temperature ile Top-p birlikte değiştirildiğinde iki farklı mekanizma aynı anda token seçim davranışını etkileyebilir. Bu da hangi parametrenin sonuç üzerindeki etkisini anlamayı zorlaştırabilir.

Bu nedenle özellikle deneysel çalışmalarda: Diğer parametreleri sabit tutup tek bir sampling parametresinin etkisini incelemek daha sağlıklı bir yöntemdir.

Sampling Strategy ile Prompt Engineering Arasındaki İlişki

Prompt modelin ne yapması gerektiğini, sampling strategy ise modelin tokenları hangi seçim mekanizmasıyla üreteceğini etkiler.

Örneğin: “Bir akademik makalenin sonuç bölümünü resmi ve nesnel bir dille özetle.” ifadesi bir prompt talimatıdır. Temperature, Top-p veya Top-k ayarları ise modelin bu talimata cevap verirken token seçimindeki çeşitliliği etkileyebilir.

Dolayısıyla iyi sonuç: Prompt + Model + Sampling Strategy + Context bileşiminin sonucudur.

Kısaca

Sampling Strategy, dil modelinin olası tokenlar arasından bir sonraki tokenı hangi yöntemle seçeceğini belirleyen genel üretim yaklaşımıdır.

Başlıca yaklaşımlar:

• Greedy Decoding → Her zaman en olası tokenı seç
• Random Sampling → Olasılık dağılımından örnekle
• Temperature Sampling → Olasılık dağılımının keskinliğini değiştir
• Top-k Sampling → En olası k token arasından seç
• Top-p Sampling → Belirli kümülatif olasılığa ulaşan token havuzundan seç

En önemli nokta ise şudur: Sampling Strategy modelin ne bildiğini değiştirmez; modelin olası devamlar arasından nasıl seçim yaptığını değiştirir. Bu nedenle özellikle API geliştirme, yaratıcı içerik üretimi ve LLM davranışlarını kontrollü biçimde test etmede temel kavramlardan biridir.