Log Probability

Log Probability (Log Probability / Logprobs), bir dil modelinin üretebileceği tokenlara atadığı olasılıkların logaritmik biçimde ifade edilmesidir. Bu değer, modelin belirli bir tokenı seçerken o seçeneği ne kadar olası gördüğünü incelemeye yardımcı olur. Basit ifadeyle Log Probability şu soruya yaklaşır: “Model bu tokenı üretmeyi ne kadar olası görüyordu?” Bu nedenle Temperature veya Top-p gibi doğrudan üretim davranışını değiştiren bir parametreden farklıdır. Log Probability daha çok modelin token seçimlerini incelemek, karşılaştırmak ve analiz etmek için kullanılır.

Önce Token Olasılığını Anlayalım

Bir dil modeli bir sonraki kelimeyi doğrudan seçmez. Önce olası tokenlara bir olasılık dağılımı atar. Örneğin: “Türkiye’nin başkenti …” ifadesinden sonra basitleştirilmiş olarak modelin adayları şöyle olsun:

Token	Olasılık
Ankara	%90
İstanbul	%5
İzmir	%2
Bursa	%1
Diğer	%2

Burada model için Ankara tokenı açık biçimde en olası seçenektir.

Log Probability bu olasılıkları logaritmik biçime dönüştürür: Log Probability = ln(P)

Örneğin Ankara’nın olasılığı 0,90 ise: ln(0,90) ≈ −0,105

Olasılık %5, yani 0,05 olduğunda: ln(0,05) ≈ −2,996

Dolayısıyla log probability değerlerinde temel yorum şudur:

0’a yaklaştıkça → token daha olasıdır.

Daha büyük negatif değerlere gittikçe → token daha düşük olasılıklıdır.

Neden Normal Olasılık Yerine Logaritma Kullanılıyor?

Dil modellerinde bir metnin olasılığını hesaplarken çok sayıda küçük olasılık değeriyle işlem yapılır.

Örneğin bir dizinin olasılığı kabaca: P(t₁) × P(t₂|t₁) × P(t₃|t₁,t₂) × … şeklinde düşünülebilir. Çok sayıda 0 ile 1 arasındaki sayıyı çarpmak bilgisayar hesaplamalarında son derece küçük değerlere yol açabilir.

Logaritma kullanıldığında ise çarpımlar toplama dönüşür: log(a × b) = log(a) + log(b) Bu nedenle log probabilities hem sayısal hesaplama hem de model çıktılarının analizi açısından kullanışlıdır.

Log Probability Nasıl Yorumlanır?

Basitleştirilmiş bir örnek:

Log Probability	Yaklaşık olasılık
0	%100
−0,1	%90
−0,69	%50
−1	%37
−2	%14
−3	%5
−5	%0,7

Burada kritik nokta şudur: Log probability ne kadar 0’a yakınsa ilgili token model açısından o kadar olasıdır.

Örneğin: −0,05 oldukça güçlü bir token olasılığına işaret ederken, −6,00 çok daha düşük bir olasılığı ifade eder.

Top Logprobs Nedir?

Bazı model API’leri yalnızca seçilen tokenın log probability değerini değil, o noktadaki en olası alternatif tokenları da gösterebilir. Örneğin: “Fransa’nın başkenti …” için sistem basitleştirilmiş olarak şuna benzer bir sonuç döndürebilir:

Aday token	Log Probability
Paris	−0,02
Lyon	−4,70
Marseille	−5,20
Nice	−6,10

Böylece yalnızca modelin Paris ürettiğini değil, diğer seçeneklerle karşılaştırıldığında Paris’i ne kadar güçlü tercih ettiğini de görebiliriz. Bu özellik özellikle model davranışını analiz eden araştırmacılar ve geliştiriciler için değerlidir.

Log Probability Ne İçin Kullanılır?

Log Probability çeşitli amaçlarla kullanılabilir.

• Model çıktısını analiz etme: Modelin belirli token seçimlerinin ne kadar güçlü olduğunu incelemek.
• Alternatif tokenları karşılaştırma: Modelin aynı noktada başka hangi tokenları değerlendirdiğini görmek.
• Sınıflandırma: Belirli cevap seçeneklerinin göreli olasılıklarını karşılaştırmak.
• Model değerlendirme: Bir modelin belirli bir veri setindeki metinleri ne kadar olası gördüğünü analiz etmek.
• Perplexity hesaplama: Dil modellerinin belirli bir metin üzerindeki tahmin performansını değerlendiren bazı ölçümlerde log probabilities kullanılır.
• Debugging: Beklenmeyen model çıktılarında token düzeyindeki tercihleri incelemek.

Log Probability Modelin “Eminliği” midir?

Burada çok önemli bir ayrım yapmak gerekir. Tam olarak değil. Bir tokenın yüksek olasılıkla seçilmesi, modelin o tokenı bağlam içerisinde güçlü biçimde tercih ettiğini gösterir. Ancak bu değer doğrudan: “Model verdiği bilginin %95 doğru olduğundan emin.” anlamına gelmez. Dil modeli yanlış bir cevaba da yüksek olasılık atayabilir.

Örneğin model eğitim verisindeki hatalı veya yanıltıcı örüntüler nedeniyle yanlış bir ifadeyi güçlü biçimde tahmin edebilir. Bu nedenle: Token olasılığı ≠ Bilginin doğruluk olasılığı ayrımı özellikle önemlidir.

Log Probability ile Temperature Arasındaki Fark

Bu iki kavram birbirine karıştırılmamalıdır.

Temperature, tokenların olasılık dağılımını değiştirerek modelin üretim davranışını etkiler.

Log Probability ise tokenların olasılıklarını logaritmik biçimde ifade ederek bu dağılımın analiz edilmesine yardımcı olur.

Kısaca:

Temperature → Model nasıl seçim yapacak?

Log Probability → Model ilgili tokenı ne kadar olası görüyordu?

Log Probability ile Top-p ve Top-k Arasındaki Fark

Daha önceki kavramlarımızla birlikte düşünelim:

• Top-p → Toplam olasılığı belirli bir eşiğe ulaşan token havuzunu kullanır.
• Top-k → En yüksek olasılığa sahip belirli sayıdaki tokenı aday havuzunda tutar.
• Log Probability → Tokenların olasılık değerlerini logaritmik biçimde ifade eder.

Dolayısıyla Top-p ve Top-k seçim alanını kontrol ederken, Log Probability esas olarak tokenların olasılık değerlerini görmemizi ve analiz etmemizi sağlar.

Log Probability ile Max Tokens ve Stop Sequence İlişkisi

Bunlar tamamen farklı işlevlere sahiptir:

Max Tokens → Cevabın maksimum uzunluğunu sınırlar.

Stop Sequence → Belirlenen dizi oluştuğunda üretimi durdurur.

Log Probability → Tokenların model tarafından ne kadar olası görüldüğünü gösterir.

Örneğin model: “Yapay zekâ işletmelerde verimliliği artırabilir.” cümlesini oluştururken Max Tokens cevabın ne kadar uzayabileceğini; Stop Sequence nerede duracağını; Log Probability ise her aşamadaki token seçimlerinin olasılık yapısını incelememizi sağlar.

Küçük Bir Teknik Örnek

Model iki token arasında seçim yapıyor olsun:

A tokenı: P = 0,80

B tokenı: P = 0,20

Doğal logaritmaları:

A → ln(0,80) ≈ −0,223

B → ln(0,20) ≈ −1,609

A’nın log probability değeri 0’a daha yakın olduğundan model A tokenını çok daha olası görmektedir.

Bu yüzden log probability değerlerini okurken: Daha yüksek (yani daha az negatif) değer = daha yüksek token olasılığı kuralı kullanılabilir.

Log Probability Ne Zaman Özellikle Yararlıdır?

Gündelik ChatGPT kullanımında çoğu kullanıcının Log Probability değerlerine ihtiyacı yoktur. Ancak:

• LLM araştırmalarında,
• API geliştirmede,
• model karşılaştırmalarında,
• sınıflandırma uygulamalarında,
• token düzeyinde çıktı analizinde,
• model değerlendirme çalışmalarında

oldukça yararlı olabilir.

Kısaca

Log Probability, dil modelinin bir tokena atadığı olasılığın logaritmik gösterimidir ve modelin token düzeyindeki tercihlerini analiz etmek için kullanılır.

En önemli üç nokta:

0’a yakın log probability → daha yüksek token olasılığı

Daha negatif log probability → daha düşük token olasılığı

Yüksek token olasılığı → cevabın mutlaka doğru olduğu anlamına gelmez

Dolayısıyla Log Probability bir yaratıcılık veya uzunluk ayarı değil, modelin token seçimlerinin olasılık yapısını anlamaya yarayan analitik bir göstergedir.