Token

Token (Belirteç), yapay zekâda, özellikle büyük dil modellerinin metni işlerken kullandığı temel birimdir. Bir token; bir kelime, kelimenin bir parçası, noktalama işareti veya boşluk içeren bir karakter dizisi olabilir. Bu nedenle token kavramı, doğrudan “kelime” ile eş anlamlı değildir. İngilizce token sözcüğü, genel kullanımda “işaret”, “simge”, “gösterge” veya “jeton” anlamlarına gelir. Yapay zekâ ve doğal dil işleme bağlamında Türkçede çoğunlukla “belirteç” karşılığı kullanılır. Bununla birlikte, teknik metinlerde özgün biçimiyle “token” kullanımı da yaygındır. Metnin bu birimlere ayrılması işlemine İngilizcede tokenization, Türkçede ise “belirteçlere ayırma” denir.

Bir dil modeli, kendisine verilen metni doğrudan insanın okuduğu biçimde değerlendirmez. Önce tokenizer adı verilen bir bileşen, metni tokenlara ayırır. Ardından bu tokenlar, modelin işleyebileceği sayısal kimliklerle temsil edilir. Model, bu temsiller üzerinden metindeki ilişkileri değerlendirir ve yanıt üretirken sıradaki tokenın ne olabileceğine ilişkin olasılıklar hesaplar. Seçilen tokenlar art arda eklenerek cümleleri ve paragrafları oluşturur. Örneğin “Kitaplarımızdan öğrendik.” cümlesindeki “kitaplarımızdan” sözcüğü, kullanılan sisteme bağlı olarak tek bir tokenla temsil edilebilir veya birkaç parçaya ayrılabilir. Buradaki parçalanma, her zaman dil bilgisindeki kök ve ek sınırlarıyla örtüşmez. Aynı cümle, farklı modellerin tokenlaştırıcılarında farklı sayıda token üretebilir. Türkçe gibi eklemeli dillerde de bir kelimenin birden fazla tokenla temsil edilmesi mümkündür.

Token kavramı, yapay zekâ araçlarını kullanırken üç açıdan önem taşır. Bağlam penceresi, modelin tek bir işlem sırasında dikkate alabileceği içeriğin token cinsinden kapasitesini belirtir. Çıktı sınırı, modelin üretebileceği yanıtın azami token miktarını belirler. Kullanım maliyeti ise birçok API hizmetinde modele gönderilen giriş tokenları ve modelin ürettiği çıkış tokenları üzerinden hesaplanır. Token sayısını kelime sayısına çevirmek için her dilde ve her modelde geçerli sabit bir oran yoktur. Metnin dili, kullanılan kelimeler, sayılar, semboller ve tokenlaştırma yöntemi sonucu değiştirir. Bu yüzden belirli bir metnin token sayısı, kullanılacak modele uygun bir token sayacıyla belirlenmelidir.

Token, yapay zekâ ve doğal dil işleme (Natural Language Processing, NLP) alanında bir metnin model tarafından işlenebilen en küçük anlamlı birimini ifade eder. Bir token her zaman tam bir kelime olmak zorunda değildir; bir kelime, kelimenin bir bölümü, tek bir karakter, noktalama işareti veya sayı da token olabilir. Büyük dil modelleri (Large Language Models – LLM’ler) metni doğrudan harf veya cümle olarak değil, token adı verilen bu küçük birimler hâlinde işler.

İnsanlar metinleri kelimeler ve cümleler şeklinde algılarken, yapay zekâ modelleri önce metni tokenlara ayırır. Bu işleme tokenization (tokenleştirme) adı verilir. Tokenleştirme sayesinde metin sayısal vektörlere dönüştürülür ve model tarafından analiz edilebilir hâle gelir.

Örneğin şu cümle ele alınsın: “Yapay zekâ hayatı kolaylaştırıyor.”

Bu cümle kullanılan tokenizasyon yöntemine bağlı olarak şu şekilde ayrılabilir:

• Yapay
• zekâ
• hayatı
• kolaylaştırıyor
• .

Bazı modeller ise kelimeleri daha küçük alt parçalara bölebilir:

• Yap
• ay
• zek
• â
• hayat
• ı
• kolay
• laştır
• ıyor
• .

Bu yaklaşım, daha önce hiç görülmemiş kelimelerin de anlamlandırılmasını kolaylaştırır.

Modern büyük dil modelleri genellikle alt kelime (subword) tabanlı tokenizasyon yöntemlerini kullanır. En yaygın yöntemler arasında Byte Pair Encoding (BPE), WordPiece ve SentencePiece bulunmaktadır. Bu yöntemler, sık kullanılan kelimeleri tek token olarak saklarken nadir görülen kelimeleri daha küçük parçalara ayırarak hem kelime dağarcığını verimli kullanır hem de yeni sözcükleri işleyebilir.

Token kavramı yalnızca giriş metni için değil, modelin ürettiği çıktı için de geçerlidir. Kullanıcı tarafından yazılan her metin giriş tokenı (input token), model tarafından oluşturulan her metin ise çıkış tokenı (output token) olarak adlandırılır. Büyük dil modellerinin maliyetlendirilmesi ve kullanım sınırları çoğunlukla işlenen toplam token sayısına göre belirlenir.

Bir diğer önemli kavram ise **context window (bağlam penceresi)**dir. Bu, modelin aynı anda dikkate alabileceği en yüksek token sayısını ifade eder. Örneğin 128.000 token bağlam penceresine sahip bir model, yaklaşık yüzlerce sayfalık metni tek seferde analiz edebilir. Bağlam penceresi büyüdükçe model daha uzun belgeleri anlayabilir ve önceki konuşmaları daha iyi hatırlayabilir.

Avantajları

• Metinlerin bilgisayar tarafından işlenmesini sağlar.
• Büyük dil modellerinin temel çalışma birimini oluşturur.
• Nadir veya yeni kelimelerin analiz edilmesine olanak tanır.
• Farklı dillerde etkili metin işleme imkânı sunar.
• Modelin giriş ve çıkış uzunluğunu standart biçimde ölçmeye yardımcı olur.

Dezavantajları

• Bir kelime birden fazla tokena bölünebilir.
• Farklı modeller aynı metni farklı sayıda tokena ayırabilir.
• Uzun metinlerde token sınırına ulaşılabilir.
• Daha fazla token, daha yüksek işlem maliyeti ve daha uzun işlem süresi anlamına gelebilir.

Özet

Token, büyük dil modellerinin metni işlemek için kullandığı temel bilgi birimidir. Metinler önce tokenlara ayrılır, ardından sayısal temsillere dönüştürülerek model tarafından analiz edilir. Token sayısı; modelin bağlam kapasitesini, işlem süresini ve hesaplama maliyetini doğrudan etkileyen temel unsurlardan biridir. Bu nedenle token kavramı, modern üretken yapay zekâ sistemlerinin çalışma mantığını anlamak için en önemli kavramlardan biridir.

İlgili Kavramlar: Tokenization, Byte Pair Encoding (BPE), WordPiece, SentencePiece, Context Window, Embedding, Large Language Model (LLM)

Kaynakça

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Pearson.

Sennrich, R., Haddow, B., & Birch, A. (2016). Neural machine translation of rare words with subword units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), 1715–1725.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.