Token

Token, yapay zekâ ve doğal dil işleme (Natural Language Processing, NLP) alanında bir metnin model tarafından işlenebilen en küçük anlamlı birimini ifade eder. Bir token her zaman tam bir kelime olmak zorunda değildir; bir kelime, kelimenin bir bölümü, tek bir karakter, noktalama işareti veya sayı da token olabilir. Büyük dil modelleri (Large Language Models – LLM’ler) metni doğrudan harf veya cümle olarak değil, token adı verilen bu küçük birimler hâlinde işler.

İnsanlar metinleri kelimeler ve cümleler şeklinde algılarken, yapay zekâ modelleri önce metni tokenlara ayırır. Bu işleme tokenization (tokenleştirme) adı verilir. Tokenleştirme sayesinde metin sayısal vektörlere dönüştürülür ve model tarafından analiz edilebilir hâle gelir.

Örneğin şu cümle ele alınsın: “Yapay zekâ hayatı kolaylaştırıyor.”

Bu cümle kullanılan tokenizasyon yöntemine bağlı olarak şu şekilde ayrılabilir:

• Yapay
• zekâ
• hayatı
• kolaylaştırıyor
• .

Bazı modeller ise kelimeleri daha küçük alt parçalara bölebilir:

• Yap
• ay
• zek
• â
• hayat
• ı
• kolay
• laştır
• ıyor
• .

Bu yaklaşım, daha önce hiç görülmemiş kelimelerin de anlamlandırılmasını kolaylaştırır.

Modern büyük dil modelleri genellikle alt kelime (subword) tabanlı tokenizasyon yöntemlerini kullanır. En yaygın yöntemler arasında Byte Pair Encoding (BPE), WordPiece ve SentencePiece bulunmaktadır. Bu yöntemler, sık kullanılan kelimeleri tek token olarak saklarken nadir görülen kelimeleri daha küçük parçalara ayırarak hem kelime dağarcığını verimli kullanır hem de yeni sözcükleri işleyebilir.

Token kavramı yalnızca giriş metni için değil, modelin ürettiği çıktı için de geçerlidir. Kullanıcı tarafından yazılan her metin giriş tokenı (input token), model tarafından oluşturulan her metin ise çıkış tokenı (output token) olarak adlandırılır. Büyük dil modellerinin maliyetlendirilmesi ve kullanım sınırları çoğunlukla işlenen toplam token sayısına göre belirlenir.

Bir diğer önemli kavram ise **context window (bağlam penceresi)**dir. Bu, modelin aynı anda dikkate alabileceği en yüksek token sayısını ifade eder. Örneğin 128.000 token bağlam penceresine sahip bir model, yaklaşık yüzlerce sayfalık metni tek seferde analiz edebilir. Bağlam penceresi büyüdükçe model daha uzun belgeleri anlayabilir ve önceki konuşmaları daha iyi hatırlayabilir.

Avantajları

• Metinlerin bilgisayar tarafından işlenmesini sağlar.
• Büyük dil modellerinin temel çalışma birimini oluşturur.
• Nadir veya yeni kelimelerin analiz edilmesine olanak tanır.
• Farklı dillerde etkili metin işleme imkânı sunar.
• Modelin giriş ve çıkış uzunluğunu standart biçimde ölçmeye yardımcı olur.

Dezavantajları

• Bir kelime birden fazla tokena bölünebilir.
• Farklı modeller aynı metni farklı sayıda tokena ayırabilir.
• Uzun metinlerde token sınırına ulaşılabilir.
• Daha fazla token, daha yüksek işlem maliyeti ve daha uzun işlem süresi anlamına gelebilir.

Özet

Token, büyük dil modellerinin metni işlemek için kullandığı temel bilgi birimidir. Metinler önce tokenlara ayrılır, ardından sayısal temsillere dönüştürülerek model tarafından analiz edilir. Token sayısı; modelin bağlam kapasitesini, işlem süresini ve hesaplama maliyetini doğrudan etkileyen temel unsurlardan biridir. Bu nedenle token kavramı, modern üretken yapay zekâ sistemlerinin çalışma mantığını anlamak için en önemli kavramlardan biridir.

İlgili Kavramlar: Tokenization, Byte Pair Encoding (BPE), WordPiece, SentencePiece, Context Window, Embedding, Large Language Model (LLM)

Kaynakça

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Pearson.

Sennrich, R., Haddow, B., & Birch, A. (2016). Neural machine translation of rare words with subword units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), 1715–1725.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.