Tokenization

Tokenization (Tokenleştirme), doğal dil işleme (Natural Language Processing, NLP) ve büyük dil modellerinde (Large Language Models – LLM) kullanılan, metni model tarafından işlenebilecek küçük anlamlı birimlere (tokenlara) ayırma işlemidir. Yapay zekâ modelleri metinleri insanlar gibi doğrudan kelime veya cümle düzeyinde anlayamaz. Bunun yerine, gelen metni önce tokenlara dönüştürür, ardından bu tokenları sayısal temsillere çevirerek analiz eder. Bu nedenle tokenization, modern yapay zekâ sistemlerinin ilk ve en önemli işlem adımlarından biridir.

Bir token her zaman tam bir kelime olmak zorunda değildir. Kullanılan tokenizasyon yöntemine bağlı olarak bir kelime, bir kelime parçası, tek bir karakter, sayı veya noktalama işareti de token olarak kabul edilebilir. Amaç, modelin dili daha verimli öğrenmesini ve daha önce hiç karşılaşmadığı sözcükleri de işleyebilmesini sağlamaktır.

Örneğin aşağıdaki cümle ele alınsın: “Yapay zekâ hayatı kolaylaştırıyor.”

Kelime tabanlı bir tokenizasyon sonucunda metin şu şekilde ayrılabilir:

• Yapay
• zekâ
• hayatı
• kolaylaştırıyor
• .

Alt kelime (subword) tabanlı bir yöntemde ise aynı cümle şu şekilde bölünebilir:

• Yapay
• zekâ
• hayat
• ı
• kolay
• laştır
• ıyor
• .

Bu ikinci yaklaşım sayesinde model, daha önce görmediği kelimeleri bile tanıdığı alt parçalardan hareketle anlamlandırabilir.

Modern büyük dil modelleri üç temel tokenizasyon yönteminden yararlanır:

• Byte Pair Encoding (BPE): En sık kullanılan karakter veya alt kelime çiftlerini birleştirerek yeni tokenlar oluşturur. GPT modellerinde yaygın olarak kullanılmaktadır.
• WordPiece: En yüksek olasılıkla anlam taşıyan alt kelime parçalarını seçerek kelimeleri böler. BERT modelinin kullandığı temel yöntemdir.
• SentencePiece: Boşluk karakterine bağlı kalmadan metni doğrudan karakter dizileri üzerinden işler. Çok dilli modellerde ve T5 gibi Transformer tabanlı sistemlerde yaygın olarak tercih edilir.

Tokenization işlemi yalnızca giriş metni için değil, modelin ürettiği çıktı için de uygulanır. Kullanıcının yazdığı metin önce tokenlara ayrılır, ardından model bu tokenları işler ve yeni tokenlar üreterek yanıt oluşturur. Son aşamada bu tokenlar tekrar kelime ve cümlelere dönüştürülür.

Tokenization, modelin bağlam penceresi (context window) ve işlem maliyeti üzerinde doğrudan etkilidir. Aynı metin farklı tokenizasyon yöntemleri kullanıldığında farklı sayıda token içerebilir. Token sayısı arttıkça modelin hesaplama yükü, bellek kullanımı ve işlem süresi de artmaktadır.

Avantajları

• Metinlerin yapay zekâ tarafından işlenmesini mümkün kılar.
• Daha önce görülmemiş kelimelerin analiz edilmesini sağlar.
• Kelime dağarcığının daha verimli kullanılmasına yardımcı olur.
• Çok dilli uygulamalarda yüksek başarı sağlar.
• Büyük dil modellerinin eğitim ve çıkarım süreçlerinin temelini oluşturur.

Dezavantajları

• Aynı metin farklı modellerde farklı sayıda tokena ayrılabilir.
• Uzun metinlerde token sayısı hızla artabilir.
• Yanlış tokenizasyon, anlam kaybına veya performans düşüşüne neden olabilir.
• Alt kelime parçaları insanlar için her zaman sezgisel olmayabilir.

Özet

Tokenization, metni yapay zekâ modellerinin anlayabileceği token adı verilen küçük birimlere ayırma işlemidir. Büyük dil modellerinin tamamı, metni analiz etmeden önce bu süreci gerçekleştirir. Byte Pair Encoding (BPE), WordPiece ve SentencePiece gibi yöntemler sayesinde modeller hem sık kullanılan hem de daha önce görülmemiş kelimeleri etkili biçimde işleyebilir. Tokenization, dil modellerinin doğruluğunu, hızını ve hesaplama maliyetini doğrudan etkileyen temel süreçlerden biridir.

İlgili Kavramlar: Token, Byte Pair Encoding (BPE), WordPiece, SentencePiece, Context Window, Embedding, Large Language Model (LLM)

Kaynakça

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Pearson.

Kudo, T., & Richardson, J. (2018). SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 66–71.

Schuster, M., & Nakajima, K. (2012). Japanese and Korean voice search. 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 5149–5152.

Sennrich, R., Haddow, B., & Birch, A. (2016). Neural machine translation of rare words with subword units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), 1715–1725.