PAD Token

PAD Token (Dolgu Belirteci), farklı uzunluktaki token dizilerini aynı uzunluğa getirmek için kullanılan özel tokendır. Özellikle birden fazla metnin birlikte işlendiği durumlarda kısa dizilere eklenerek girdilerin ortak bir boyutta düzenlenmesini sağlar. Bu işlem, modelin verileri toplu olarak işlemesini kolaylaştırır. PAD, İngilizce padding sözcüğüyle ilişkilidir. Padding, bu bağlamda “dolgu ekleme” veya “eksik uzunluğu tamamlama” anlamına gelir. Token ise “belirteç” olarak karşılanır. Dolayısıyla terim Türkçede “dolgu belirteci” veya “dolgu tokenı” biçiminde kullanılabilir. Gösterimi, modele bağlı olarak [PAD] veya <pad> olabilir.

PAD token nasıl çalışır? Birlikte işlenecek iki metnin tokenlaştırma sonrasında sırasıyla dört ve yedi tokendan oluştuğunu düşünelim. Ortak uzunluk yedi olarak belirlendiğinde, kısa diziye üç PAD token eklenir. Böylece her iki dizi de yedi konuma sahip olur. Eklenen belirteçler, metne yeni anlam katmaz; yalnızca işlem için gereken konumları doldurur. Dolgu uzunluğu, gruptaki en uzun diziye göre veya önceden belirlenmiş sabit bir değere göre ayarlanabilir. Her metnin mutlaka modelin kabul ettiği azami uzunluğa tamamlanması gerekmez. Ayrıca dolgu eklemek, uzun bir metni kısaltmaz; uzunluğu azaltmak için kullanılan işlem truncation, yani “kırpma” olarak adlandırılır.

Dikkat maskesiyle ilişkisi önemlidir. Modelin dolgu konumlarını gerçek içerikten ayırabilmesi için genellikle bir attention mask, yani “dikkat maskesi” kullanılır. Yaygın gösterimde gerçek tokenların konumları 1, dolgu konumları 0 ile işaretlenir. Böylece dikkat mekanizmasının dolgu konumlarını içerik olarak kullanması engellenir. Yalnızca PAD token eklemek, gerekli maskelemenin her uygulamada kendiliğinden doğru yapılacağı anlamına gelmez. PAD token, metindeki normal boşluk karakteriyle karıştırılmamalıdır. Kelimeler arasındaki boşluk, özgün metnin bir parçasıdır; PAD ise girdiler hazırlanırken eklenen teknik dolgudur. Benzer şekilde, EOS dizinin sonunu işaretlerken PAD dizilerin uzunluklarını eşitleme görevini üstlenir.