SEP Token

SEP Token (Ayırıcı Belirteç), bir modelin girdisindeki metin bölümlerinin sınırlarını göstermek için kullanılan özel tokendır. Özellikle BERT’te [SEP] biçiminde gösterilir. İki metin birlikte sunulduğunda aralarına yerleştirilir; ayrıca son bölümün bitişini de işaretler. Tek metinli girdilerde ise metnin sonunda bulunur. SEP, İngilizce separator, yani “ayırıcı” sözcüğünün kısaltılmış biçimidir. Token ise “belirteç” anlamına gelir. Terim Türkçede “ayırıcı token” veya “bölüm ayırma belirteci” olarak da karşılanabilir. Buradaki ayırma işlevi, metni kullanıcıya görsel olarak bölmekten çok, modelin işleyeceği girdinin yapısını belirginleştirmeye yöneliktir.

SEP token nasıl çalışır? BERT’e iki metin verildiğinde giriş, basitleştirilmiş olarak [CLS] Birinci metin [SEP] İkinci metin [SEP] biçiminde düzenlenir. İlk [SEP], birinci bölümün sonunu ve iki bölüm arasındaki sınırı gösterir. İkinci [SEP] ise son bölümün bitişini belirtir. Bu bölümler, tek birer cümleden oluşmak zorunda değildir; birden fazla cümle içerebilir. Örneğin bir soru yanıtlama uygulamasında girdi, [CLS] Türkiye’nin başkenti neresidir? [SEP] Ankara, Türkiye’nin başkentidir. [SEP] biçiminde hazırlanabilir. Böylece soru ile yanıtın aranacağı metin aynı dizide, sınırları belirtilmiş olarak sunulur. SEP, doğru yanıtı kendisi seçmez; modelin girdiyi yapılandırılmış biçimde işlemesine yardımcı olur.

BERT’te bölüm ayrımı yalnızca SEP tokenına dayanmaz. Token türü kimlikleri, tokenların birinci veya ikinci bölüme ait olduğunu ayrıca belirtir. Ayırıcı token sınırı işaretlerken bu kimlikler bölüm üyeliğini gösterir. SEP’in bulunması, iki bölümün birbirinden bilgi alamayacağı anlamına da gelmez; BERT’in dikkat mekanizması bölümler arasındaki ilişkileri değerlendirebilir. SEP token, normal noktalama işaretleriyle veya EOS tokenıyla aynı işlevde düşünülmemelidir. Nokta, doğal dilde cümleyi sonlandırır; SEP modelin giriş bölümlerini düzenler. EOS ise dizi sonunu belirtir ve üretimi durdurmak için kullanılabilir. Bu özel tokenların gösterimleri ve kullanım kuralları modele göre değiştiğinden, girdiler ilgili tokenlaştırıcının beklediği biçimde hazırlanmalıdır.