CLS Token

CLS Token (Sınıflandırma Belirteci), özellikle BERT gibi modellerde girdinin başına eklenen ve metnin bütünü hakkında tahmin yapılmasına yardımcı olan özel tokendır. Modelin son katmanında bu tokenın bulunduğu konumda oluşan sayısal temsil, metin sınıflandırma görevlerinde kullanılabilir. CLS, İngilizce classification, yani “sınıflandırma” sözcüğünün kısaltılmış gösterimidir. Token ise “belirteç” anlamına gelir. Türkçede “sınıflandırma tokenı” olarak da adlandırılır. Yaygın yazılı gösterimi [CLS] biçimindedir. Bu işaret, metindeki sıradan bir kelimeyi değil, modelin giriş düzeninde belirli bir işlev üstlenen birimi temsil eder.

CLS token nasıl çalışır? BERT’e verilen metin, basitleştirilmiş biçimde [CLS] Bu üründen çok memnun kaldım. [SEP] olarak düzenlenebilir. Metin modelin katmanlarından geçerken [CLS] konumundaki temsil, dikkat mekanizması aracılığıyla diğer tokenlardan bilgi alır. Sonuçta bu konumda, girdiye bağlı olarak değişen bir vektör oluşur. Başlangıçtaki token kimliği aynı olsa da modelin ürettiği bağlamsal temsil her metin için farklı olabilir. Örneğin bir duygu analizi uygulamasında bu vektör, sınıflandırma katmanına aktarılabilir. İlgili görev için eğitilmiş sistem, yorumun “olumlu”, “olumsuz” veya “nötr” sınıflarından hangisine ait olduğunu tahmin eder. Sınıf kararını veren, CLS tokenın tek başına kendisi değildir; bu konumdaki temsili kullanan model ve sınıflandırma katmanıdır.

CLS token, iki metnin birlikte değerlendirildiği görevlerde de kullanılabilir. Örneğin iki cümlenin birbirini destekleyip desteklemediğini belirleyen bir modelde, [CLS] konumundaki temsil metin çiftine ilişkin tahminin temelini oluşturabilir. BERT’in özgün çalışmasında bu temsil, dizi düzeyindeki sınıflandırma görevleri için kullanılmıştır. Bu temsili, metnin bütün anlamını eksiksiz saklayan bir “özet” olarak görmek doğru değildir. Kullanışlılığı, modelin eğitimine ve hedef göreve bağlıdır. Ayrıca CLS, tüm dil modellerinde bulunan evrensel bir zorunluluk değildir. Dizinin başında yer alsa da temel kullanım amacı, BOS tokenın başlangıç işaretleme işlevinden farklıdır.