Special Tokens

Special Tokens (Özel Belirteçler), yapay zekâ modellerinde metnin yapısını, sınırlarını veya belirli işlem görevlerini göstermek için kullanılan tokenlardır. Bir dizinin başlangıcını ve sonunu belirtmek, iki metni ayırmak, gizlenmiş bir birimi işaretlemek ya da farklı uzunluktaki girdileri eşitlemek gibi işlevler üstlenirler. İngilizce special, “özel”; token ise bu bağlamda “belirteç” anlamına gelir. Terim Türkçede “özel tokenlar” olarak da kullanılır. “Özel” ifadesi, bu birimlere sistem tarafından belirli bir görev atanmasını anlatır. Köşeli veya açılı parantezlerle gösterilmeleri yaygındır; ancak yalnızca bu biçimde yazılması, bir ifadeyi kendiliğinden özel token yapmaz.

Yaygın özel token türlerinin işlevleri şöyledir. Gösterimler modele göre değişebilir.

Örneğin, maskeli dil modelleme görevinde “Ankara, Türkiye’nin [MASK] şehridir.” ifadesindeki özel token, modelin tahmin etmesi beklenen konumu gösterir. Burada amaç, cümledeki eksik içeriğin çevresindeki bilgilerden yararlanılarak tamamlanmasıdır.

Sohbet modellerinde özel tokenlar, mesaj sınırlarının ve konuşmacı rollerinin düzenlenmesine de yardımcı olabilir. Kullanıcı mesajı ile asistan yanıtı, modele uygun bir sohbet şablonuyla biçimlendirilir. Ancak rol adlarının kendisi her sistemde ayrı bir özel token olmak zorunda değildir. Modelin eğitiminde kullanılan biçimle uyumlu şablon seçilmesi, mesajların doğru yorumlanması açısından önemlidir.

Özel tokenların yazılı gösterimi ile sistemdeki sayısal kimliği birbirinden ayrılmalıdır. Kullanıcının mesajına bir işaret yazması, onun mutlaka kontrol işlevi kazanacağı anlamına gelmez; sonuç, tokenlaştırıcıya ve uygulamanın metni hazırlama biçimine bağlıdır. Ayrıca tüm modeller aynı özel tokenları kullanmaz. Bu birimlerin işlevleri, ilgili modelin yapılandırması ve eğitim düzeniyle birlikte değerlendirilmelidir.