WordPiece

WordPiece (Sözcük Parçası), doğal dil işlemede kelimeleri tam sözcükler veya daha küçük parçalar hâlinde temsil eden bir tokenlaştırma yöntemidir. Özellikle BERT ve BERT tabanlı modellerde kullanımıyla bilinir. Temel amacı, sınırlı büyüklükte bir token dağarcığıyla çok sayıda farklı kelimenin işlenebilmesini sağlamaktır. İngilizce adı, “kelime” veya “sözcük” anlamındaki word ile “parça” anlamındaki piece sözcüklerinin birleşiminden oluşur. Türkçede “sözcük parçası” olarak karşılanabilir. Ancak yöntemin adı teknik metinlerde genellikle özgün biçimiyle, WordPiece olarak kullanılır. Buradaki “parça”, mutlaka bir heceyi, kökü veya eki ifade etmez; tokenlaştırma için öğrenilmiş bir metin birimini belirtir.

WordPiece nasıl çalışır? Eğitilmiş tokenlaştırıcı, bir kelimeyi işlerken başlangıç konumundan itibaren dağarcığında bulunan en uzun eşleşmeyi seçer. Ardından kelimenin kalan bölümünde aynı işlemi sürdürür. Bu yaklaşım, her adımda mevcut en uzun parçayı tercih eden açgözlü bir eşleştirme yöntemidir.

Örneğin, dağarcıkta uygun birimler bulunduğunu varsayarsak “kitaplar” kelimesi “kitap” ve “##lar” biçiminde ayrılabilir. BERT’in yaygın WordPiece gösteriminde “##”, parçanın bir kelimenin devamı olduğunu belirtir. Bu işaret özgün metnin parçası değildir. Örnek yalnızca çalışma mantığını gösterir; gerçek tokenlar kullanılan dağarcığa göre değişir. BPE ile WordPiece arasındaki fark, hem dağarcığın oluşturulmasında hem de metnin parçalanmasında görülür. Klasik BPE, eğitim sırasında en sık görülen komşu birimleri birleştirir. WordPiece’in temel yaklaşımı ise eğitim verisinin olabilirliğini artıracak parçaların seçilmesine dayanır. Yeni metin işlenirken BPE öğrenilmiş birleştirme sırasını kullanırken WordPiece dağarcıktaki en uzun eşleşmeleri arar. Hugging Face: Tokenlaştırma Algoritmaları

Yöntem, az rastlanan kelimelerin bilinen parçalarla temsil edilmesine yardımcı olur. Bununla birlikte, standart WordPiece uygulamasında bir kelime mevcut dağarcıkla tamamen çözümlenemiyorsa kelimenin tamamı “[UNK]”, yani “bilinmeyen token” ile gösterilebilir. Dolayısıyla her olası metni kayıpsız biçimde temsil etme garantisi yoktur. Hugging Face: WordPiece. WordPiece’in oluşturduğu parçalar, dilin anlam yapısını doğrudan açıklamaz. Bir sözcüğün birkaç tokena ayrılması, modelin o sözcüğü anlayamayacağı anlamına da gelmez; tokenlaştırma, metnin modele hazırlanma aşamasıdır.