Byte Pair Encoding (BPE)

Türkçede “Bayt Çifti Kodlama” olarak karşılanabilecek, metinleri tokenlara ayırmak için kullanılan bir yöntemdir. Temel yaklaşımı, veride sık görülen komşu birimleri birleştirerek daha büyük birimler oluşturmaktır. Başlangıçta veri sıkıştırma amacıyla geliştirilen bu yöntem, daha sonra doğal dil işlemede metinlerin temsil edilmesi için uyarlanmıştır. Terimin İngilizce bileşenlerinden byte, bilgisayarlarda kullanılan ve sekiz bitten oluşan “bayt” birimini; pair, “çift” sözcüğünü; encoding ise “kodlama” işlemini ifade eder. Bununla birlikte, adında bayt geçmesi, doğal dil işlemedeki her BPE uygulamasının doğrudan baytlarla başladığı anlamına gelmez. Karakterlerden başlayan uygulamalar ile bayt düzeyinde çalışan uygulamalar bulunur.

BPE nasıl çalışır? Tokenlaştırıcının eğitimi sırasında metin, başlangıçta küçük birimlerle temsil edilir. Algoritma, yan yana en sık gelen birim çiftini belirleyerek birleştirir ve oluşan yeni birimi token dağarcığına ekler. Ardından çiftlerin sıklıkları yeniden değerlendirilir. Bu işlem, hedeflenen dağarcık büyüklüğüne veya belirlenen durdurma koşuluna ulaşılıncaya kadar tekrarlanır. Yeni bir metin işlenirken, eğitimde öğrenilmiş birleştirme kuralları uygulanır. Örneğin, basitleştirilmiş bir eğitim verisinde “ev”, “evler” ve “evde” kelimelerinin sık geçtiğini düşünelim. Başlangıçta ayrı olan “e” ve “v” birimleri, yeterince sık yan yana geldikleri için “ev” biçiminde birleştirilebilir. Sonraki adımlarda başka birleşimler öğrenilebilir. Bu örnek yöntemin mantığını gösterir; gerçek bir tokenlaştırıcının aynı kelimeleri mutlaka bu şekilde işleyeceği anlamına gelmez.

BPE’nin önemli katkılarından biri, nadir görülen veya eğitimde bütün hâliyle karşılaşılmamış kelimelerin daha küçük parçalarla temsil edilmesini sağlamasıdır. Böylece her kelime için ayrı bir sözlük girdisi oluşturma gereksinimi azalır. Sennrich, Haddow ve Birch’in 2016 tarihli çalışması, bu yaklaşımın sinirsel makine çevirisinde nadir kelimelerin işlenmesine katkısını göstermiştir. BPE, kelimeleri anlamlarına göre çözümleyen bir yöntem değildir. Öğrendiği parçalar, dil bilgisindeki kök ve eklerle her zaman örtüşmez. Bu nedenle oluşturulan tokenları, bir dilin doğal sözcük yapısının eksiksiz karşılığı olarak değerlendirmemek gerekir.