Encoder–Decoder Model

Encoder–Decoder Model – Kodlayıcı–Kod Çözücü Model, Transformer mimarisinde girdiyi önce encoder ile anlayıp temsil eden, ardından bu temsili kullanarak decoder ile yeni bir çıktı üreten model yapısıdır. En basit biçimiyle:

Girdi → Encoder → Bağlamsal Temsil → Decoder → Çıktı

Bu mimari özellikle bir dizinin başka bir diziye dönüştürülmesi gereken sequence-to-sequence (Seq2Seq) görevlerinde kullanılır.

Nasıl Çalışır?

Örneğin İngilizceden Türkçeye çeviri yapıldığını düşünelim: “Artificial intelligence is changing education.” İşlem kabaca şöyledir:

1. Encoder: İngilizce cümleyi işler ve bağlamsal bir temsil oluşturur.

2. Decoder: Bu temsilden yararlanarak Türkçe çıktıyı üretir: “Yapay zekâ eğitimi değiştiriyor.” Yani:

Kaynak Metin → Anlama → Temsil → Yeni Metin Üretme

Encoder’ın Görevi Nedir?

Encoder, girdinin anlamını ve token’lar arasındaki ilişkileri temsil etmeye odaklanır. Örneğin: “Öğrenci sınava hazırlanıyor.” cümlesinde öğrenci, sınav ve hazırlanma arasındaki bağlamsal ilişkileri işler. Kısaca:

Encoder → “Girdi ne anlatıyor?”

Decoder’ın Görevi Nedir?

Decoder, encoder tarafından oluşturulan temsilden ve daha önce ürettiği token’lardan yararlanarak çıktıyı adım adım oluşturur. Kısaca:

Decoder → “Bu girdiye dayanarak ne üretmeliyim?”

Bu iki yapı arasında cross-attention mekanizması önemli rol oynar. Decoder, çıktı üretirken encoder’ın oluşturduğu giriş temsillerine dikkat edebilir.

Nerelerde Kullanılır?

Encoder–decoder modeller özellikle şu görevler için uygundur:

Görev	Örnek
Makine çevirisi	İngilizce → Türkçe
Özetleme	Uzun makale → Kısa özet
Metin dönüştürme	Resmî metin → Sade metin
Soru-cevap	Metin + soru → Yanıt
Paraphrase	Cümleyi farklı biçimde yazma
Veri → metin	Yapılandırılmış veri → Açıklama

T5 ve BART

Encoder–decoder mimarisinin bilinen model aileleri arasında T5 ve BART bulunur. Özellikle T5, birçok doğal dil işleme görevini “text-to-text” problemi olarak ele almasıyla bilinir. Örneğin:

Çeviri: İngilizce metin → Türkçe metin
Özetleme: Uzun metin → Kısa metin
Soru-cevap: Soru + bağlam → Yanıt

Üç Transformer Mimarisinin Farkı

Mimari	Temel işlev	Tipik kullanım
Encoder-Only	Anlama ve temsil	Sınıflandırma, embedding
Decoder-Only	Üretme	Metin ve kod üretimi
Encoder–Decoder	Anlama + dönüştürerek üretme	Çeviri, özetleme

Kolay hatırlamak için:

• Encoder-Only → Anla
• Decoder-Only → Üret
• Encoder–Decoder → Anla ve dönüştürerek üret

Encoder–Decoder ile Autoregressive Model Aynı mı?

Hayır.

• Encoder–Decoder, modelin mimarisini ifade eder.
• Autoregressive, çıktının önceki token’lardan hareketle ardışık biçimde üretilmesini ifade eder.

Bir encoder–decoder modelinin decoder bölümü autoregressive biçimde çıktı üretebilir.

Avantajları

Encoder–decoder mimarisinin temel avantajı, girdi ile çıktıyı açık biçimde ayırmasıdır. Bu nedenle bir metnin başka bir metne dönüştürülmesi gereken görevlerde oldukça kullanışlıdır. Özellikle:

Kaynak → Hedef

ilişkisinin belirgin olduğu çeviri ve özetleme gibi görevlerde doğal bir mimari sunar.

Sınırlılıkları

Encoder ve decoder olmak üzere iki ayrı bileşen kullanılması hesaplama ve bellek gereksinimini artırabilir. Ayrıca decoder çıktıyı autoregressive biçimde oluşturuyorsa uzun metinlerin üretilmesi zaman alabilir. Günümüzde decoder-only modeller de çeviri ve özetleme gibi görevleri güçlü biçimde gerçekleştirebildiğinden, encoder–decoder mimarisi artık bu görevlerin tek seçeneği değildir.

Sonuç

Encoder–Decoder Model, girdiyi önce encoder ile işleyen, ardından decoder ile yeni bir çıktıya dönüştüren Transformer mimarisidir. En kısa formülü:

• Encoder = Anla
• Decoder = Üret
• Encoder–Decoder = Anla → Dönüştür → Üret

Örneğin:

İngilizce Metin → Encoder → Anlamsal Temsil → Decoder → Türkçe Metin

Bu nedenle encoder–decoder modeller özellikle çeviri, özetleme ve diğer sequence-to-sequence görevleri açısından önemli bir model mimarisidir.