Decoder

Decoder (Kod Çözücü), derin öğrenme modellerinde öğrenilen temsil bilgilerini kullanarak çıktı üreten bileşendir. Özellikle Transformer mimarisinde Decoder, Encoder tarafından oluşturulan bağlamsal bilgileri kullanarak hedef çıktıyı adım adım üretir. Makine çevirisi, metin oluşturma, özetleme, soru-cevap sistemleri ve sohbet robotları gibi üretken yapay zekâ uygulamalarında temel rol oynar.

Transformer mimarisinde Encoder giriş verisini analiz edip anlamlandırırken, Decoder bu bilgileri kullanarak istenen çıktıyı oluşturur. Örneğin, İngilizce bir cümlenin Türkçeye çevrilmesinde Encoder İngilizce cümleyi anlamlandırırken, Decoder bu anlamı kullanarak Türkçe çeviriyi kelime kelime üretir.

Decoder’ın en önemli özelliği, çıktıyı otoregresif (autoregressive) şekilde üretmesidir. Yani her yeni kelimeyi oluştururken hem Encoder’dan gelen bilgileri hem de daha önce ürettiği kelimeleri dikkate alır. Böylece cümleler dil bilgisi açısından daha tutarlı ve anlamlı hâle gelir.

Klasik Transformer modelinde Decoder, üst üste yerleştirilmiş aynı yapıya sahip birden fazla katmandan oluşur. Her Decoder katmanı şu temel bileşenleri içerir:

• Masked Multi-Head Self-Attention: Modelin yalnızca daha önce ürettiği kelimelere bakmasını sağlar. Gelecekteki kelimeleri görmesi engellenir (masking).
• Encoder–Decoder Attention (Cross-Attention): Encoder tarafından oluşturulan bağlamsal temsilleri kullanarak giriş metniyle ilişki kurar.
• Feed Forward Neural Network (İleri Beslemeli Sinir Ağı): Öğrenilen temsilleri doğrusal olmayan dönüşümlerle geliştirir.
• Residual Connection (Artık Bağlantı) ve Layer Normalization (Katman Normalizasyonu): Eğitimin daha kararlı ve verimli olmasını sağlar.

Örneğin, “Artificial intelligence is transforming education.” cümlesi Türkçeye çevrileceğinde Decoder şu şekilde çalışabilir:

1. “Yapay”
2. “Yapay zekâ”
3. “Yapay zekâ eğitimi”
4. “Yapay zekâ eğitimi dönüştürüyor.”

Her adımda daha önce üretilen kelimeler dikkate alınarak bir sonraki kelime tahmin edilir.

Günümüzde bazı büyük dil modelleri yalnızca Decoder katmanlarından oluşmaktadır. Bunlara decoder-only modeller denir. GPT (Generative Pre-trained Transformer) ailesi bunun en bilinen örneğidir. ChatGPT, GPT mimarisini temel alır ve yalnızca Decoder yapısını kullanarak metin üretir. Bu mimari; metin tamamlama, sohbet, kod yazma, özetleme ve yaratıcı içerik üretimi gibi görevlerde oldukça başarılıdır.

Avantajları

• Akıcı ve doğal metin üretebilir.
• Önceki bağlamı kullanarak tutarlı cümleler oluşturur.
• Makine çevirisi ve metin üretiminde yüksek başarı sağlar.
• Farklı uzunluklarda metin oluşturabilir.
• Büyük dil modellerinin üretim aşamasının temelini oluşturur.

Dezavantajları

• Çıktıyı kelime kelime ürettiği için paralel üretim yapamaz.
• Uzun metinlerde üretim süresi artabilir.
• Yanlış veya eksik bağlam kullanıldığında hatalı bilgiler (hallucination) üretebilir.
• Büyük modeller yüksek işlem gücü gerektirir.

Özet

Decoder, Transformer mimarisinde öğrenilen bilgileri kullanarak çıktı üreten bileşendir. Masked Self-Attention ve Cross-Attention mekanizmaları sayesinde hem önceki çıktıları hem de Encoder’dan gelen bağlamsal bilgileri değerlendirerek anlamlı ve tutarlı metinler oluşturur. GPT ve ChatGPT gibi modern üretken yapay zekâ sistemlerinin temelini Decoder mimarisi oluşturmaktadır.

İlgili Kavramlar: Transformer, Encoder, Self-Attention, Cross-Attention, Masked Attention, Autoregressive Generation, GPT

Kaynakça

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Pearson.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.