Transformer

Transformer, yapay zekâda özellikle dil, görüntü, ses ve çok modlu verilerin işlenmesinde kullanılan bir sinir ağı mimarisidir. 2017 yılında Vaswani ve arkadaşlarının “Attention Is All You Need” çalışmasıyla tanıtılmış ve günümüzdeki büyük dil modellerinin temel mimari yapı taşlarından biri hâline gelmiştir. Transformer’ın en önemli özelliği attention (dikkat) mekanizmasıdır. Model, bir dizideki öğeleri yalnızca sırayla işlemek yerine, hangi öğelerin birbirleriyle daha güçlü ilişkili olduğunu hesaplayabilir.

Örneğin: “Ayşe kitabı masaya bıraktı çünkü onu artık okumuyordu.”

Model, “onu” sözcüğünün hangi önceki ifadeyle ilişkili olduğunu attention mekanizması yardımıyla değerlendirebilir.

Transformer nasıl çalışır?

Temel süreç kabaca şöyledir:

Metin → Tokenlar → Embedding → Positional Information → Self-Attention → Feed-Forward Network → Çıktı

Transformer’daki self-attention, her tokenın diğer tokenlarla ilişkisini hesaplar. Bunun temelinde Query (Q), Key (K) ve Value (V) adı verilen üç temsil bulunur. Basitleştirilmiş attention formülü:

$$Attention(Q,K,V)=softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Model böylece bağlam açısından önemli öğelere daha fazla ağırlık verebilir.

Multi-Head Attention nedir?

Transformer tek bir ilişki biçimini öğrenmek yerine birden fazla attention başlığı kullanabilir. Buna Multi-Head Attention denir. Farklı attention başlıkları aynı veride farklı ilişkileri yakalayabilir:

sözdizimi + anlamsal ilişki + uzak bağlam + referans ilişkileri → daha zengin temsil

Transformer türleri

Transformer mimarisinden üç temel model ailesi ortaya çıkmıştır:

Mimari	Temel kullanım	Örnek
Encoder-Only	Anlama, sınıflandırma, embedding	BERT
Decoder-Only	Metin üretimi, LLM’ler	GPT türü modeller
Encoder–Decoder	Bir diziyi başka bir diziye dönüştürme	T5

Dolayısıyla Transformer ile LLM aynı şey değildir. Transformer bir mimari, LLM ise çoğunlukla bu veya benzeri mimariler kullanılarak çok büyük veri üzerinde eğitilmiş bir dil modelidir.

Neden bu kadar önemli?

Transformer’lar uzun mesafeli ilişkileri önceki RNN/LSTM yaklaşımlarına göre daha etkili modelleyebilir ve eğitim sırasında dizinin birçok bölümünü paralel biçimde işleyebilir. Bu özellikleri büyük veri ve yüksek hesaplama kapasitesiyle birleştiğinde büyük ölçekli modellerin geliştirilmesini mümkün kılmıştır. Ayrıca Transformer yalnızca metin için kullanılmaz:

Metin → LLM
Görüntü → Vision Transformer
Ses → Speech Transformer
Görüntü + Metin + Ses → Multimodal Transformer

Bu nedenle Transformer’ı modern üretken yapay zekânın temel teknolojilerinden biri olarak düşünmek daha doğrudur.

Kısaca:

Transformer = Attention mekanizmasını merkezine alan, verideki öğeler arasındaki bağlamsal ilişkileri öğrenebilen sinir ağı mimarisi.

Günümüzdeki LLM, VLM, multimodal model ve reasoning model gibi birçok gelişmiş yapay zekâ sisteminin mimari temelinde Transformer ailesinin etkisi bulunmaktadır.

Transformer, doğal dil işleme (Natural Language Processing, NLP) başta olmak üzere yapay zekâ alanında devrim yaratan bir derin öğrenme mimarisidir. İlk kez 2017 yılında Ashish Vaswani ve çalışma arkadaşları tarafından yayımlanan “Attention Is All You Need” adlı makale ile tanıtılmıştır. Transformer mimarisi, önceki RNN (Recurrent Neural Network) ve LSTM (Long Short-Term Memory) modellerinden farklı olarak verileri sıralı şekilde değil, paralel olarak işleyebilir. Bu sayede hem eğitim süresi önemli ölçüde kısalmış hem de uzun metinlerdeki bağlam ilişkilerini daha başarılı şekilde öğrenebilmiştir.

Transformer’ın temelini Self-Attention (Kendi Kendine Dikkat) mekanizması oluşturur. Bu mekanizma, bir cümledeki her kelimenin diğer tüm kelimelerle olan ilişkisini hesaplayarak hangi kelimelerin daha önemli olduğunu belirler. Örneğin, “Ali kitabı Ahmet’e verdi çünkü o çok seviyordu.” cümlesinde “o” zamirinin hangi kişiyi ifade ettiğini Transformer bağlamı dikkate alarak anlayabilir. Böylece kelimeler arasındaki uzun mesafeli ilişkiler daha doğru biçimde modellenebilir.

Klasik Transformer mimarisi iki ana bölümden oluşur:

Encoder (Kodlayıcı): Girdi verisini anlamlandırır ve sayısal temsillere dönüştürür.
Decoder (Kod Çözücü): Encoder’dan gelen bilgileri kullanarak çıktı üretir.

Günümüzde geliştirilen modellerin bazıları yalnızca encoder (örneğin BERT), bazıları yalnızca decoder (örneğin GPT ailesi), bazıları ise hem encoder hem decoder yapısını birlikte kullanmaktadır (örneğin T5).

Transformer mimarisi yalnızca metin işlemede değil; görüntü işleme (Vision Transformer – ViT), konuşma tanıma, makine çevirisi, görüntü üretimi ve çok modlu yapay zekâ sistemlerinde de kullanılmaktadır. ChatGPT, Gemini, Claude ve Llama gibi günümüzün büyük dil modellerinin tamamı Transformer mimarisini temel almaktadır.

Avantajları
Paralel işlem yapabildiği için çok hızlı eğitilebilir.
Uzun metinlerde bağlamı etkili biçimde korur.
Büyük veri kümelerinde yüksek doğruluk sağlar.
Ölçeklenebilir yapısı sayesinde milyarlarca parametreye sahip modeller oluşturulabilir.
Metin, görüntü ve ses gibi farklı veri türlerinde kullanılabilir.
Dezavantajları
Eğitim sırasında yüksek işlem gücü ve bellek gerektirir.
Büyük modellerin eğitimi oldukça maliyetlidir.
Küçük veri kümelerinde aşırı öğrenme (overfitting) riski oluşabilir.

Transformer, günümüzde üretken yapay zekânın temelini oluşturan en önemli derin öğrenme mimarisidir. Self-Attention mekanizması sayesinde veriler arasındaki ilişkileri etkili biçimde öğrenir, paralel işlem yapısı sayesinde yüksek hız sunar ve büyük dil modellerinin geliştirilmesini mümkün kılar. Modern yapay zekâ sistemlerinin büyük bölümü Transformer tabanlı olarak geliştirilmektedir.

İlk Yayın: Vaswani ve arkadaşları (2017)

Temel Kavramlar: Self-Attention, Multi-Head Attention, Positional Encoding, Encoder, Decoder

Kaynakça

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.

Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Pearson.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.