Language Model (LM)

Language Model (LM) – Dil Modeli, bir dildeki kelime, token ve ifadeler arasındaki örüntüleri öğrenerek bir metin dizisinin olasılığını veya belirli bir bağlamdan sonra hangi dilsel öğelerin gelmesinin muhtemel olduğunu tahmin eden modeldir. Dil modeli kavramı, LLM (Large Language Model) ve SLM (Small Language Model) kavramlarının temelidir. Başka bir ifadeyle LLM ve SLM, farklı ölçeklerdeki dil modelleridir. En basit biçimiyle:

Metin → Dil Modeli → Olasılık Hesaplama → Olası Devam

Örneğin: “Bugün hava çok…” ifadesinden sonra bir dil modeli:

güzel, sıcak, soğuk, yağmurlu

gibi olası devamları bağlama göre farklı olasılıklarla değerlendirebilir.

Dil Modelinin Temel Amacı Nedir?

Bir dil modelinin temel amacı dildeki örüntüleri matematiksel olarak modellemektir. Örneğin: “Türkiye’nin başkenti Ankara’dır.” gibi çok sayıda dilsel örüntüyle karşılaşan bir model, kelimeler ve kavramlar arasındaki ilişkileri öğrenir. Modern dil modellerinde işlem genellikle kelimelerden ziyade token adı verilen birimler üzerinden gerçekleştirilir. Basitleştirirsek:

Cümle → Token’lara Ayırma → Bağlamı İşleme → Sonraki Token Olasılıkları → Token Seçimi → Devam

Token Nedir?

Token, dil modelinin metni işlerken kullandığı temel birimdir. Bir token:

• bir kelime,
• kelimenin bir bölümü,
• noktalama işareti,
• sayı,
• karakter dizisi

olabilir. Örneğin bir cümle model tarafından kabaca:

“Yapay / zekâ / hızla / gelişiyor / .”

gibi parçalara ayrılabilir. Gerçek tokenizasyon kullanılan modele ve tokenizer’a göre değişir. Bu nedenle:

1 token = 1 kelime demek doğru değildir.

Language Model Nasıl Çalışır?

Bir kullanıcı şöyle bir başlangıç yazsın: “Yapay zekâ gelecekte eğitim…” Dil modeli mevcut bağlamı değerlendirerek bir sonraki token için olasılık dağılımı hesaplar. Örneğin tamamen temsili olarak:

Olası devam	Olasılık
sistemlerini	%31
alanında	%25
sektörünü	%19
süreçlerini	%15
diğer	%10

Model bunlardan birini seçtikten sonra aynı işlem yeniden gerçekleştirilir. Yani:

Token 1 → Token 2 → Token 3 → Token 4 → … şeklinde çıktı oluşturulur.

Modern üretken dil modellerinin metin üretiminin temelinde bu autoregressive generation mantığı bulunabilir.

Dil Modelleri Yeni Bir Teknoloji midir?

Hayır. Dil modelleri üretken yapay zekâdan ve günümüzdeki LLM’lerden çok daha eski bir kavramdır. Dil modelleme kabaca şu gelişim çizgisi içerisinde düşünülebilir:

İstatistiksel Dil Modelleri

↓

N-gram Modelleri

↓

Neural Language Models

↓

RNN

↓

LSTM/GRU

↓

Transformer

↓

Modern LLM’ler

Dolayısıyla ChatGPT ile başlayan şey dil modeli kavramı değildir. Değişen temel unsur, modellerin ölçeği, mimarileri, eğitim yöntemleri ve yetenekleridir.

N-Gram Dil Modeli Nedir?

Geleneksel dil modelleme yöntemlerinden biridir. Örneğin bigram modelinde bir kelimenin olasılığı kendisinden önce gelen kelimeye göre hesaplanabilir. “yapay zekâ” ifadesinde: P(zekâ | yapay) hesaplanabilir. Trigram modelinde ise önceki iki öğe dikkate alınabilir. Bu modeller kullanışlı olmakla birlikte uzun bağlamları ve karmaşık anlamsal ilişkileri modelleme konusunda önemli sınırlamalara sahiptir.

Neural Language Model Nedir?

Yapay sinir ağlarının dil modellemede kullanılmasıyla birlikte kelimeler ve bağlam arasındaki daha karmaşık ilişkilerin öğrenilmesi mümkün hâle geldi. Özellikle:

• Word Embeddings
• RNN
• LSTM
• GRU

gibi yöntemler modern dil modellemenin gelişiminde önemli aşamalar oluşturdu. Daha sonra Transformer mimarisi dil modelleme alanında büyük bir dönüşüm yarattı.

Transformer Dil Modellerini Nasıl Değiştirdi?

Transformer mimarisinin en önemli unsurlarından biri attention mekanizmalarıdır. Attention, modelin bir dizideki farklı token’lar arasındaki ilişkileri temsil etmesine yardımcı olur. Örneğin: “Doktor hastayı muayene ettikten sonra ona sonuçları açıkladı.” gibi bir cümlede farklı kelimeler arasındaki bağlamsal ilişkilerin anlaşılması gerekir. Transformer tabanlı modeller bu tür ilişkileri daha etkili biçimde modelleyebilir. Bu gelişme daha büyük veri kümeleri ve daha büyük modellerle birleştiğinde modern Large Language Model yaklaşımının önünü açtı.

Language Model ile LLM Arasındaki Fark Nedir?

En önemli ayrım kapsam ve ölçek açısından düşünülebilir.

• Language Model (LM) genel kavramdır.
• Large Language Model (LLM) ise büyük ölçekli dil modelidir.

Dolayısıyla: Her LLM bir dil modelidir. Ancak: Her dil modeli LLM değildir. Şematik olarak:

LANGUAGE MODEL

↙　　　　　　　　　↘

SLM　　　　　　　LLM

Small Language Model　Large Language Model

Ancak SLM ile LLM arasında herkes tarafından kabul edilmiş kesin bir parametre sınırı bulunmadığını da unutmamak gerekir.

Language Model, SLM ve LLM Karşılaştırması

Kavram	Türkçesi	Temel anlam
LM	Dil Modeli	Dil modellemenin genel kavramı
SLM	Küçük Dil Modeli	Görece küçük ve verimlilik odaklı dil modeli
LLM	Büyük Dil Modeli	Büyük ölçekli ve geniş yetenekli dil modeli

Bu nedenle kavramsal hiyerarşi:

Language Model

→ Small Language Model

→ Large Language Model

şeklinde doğrusal değildir. Daha doğru gösterim:

Language Model

↙　　　　↘

SLM　　LLM

şeklindedir.

Language Model ile Foundation Model Aynı Şey midir?

Hayır.

• Language Model, dilsel dizileri modelleyen sistemi ifade eder.
• Foundation Model, geniş veri üzerinde önceden eğitilen ve çok sayıda farklı göreve uyarlanabilecek temel modeli ifade eden daha geniş bir paradigmadır.

Dolayısıyla bir model:

Language Model + Foundation Model

özelliklerini aynı anda taşıyabilir.

Modern büyük dil modellerinin önemli bir bölümü aynı zamanda foundation model yaklaşımı kapsamında değerlendirilebilir. Ancak bütün foundation modellerin dil modeli olması gerekmez. Örneğin görüntü, biyolojik veri veya başka veri türleri üzerinde geliştirilen foundation modeller bulunabilir.

Language Model ile Generative AI Aynı Şey midir?

Hayır.

• Language Model bir model türünü ifade eder.
• Generative AI, yeni içerik üreten yapay zekâ sistemlerini kapsayan daha geniş bir kavramdır.

Üretken yapay zekâ:

• Metin
• Görsel
• Video
• Ses
• Müzik
• Kod

gibi farklı içerikler üretebilir. Bir dil modeli ise özellikle dilsel verilerin modellenmesine odaklanır. Dolayısıyla:

Language Model ≠ Generative AI

fakat üretken yapay zekâ sistemlerinin önemli bir bölümü dil modellerinden yararlanabilir.

Language Model ile Chatbot Aynı Şey midir?

Bu da sık karıştırılan bir ayrımdır.

Dil modeli bir modeldir.

Chatbot ise kullanıcıyla etkileşim kuran uygulama veya sistemdir.

Basitleştirirsek:

• Language Model → Teknolojik Model
• Chatbot → Kullanıcıya Sunulan Uygulama

Modern bir yapay zekâ asistanının arkasında yalnızca dil modeli değil; arama sistemleri, RAG, güvenlik mekanizmaları, veri tabanları, araçlar, API’ler ve agent sistemleri

de bulunabilir.

Dil Modelleri Neler Yapabilir?

Modern dil modelleri ölçeğine ve eğitimine bağlı olarak çok sayıda görevi gerçekleştirebilir:

Görev	Örnek
Metin üretimi	Rapor taslağı oluşturma
Metin tamamlama	Cümlenin devamını oluşturma
Özetleme	Uzun metni kısaltma
Çeviri	İngilizceden Türkçeye çeviri
Sınıflandırma	Müşteri yorumlarını kategorize etme
Soru-cevap	Sorulara yanıt üretme
Bilgi çıkarımı	Metinden kişi, kurum veya tarih çıkarma
Yeniden yazma	Metni akademik dile dönüştürme
Kodlama	Kod üretme ve açıklama
Diyalog	Kullanıcıyla doğal dilde iletişim

Ancak bütün dil modelleri bu görevlerin tamamında aynı performansı göstermez.

Dil Modeli Bilgiyi Nasıl “Öğrenir”?

Burada önemli bir yanlış anlamayı önlemek gerekir. Dil modeli klasik anlamda bir: ansiklopedi veya veri tabanı değildir. Eğitim sırasında model parametreleri, eğitim verilerindeki örüntülerden hareketle optimize edilir. Bu nedenle modelin içinde: “Ankara = Türkiye’nin başkenti” şeklinde klasik bir veri tabanı satırı bulunduğunu düşünmek doğru değildir. Bilgi, modelin parametrelerinde daha dağıtık biçimde temsil edilir.

Language Model Neden Yanlış Bilgi Üretebilir?

Dil modelinin temel amacı her durumda dış dünyadaki gerçeği doğrulamak değildir. Model, verilen bağlamdan hareketle olasılıksal olarak uygun bir çıktı üretir. Bu nedenle:

Dilsel olarak ikna edici olmak ≠ Gerçek olmak

ayrımı önemlidir. Bir dil modeli:

• var olmayan kaynak üretebilir,
• yanlış tarih verebilir,
• sahte DOI oluşturabilir,
• olmayan araştırmayı gerçekmiş gibi sunabilir,
• yanlış nedensel çıkarım yapabilir.

Bu durum modern üretken modellerde hallucination problemiyle ilişkilendirilir.

Language Model + RAG

Dil modellerinin bu sınırlılığını azaltmak için dış bilgi kaynaklarından yararlanılabilir.

Örneğin:

Kullanıcı Sorusu

↓

Belge Arama

↓

İlgili Bilgiyi Getirme

↓

Language Model

↓

Kaynaklardan Yararlanan Yanıt

Bu yaklaşım Retrieval-Augmented Generation (RAG) olarak adlandırılır. Böylece model yalnızca eğitim sırasında öğrendiği örüntülere bağlı kalmadan sağlanan güncel veya kuruma özel bilgilerden yararlanabilir.

Language Model + AI Agent

Dil modeli ayrıca bir agent sisteminin temel karar veya dil işleme bileşeni olarak kullanılabilir. Örneğin:

Language Model → Talebi Anlar

↓

Agent → Yapılması Gereken İşlemi Belirler

↓

Tool → Arama / Takvim / E-posta / Veri Tabanı

↓

Sonuç

Burada dil modeli ile agent aynı şey değildir.

• LM → Dil işleme/modelleme
• Agent → Hedef doğrultusunda görev ve araç kullanımı

olarak düşünülebilir.

Kavramların Tamamını Bir Araya Getirelim

Şimdi önceki kavramlarla birlikte daha net bir yapı kurabiliriz:

Artificial Intelligence (AI)
↓
Machine Learning (ML)
↓
Deep Learning (DL)
↓
Foundation Models / Modern Model Aileleri
↓
Language Models
↓
SLM / LLM

Bunların yanında:

• Multimodal AI → Birden fazla veri türü
• RAG → Dış bilgi getirme
• AI Agent → Araç kullanma ve görev yürütme
• Generative AI → Yeni içerik üretme

kavramları yer alır. Bunların hepsini aynı hiyerarşinin ardışık basamakları gibi düşünmemek gerekir; bazıları model türünü, bazıları ölçeği, bazıları yeteneği, bazıları ise sistem mimarisini ifade eder.

Sonuç

Language Model (LM), insan dilindeki örüntüleri matematiksel ve istatistiksel olarak modelleyen yapay zekâ modelidir. Modern dil modelleri token’lar arasındaki bağlamsal ilişkileri öğrenerek metin üretme, tamamlama, özetleme, sınıflandırma, çeviri ve soru-cevap gibi çok çeşitli görevleri gerçekleştirebilir. LLM ve SLM’yi anlamanın en kolay yolu da Language Model kavramından başlamaktır:

• LM = Ana kavram
• SLM = Görece küçük dil modeli
• LLM = Büyük ölçekli dil modeli

Buna karşılık Foundation Model, Generative AI, RAG, Multimodal AI ve AI Agent farklı boyutları tanımlar. Bu ayrım yapıldığında günümüzde kullanılan yapay zekâ terminolojisinin önemli bir bölümü daha anlaşılır hâle gelir.