Base Model

Base Model – Temel Model, büyük miktarda veri üzerinde ön eğitimden (pre-training) geçirilmiş ancak henüz belirli kullanıcı talimatlarını takip etme, sohbet etme veya özel bir görevi yerine getirme amacıyla kapsamlı biçimde post-training uygulanmamış modeldir. Basitçe:

Büyük Veri → Pre-training → Base Model → Post-training → Instruction / Chat Model

Base model, daha gelişmiş ve kullanıcıya yönelik modellerin oluşturulabileceği bir başlangıç noktası olarak düşünülebilir.

Nasıl Oluşturulur?

Bir dil modeli açısından base model, çok büyük miktarda metin ve diğer uygun veriler üzerinde dil örüntülerini öğrenir. Örneğin decoder-only bir base modelin temel eğitim hedefi çoğunlukla:

Önceki Token’lar → Sonraki Token’ı Tahmin Etme

şeklindedir. Örneğin: “Yapay zekâ gelecekte işletmelerin…” Model bu dizinin ardından gelmesi muhtemel token’ları tahmin etmeyi öğrenir. Bu süreçte model:

• dilbilgisini,
• kelimeler arasındaki ilişkileri,
• yazım biçimlerini,
• kavramsal ilişkileri,
• çeşitli metin örüntülerini

öğrenebilir.

Ancak bu durum modelin henüz iyi bir yapay zekâ asistanı olduğu anlamına gelmez.

Base Model ile Chat Model Arasındaki Fark

Base model kullanıcı talimatlarını takip etmek üzere özel olarak optimize edilmemiş olabilir. Örneğin kullanıcı: “Bu makaleyi beş maddede özetle.” dediğinde bir base model, talimatı yerine getirmek yerine metni devam ettirmeye veya beklenmeyen bir formatta yanıt vermeye daha yatkın olabilir. Chat model ise bu tür kullanıcı taleplerine uygun davranması için ayrıca eğitilmiştir.

Özellik	Base Model	Chat Model
Pre-training	Evet	Evet
Talimat takibi	Sınırlı olabilir	Güçlü biçimde optimize edilir
Çok turlu sohbet	Temel amaç değil	Temel kullanım
Kullanıcı tercihleriyle uyum	Sınırlı	Post-training ile geliştirilir
Temel amaç	Genel örüntüleri öğrenmek	Kullanıcıyla etkili etkileşim

Base Model Nasıl Chat Model Olur?

Basitleştirilmiş geliştirme süreci şöyle gösterilebilir:

Ham Eğitim Verileri

↓

Pre-training

↓

Base Model

↓

Instruction Tuning

↓

Preference / Safety Post-Training

↓

Instruction-Following veya Chat Model

Dolayısıyla chat model çoğu durumda sıfırdan oluşturulan tamamen farklı bir model değil, bir base modelin daha ileri eğitim ve uyarlama süreçlerinden geçirilmiş biçimidir.

Base Model ile Foundation Model Aynı mı?

Tam olarak değil. Bu iki kavram sıklıkla birbirine yakın anlamlarda kullanılsa da vurguları farklıdır.

• Base Model, özellikle modelin eğitim aşamasındaki durumunu vurgular: ön eğitim tamamlanmıştır ancak sonraki uyarlamalar henüz yapılmamış olabilir.
• Foundation Model ise geniş veri üzerinde eğitilmiş ve çok sayıda farklı görev veya uygulamaya uyarlanabilecek genel amaçlı modeli ifade eden daha geniş bir kavramdır.

Bu nedenle bir model aynı anda hem: Foundation Model hem de Base Model olarak nitelendirilebilir.

Base Model ile Pre-trained Model Aynı mı?

Kavramlar oldukça yakındır ancak bağlama göre kullanım farklılaşabilir.

• Pre-trained model, ön eğitimden geçmiş herhangi bir modeli ifade edebilir.
• Base model ise özellikle sonraki instruction tuning, fine-tuning veya chat post-training işlemleri için başlangıç noktası olan sürümü belirtmek için yaygın biçimde kullanılır.

Örneğin kavramsal olarak: Pre-trained Base Model → Instruction-Tuned Model → Chat Model şeklinde bir süreç düşünülebilir.

Neden Base Model Kullanılır?

Base modeller özellikle model geliştiricileri ve araştırmacılar açısından önemlidir. Çünkü farklı amaçlara göre özelleştirilebilirler:

• Base Model → Fine-Tuning → Hukuk Modeli
• Base Model → Fine-Tuning → Sağlık Alanı Modeli
• Base Model → Instruction Tuning → Asistan
• Base Model → Kod Verileriyle Uyarlama → Kodlama Modeli

Bu nedenle base model, farklı yapay zekâ sistemlerinin geliştirilebileceği genel bir başlangıç katmanı sağlar.

Sınırlılıkları

Base modelin güçlü dil yeteneklerine sahip olması, kullanıcıyla etkili bir asistan gibi iletişim kuracağı anlamına gelmez. Başlıca sınırlılıkları:

• talimatları tutarlı biçimde takip etmeyebilir,
• sohbet formatına uygun davranmayabilir,
• kullanıcı niyetini yeterince dikkate almayabilir,
• istenilen çıktı formatına uymayabilir,
• güvenlik ve tercih uyumu açısından ek eğitim gerektirebilir.

Bu nedenle son kullanıcıya yönelik sistemlerde çoğunlukla post-training uygulanmış modeller tercih edilir.

Sonuç

Base Model, geniş veri üzerinde ön eğitimden geçirilmiş ve daha sonraki özelleştirme veya post-training süreçleri için temel oluşturan modeldir.

En kolay ayrım:

• Base Model → Ham temel yetenek
• Instruction-Following Model → Talimat takip etme yeteneği eklenmiş model
• Chat Model → Sohbet için optimize edilmiş model

Süreci tek satırda gösterirsek:

Pre-training → Base Model → Post-training → Instruction-Following / Chat Model

Buradaki “base”, modelin küçük veya basit olduğu anlamına gelmez; modelin daha sonraki uyarlamalardan önceki temel sürümünü ifade eder.