Inference -(Çıkarım)

Inference (Çıkarım), eğitilmiş bir yapay zekâ modelinin yeni bir girdi üzerinde tahmin veya yanıt üretme sürecidir. Başka bir ifadeyle, modelin eğitim aşamasında öğrendiği bilgi ve örüntüleri kullanarak daha önce görmediği veriler hakkında sonuç üretmesidir. Örneğin bir kullanıcı ChatGPT’ye soru sorduğunda, bir görüntü tanıma sistemi fotoğraftaki nesneleri belirlediğinde veya bir öneri sistemi size izlemek isteyebileceğiniz filmi önerdiğinde gerçekleşen işlem inference sürecidir.

Inference, eğitim (training) aşamasından farklıdır. Eğitim sırasında model milyarlarca örnek üzerinden öğrenir ve parametrelerini günceller. Inference aşamasında ise model artık yeni bir şey öğrenmez; mevcut bilgisini kullanarak yalnızca tahmin üretir. Bu nedenle inference sürecinin hızlı ve düşük gecikmeli olması, özellikle sohbet botları, otonom araçlar, akıllı telefon uygulamaları ve gerçek zamanlı yapay zekâ sistemleri için büyük önem taşır. Günümüzde NVIDIA GPU’ları, TPU’lar ve özel yapay zekâ hızlandırıcıları, inference işlemlerini daha hızlı ve daha düşük enerji tüketimiyle gerçekleştirmek amacıyla yaygın olarak kullanılmaktadır. Büyük dil modellerinin performansı değerlendirilirken doğruluk kadar inference hızı, gecikme süresi (latency) ve saniyede üretilen token sayısı da önemli ölçütler arasında yer almaktadır.

Büyük dil modelleri (Large Language Models – LLM’ler), görüntü tanıma sistemleri ve öneri algoritmaları gibi birçok yapay zekâ uygulaması, kullanıcılarla etkileşim kurarken inference aşamasında çalışır.

Yapay zekâ sistemlerinin yaşam döngüsü genel olarak iki temel aşamadan oluşur:

1. Training (Eğitim): Model büyük veri kümeleri üzerinde öğrenir ve parametrelerini günceller.
2. Inference (Çıkarım): Eğitilmiş model, yeni verileri kullanarak tahmin veya yanıt üretir.

Dolayısıyla ChatGPT’ye bir soru sorduğunuzda, model yeniden eğitilmez; yalnızca daha önce öğrendiği bilgiler ve mevcut istem (prompt) doğrultusunda inference yaparak yanıt üretir.

Büyük dil modellerinde inference süreci şu şekilde gerçekleşir:

1. Kullanıcının girdiği metin tokenization işlemiyle tokenlara ayrılır.
2. Tokenlar embedding vektörlerine dönüştürülür.
3. Transformer katmanları ve Self-Attention mekanizmaları bağlamı analiz eder.
4. Model, bir sonraki token için olasılık dağılımı hesaplar.
5. En uygun token seçilir ve çıktı oluşturulur.
6. Bu işlem, yanıt tamamlanıncaya kadar her yeni token için tekrarlanır.

Örneğin kullanıcı şu soruyu sorsun: “Türkiye’nin başkenti neresidir?”

Model, eğitim sırasında öğrendiği dil örüntülerini ve bilgi temsillerini kullanarak “Ankara” yanıtını üretir. Bu süreç inference olarak adlandırılır.

Inference yalnızca metin üretiminde kullanılmaz. Farklı yapay zekâ uygulamalarında şu görevleri yerine getirir:

• Görüntü sınıflandırma (örneğin bir fotoğraftaki nesneyi tanıma)
• Ses tanıma
• Makine çevirisi
• Duygu analizi
• Hastalık teşhisi
• Öneri sistemleri
• Otonom araç kararları

Inference performansı üç temel ölçütle değerlendirilmektedir:

• Latency (Gecikme): Modelin yanıt üretme süresi.
• Throughput (İşlem Kapasitesi): Belirli bir sürede işlenebilen istek veya token sayısı.
• Accuracy (Doğruluk): Üretilen çıktının gerçek veya beklenen sonuca uygunluğu.

Son yıllarda inference sürecini hızlandırmak amacıyla çeşitli optimizasyon yöntemleri geliştirilmiştir. Bunlar arasında quantization (nicemleme), knowledge distillation (bilgi damıtma), model pruning (budama) ve özel yapay zekâ donanımları (GPU, TPU, NPU) yer almaktadır. Bu teknikler, modelin doğruluğunu büyük ölçüde korurken daha az bellek kullanmasını ve daha hızlı yanıt üretmesini sağlar.

Inference kavramı, training (eğitim) ile karıştırılmamalıdır. Eğitim sırasında modelin ağırlıkları güncellenir ve yeni bilgiler öğrenilir. Inference aşamasında ise modelin parametreleri sabittir; yalnızca mevcut bilgiler kullanılarak yeni girdilere yönelik tahminler yapılır.

Avantajları

• Gerçek zamanlı tahmin ve yanıt üretimi sağlar.
• Eğitilmiş model tekrar eğitilmeden kullanılabilir.
• Çok farklı uygulama alanlarında kullanılabilir.
• Eğitim sürecine göre çok daha düşük hesaplama maliyetine sahiptir.
• Yapay zekâ sistemlerinin günlük kullanımını mümkün kılar.

Dezavantajları

• Eğitim sırasında öğrenilmeyen bilgileri sonradan edinemez.
• Güncel olmayan bilgiler yanlış sonuçlara yol açabilir.
• Büyük modellerde yüksek donanım gereksinimi devam edebilir.
• Yanlış eğitim verisi, inference sonuçlarını da olumsuz etkiler.
• Halüsinasyon (hallucination) riski tamamen ortadan kalkmaz.

Özet

Inference, eğitilmiş bir yapay zekâ modelinin yeni veriler üzerinde tahmin veya çıktı üretme sürecidir. Büyük dil modellerinde kullanıcı istemleri tokenlara dönüştürülür, Transformer mimarisi tarafından analiz edilir ve en olası tokenlar sırayla seçilerek yanıt oluşturulur. Yapay zekâ uygulamalarının gerçek dünyadaki tüm kullanım senaryoları inference aşamasında gerçekleşmektedir. Eğitim sürecinden farklı olarak bu aşamada model yeni bilgiler öğrenmez; yalnızca mevcut bilgi ve parametrelerini kullanarak çıkarım yapar.

İlgili Kavramlar: Training, Transformer, Token, Tokenization, Embedding, Self-Attention, Prompt, Large Language Model (LLM), Quantization, Knowledge Distillation

Kaynakça

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Pearson.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.