Inference (Çıkarım), eğitilmiş bir yapay zekâ modelinin yeni bir girdi üzerinde tahmin veya yanıt üretme sürecidir. Başka bir ifadeyle, modelin eğitim aşamasında öğrendiği bilgi ve örüntüleri kullanarak daha önce görmediği veriler hakkında sonuç üretmesidir. Örneğin bir kullanıcı ChatGPT’ye soru sorduğunda, bir görüntü tanıma sistemi fotoğraftaki nesneleri belirlediğinde veya bir öneri sistemi size izlemek isteyebileceğiniz filmi önerdiğinde gerçekleşen işlem inference sürecidir.
Inference, eğitim (training) aşamasından farklıdır. Eğitim sırasında model milyarlarca örnek üzerinden öğrenir ve parametrelerini günceller. Inference aşamasında ise model artık yeni bir şey öğrenmez; mevcut bilgisini kullanarak yalnızca tahmin üretir. Bu nedenle inference sürecinin hızlı ve düşük gecikmeli olması, özellikle sohbet botları, otonom araçlar, akıllı telefon uygulamaları ve gerçek zamanlı yapay zekâ sistemleri için büyük önem taşır.
Günümüzde NVIDIA GPU’ları, TPU’lar ve özel yapay zekâ hızlandırıcıları, inference işlemlerini daha hızlı ve daha düşük enerji tüketimiyle gerçekleştirmek amacıyla yaygın olarak kullanılmaktadır. Büyük dil modellerinin performansı değerlendirilirken doğruluk kadar inference hızı, gecikme süresi (latency) ve saniyede üretilen token sayısı da önemli ölçütler arasında yer almaktadır.
Yorumlar (0)