Self-supervised Learning – (Öz Denetimli Öğrenme)

Self-supervised Learning (Öz Denetimli Öğrenme), etiketlenmemiş verilerden otomatik olarak öğrenme sinyalleri üreterek model eğitilmesini sağlayan makine öğrenmesi yaklaşımıdır. Bu yöntemde insan tarafından hazırlanmış etiketlere ihtiyaç duyulmaz; bunun yerine model, verinin kendi yapısından yararlanarak öğrenme görevlerini kendisi oluşturur. Bu nedenle öz denetimli öğrenme, denetimsiz öğrenme ile denetimli öğrenme arasında yer alan özel bir yaklaşım olarak değerlendirilmektedir. Günümüzde özellikle büyük dil modelleri (Large Language Models – LLM), bilgisayarlı görü ve çok modlu yapay zekâ sistemlerinin geliştirilmesinde temel öğrenme yöntemlerinden biri hâline gelmiştir.

Self-supervised Learning’in temelinde ön metin görevleri (pretext tasks) yer alır. Bu görevlerde model, verinin bir bölümünü diğer bölümlerinden tahmin etmeye çalışır. Doğal dil işlemede yaygın olarak kullanılan yöntemlerden biri, bir cümlede eksik bırakılan kelimelerin tahmin edilmesidir. BERT modeli Masked Language Modeling (MLM) yaklaşımını kullanarak gizlenen belirteçleri (tokens) tahmin ederken, GPT ailesi modeller ise önceki belirteçlerden yararlanarak bir sonraki belirteci tahmin eden Autoregressive Language Modeling yaklaşımıyla eğitilmektedir. Bilgisayarlı görü alanında ise görüntünün eksik parçalarının tamamlanması, farklı görünümlerin eşleştirilmesi veya kontrastif öğrenme (contrastive learning) görevleri öz denetimli öğrenmenin yaygın uygulamalarıdır. Böylece model, açık etiketlere ihtiyaç duymadan verinin yapısal özelliklerini öğrenerek güçlü temsil vektörleri (representations) oluşturur.

Self-supervised Learning; doğal dil işleme, görüntü analizi, konuşma tanıma, biyoinformatik ve robotik gibi birçok alanda kullanılmaktadır. Özellikle internet üzerindeki milyarlarca metin, görüntü ve ses kaydının etiketlenmesi pratik olmadığından, bu yaklaşım büyük ölçekli yapay zekâ modellerinin geliştirilmesini mümkün hâle getirmiştir. Ön eğitim (pretraining) tamamlandıktan sonra model, belirli görevler için daha küçük etiketli veri kümeleriyle ince ayar (fine-tuning) yapılarak özelleştirilebilir. Bu yöntem, etiketleme maliyetlerini önemli ölçüde azaltırken modelin genelleme yeteneğini de artırmaktadır. Ancak yüksek hesaplama gücü gerektirmesi, büyük veri kümelerine ihtiyaç duyması ve uygun ön metin görevlerinin tasarlanmasının zorluğu önemli sınırlılıklar arasında yer almaktadır. Buna rağmen Self-supervised Learning, günümüzde üretken yapay zekâ ve temel modellerin (Foundation Models) geliştirilmesini mümkün kılan en önemli öğrenme paradigmalarından biri olarak kabul edilmektedir.