Sigmoid – (Sigmoid Aktivasyon Fonksiyonu)

Sigmoid, yapay sinir ağlarında kullanılan en eski ve en bilinen aktivasyon fonksiyonlarından biridir. Lojistik fonksiyon (logistic function) olarak da adlandırılan Sigmoid, herhangi bir gerçek sayı değerini 0 ile 1 arasında bir çıktıya dönüştürür. Bu özelliği sayesinde özellikle olasılık (probability) tahmini gerektiren ikili sınıflandırma (binary classification) problemlerinde uzun yıllar boyunca standart aktivasyon fonksiyonu olarak kullanılmıştır. Günümüzde gizli katmanlarda büyük ölçüde ReLU ve türevleri tercih edilse de, Sigmoid hâlâ belirli uygulamalarda ve özellikle çıktı katmanlarında önemini korumaktadır.

Sigmoid fonksiyonu matematiksel olarak şu şekilde ifade edilir:

[
\sigma(x)=\frac{1}{1+e^{-x}}
]

Bu fonksiyonun karakteristik özelliği S şeklindeki (S-shaped) eğrisidir. Giriş değeri çok büyük pozitif olduğunda çıktı 1’e, çok büyük negatif olduğunda ise 0’a yaklaşır. Giriş değeri 0 olduğunda fonksiyonun çıktısı 0,5 olur. Sigmoid fonksiyonunun türevlenebilir ve sürekli olması, geri yayılım (backpropagation) algoritmasının geliştirilmesinde önemli rol oynamıştır. Bununla birlikte fonksiyonun uç bölgelerinde türevin sıfıra yaklaşması, gradyan kaybolması (vanishing gradient) problemine neden olmaktadır. Bu durum özellikle çok katmanlı derin sinir ağlarında öğrenme sürecinin yavaşlamasına ve model performansının düşmesine yol açabilir. Ayrıca fonksiyonun yalnızca pozitif çıktı üretmesi, aktivasyonların sıfır merkezli olmamasına neden olarak optimizasyon sürecini olumsuz etkileyebilir.

Sigmoid fonksiyonu; lojistik regresyon (Logistic Regression), ikili sınıflandırma problemleri, tıbbi tanı sistemleri, spam filtreleme, kredi riski analizi ve birçok erken dönem yapay sinir ağı uygulamasında yaygın olarak kullanılmıştır. Günümüzde ise gizli katmanlarda çoğunlukla ReLU, Leaky ReLU veya GELU gibi daha başarılı aktivasyon fonksiyonları tercih edilmektedir. Buna rağmen Sigmoid, özellikle sinir ağlarının çıktı katmanında, modelin belirli bir sınıfa ait olma olasılığını üretmek amacıyla kullanılmaya devam etmektedir. Örneğin “evet/hayır”, “hasta/sağlıklı” veya “spam/değil” gibi iki sınıflı problemlerde çıktı değeri doğrudan olasılık olarak yorumlanabilmektedir. Basit yapısı, matematiksel sürekliliği ve olasılık üretme yeteneği sayesinde Sigmoid, modern yapay zekâ literatüründe tarihsel ve uygulamalı açıdan en önemli aktivasyon fonksiyonlarından biri olarak kabul edilmektedir.