ReLU (Rectified Linear Unit) – (Düzeltilmiş Doğrusal Birim)

ReLU (Rectified Linear Unit), derin öğrenme modellerinde en yaygın kullanılan aktivasyon fonksiyonlarından biridir. İlk kez 2000’li yılların sonlarında derin sinir ağlarında kullanılmaya başlanmış ve özellikle 2012 yılında AlexNet modelinin başarısıyla birlikte yapay zekâ alanında standart aktivasyon fonksiyonu hâline gelmiştir. ReLU’nun temel amacı, nöronun toplam giriş değerini doğrusal olmayan bir dönüşümden geçirerek modelin karmaşık örüntüleri öğrenebilmesini sağlamaktır. Hesaplama açısından oldukça basit olması ve gradyan kaybolması (vanishing gradient) problemini büyük ölçüde azaltması nedeniyle günümüzde birçok derin öğrenme mimarisinde tercih edilmektedir.

ReLU fonksiyonu matematiksel olarak aşağıdaki şekilde tanımlanır:

[
\text{ReLU}(x)=\max(0,x)
]

Bu fonksiyon, negatif giriş değerlerini 0 olarak çıkışa dönüştürürken, pozitif giriş değerlerini herhangi bir değişiklik yapmadan doğrudan çıktıya aktarır. Başka bir ifadeyle, giriş değeri sıfırdan küçükse nöron pasif hâle gelir; sıfır veya daha büyük olduğunda ise doğrusal şekilde çalışmaya devam eder. Bu yapı, Sigmoid ve Tanh gibi geleneksel aktivasyon fonksiyonlarında görülen gradyan küçülmesi problemini önemli ölçüde azaltarak daha derin sinir ağlarının etkin biçimde eğitilmesini mümkün kılmıştır. ReLU’nun hesaplama maliyeti de oldukça düşüktür; çünkü yalnızca karşılaştırma işlemi gerektirir ve üstel (exponential) hesaplamalar içermez.

ReLU; evrişimsel sinir ağları (Convolutional Neural Networks – CNN), tam bağlantılı sinir ağları (Fully Connected Neural Networks), nesne tanıma, görüntü sınıflandırma, doğal dil işleme, konuşma tanıma ve birçok derin öğrenme uygulamasında kullanılmaktadır. Bununla birlikte, sürekli negatif giriş alan bazı nöronların tamamen etkisiz hâle gelmesiyle ortaya çıkan Dying ReLU (Ölü ReLU) problemi bu fonksiyonun en önemli sınırlılıklarından biridir. Bu sorunu azaltmak amacıyla Leaky ReLU, Parametric ReLU (PReLU), Randomized ReLU (RReLU) ve Exponential Linear Unit (ELU) gibi geliştirilmiş türevler önerilmiştir. Günümüzde Transformer tabanlı büyük dil modellerinde (Large Language Models – LLM) çoğunlukla GELU aktivasyon fonksiyonu tercih edilse de, ReLU hâlen bilgisayarlı görü ve birçok klasik derin öğrenme modelinde en yaygın kullanılan aktivasyon fonksiyonlarından biridir. Basitliği, yüksek hesaplama verimliliği ve güçlü öğrenme performansı sayesinde ReLU, modern derin öğrenmenin gelişiminde dönüm noktası niteliğindeki temel kavramlardan biri olarak kabul edilmektedir.