Tanh (Hyperbolic Tangent) – (Hiperbolik Tanjant Aktivasyon Fonksiyonu)

Tanh (Hyperbolic Tangent), yapay sinir ağlarında kullanılan doğrusal olmayan (nonlinear) aktivasyon fonksiyonlarından biridir. Sigmoid fonksiyonunun geliştirilmiş bir alternatifi olarak kabul edilen Tanh, giriş değerlerini -1 ile +1 arasında dönüştürmektedir. Çıktılarının sıfır merkezli (zero-centered) olması nedeniyle öğrenme sürecinde Sigmoid’e göre daha dengeli gradyanlar üretir ve birçok klasik yapay sinir ağı uygulamasında daha başarılı sonuçlar elde edilmesini sağlar. Özellikle derin öğrenmenin ilk dönemlerinde gizli katmanlarda yaygın olarak kullanılan Tanh, günümüzde bazı özel mimarilerde önemini korumaya devam etmektedir.

Tanh fonksiyonu matematiksel olarak aşağıdaki şekilde ifade edilir:

[
\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}
]

Fonksiyonun karakteristik eğrisi Sigmoid’e benzemekle birlikte, çıktı aralığı [-1, +1] olduğundan pozitif ve negatif değerleri simetrik biçimde temsil edebilir. Giriş değeri sıfır olduğunda çıktı 0, çok büyük pozitif değerlerde +1, çok büyük negatif değerlerde ise -1 değerine yaklaşır. Bu sıfır merkezli yapı, ağırlık güncellemelerinin daha dengeli gerçekleşmesine yardımcı olur ve optimizasyon sürecini Sigmoid fonksiyonuna göre daha verimli hâle getirir. Ancak Tanh fonksiyonu da uç bölgelerde türevin sıfıra yaklaşması nedeniyle gradyan kaybolması (vanishing gradient) problemine tamamen çözüm getirememektedir. Bu nedenle çok derin sinir ağlarında öğrenme süreci yavaşlayabilir ve model performansı olumsuz etkilenebilir.

Tanh aktivasyon fonksiyonu; tekrarlayan sinir ağları (Recurrent Neural Networks – RNN), Uzun Kısa Süreli Bellek ağları (Long Short-Term Memory – LSTM), Zaman Serisi Analizi, konuşma tanıma, doğal dil işleme ve sinyal işleme uygulamalarında yaygın olarak kullanılmaktadır. Özellikle LSTM hücrelerinde aday bellek (candidate memory) hesaplamalarında Tanh fonksiyonu hâlen standart olarak kullanılmaktadır. Bununla birlikte modern derin öğrenme modellerinde gizli katmanlarda çoğunlukla ReLU, Leaky ReLU, ELU veya GELU gibi aktivasyon fonksiyonları tercih edilmektedir. Buna rağmen Tanh; sıfır merkezli çıktı üretmesi, güçlü doğrusal olmayan dönüşüm sağlaması ve belirli sinir ağı mimarilerinde yüksek performans göstermesi nedeniyle yapay sinir ağlarının gelişiminde önemli rol oynayan temel aktivasyon fonksiyonlarından biri olarak kabul edilmektedir.