tanh 関数

tanh 関数とは、入力を −1 から 1 のあいだに収める活性化関数です。双曲線正接関数とも呼ばれます。

シグモイド関数と同じ S 字型ですが、出力が 0 を中心に対称になるため学習が進みやすく、傾きもシグモイドより大きくとれます。

それでも端では傾きが小さくなるため勾配消失を完全には避けられず、現在の中間層では ReLU 関数が主流です。