活性化関数

活性化関数とは、ニューラルネットワークの各ノードで、入力の合計値を出力に変換するときに通す非線形の関数のことです。

シグモイド、tanh、ReLU などが代表例で、入力の合計を「次に伝える値」に変えます。非線形な関数を挟むことで、ネットワーク全体が複雑な表現を学習できるようになります。

活性化関数がないとネットワークは単なる線形変換の繰り返しになってしまうため、ニューラルネットの表現力を生む重要な要素です。