線形関数

線形関数とは、それぞれの入力に重みを掛けて足し合わせ、バイアスを加えるという一次の変換のことです。

グラフに描くと直線や平面になる素直な計算で、ニューラルネットワークの各ノードは、まずこの計算を行ってから活性化関数を通します。

線形関数だけを何層重ねても結局 1 つの線形関数にまとまってしまうため、あいだに非線形な活性化関数を挟むことが欠かせません。