ReLU 関数

ReLU 関数とは、入力が 0 より大きければそのまま出力し、0 以下ならすべて 0 にするという、とても単純な活性化関数です。

正の側では傾きが常に 1 なので、層を重ねても勾配が小さくなりにくく、深いネットワークでも学習が進みます。計算も軽くて済みます。

勾配消失問題を大きく緩和し、ディープラーニングの実用化を後押しした立役者で、現在の中間層の標準になっています。