Leaky ReLU 関数

Leaky ReLU 関数とは、ReLU 関数の弱点を補うため、負の入力に対しても 0 ではなくわずかな傾きを持たせた活性化関数です。

ReLU は負の側が完全に 0 になるため、いったんそこへ入ったノードは勾配も 0 になり、二度と学習しなくなることがあります。少しだけ傾きを残すことでこれを防ぎます。

この問題は「死んだ ReLU」と呼ばれます。ReLU とセットで、改良の意図まで押さえておきましょう。