CEC

CEC とは、LSTM の内部で誤差を減衰させずに保ち続けるための仕組みです。Constant Error Carousel の略で、日本語では定誤差回転子と訳されます。

通常の RNN では時間をさかのぼるほど勾配が縮んでいきますが、CEC は誤差をそのままの大きさで運ぶ経路を作り、これを防ぎます。

LSTM が長期の依存関係を扱えるようになった中核の工夫で、記憶セルの中心にあたる部分です。