LSTM

LSTM とは、離れた位置にある情報どうしの関係を覚えていられるよう改良された RNN です。

情報を保つための専用の記憶セルと、何を忘れ何を覚え何を出力するかを制御する 3 つのゲートを備えています。これにより、単純な RNN では消えてしまう古い情報も保持できます。

長い文章の翻訳や音声認識で長く主役を務め、Transformer が登場するまでの系列処理を支えました。