BPTT

BPTT とは、RNN を時間方向に引き伸ばして 1 つの深いネットワークとみなし、誤差逆伝播法を適用する学習方法です。

同じ重みを何度もくり返し使う構造を、時刻ごとの層が並んだ形に展開してから、誤差をさかのぼらせます。

系列が長いほど展開後の層が深くなるため、勾配消失や勾配爆発が起きやすくなります。この弱点を補うために LSTM が考案されました。