マルコフ性

マルコフ性とは、「次に起きることは、現在の状態だけで決まり、過去の経緯には依存しない」という性質のことです。

たとえばすごろくでは、次のマスは今いるマスとサイコロの目だけで決まり、そこまでの道のりは関係ありません。これがマルコフ性です。

強化学習は基本的にこのマルコフ性を前提に問題を定式化し、計算しやすくしています。