最尤法

最尤法とは、観測されたデータが最も得られやすくなるように、モデルのパラメータを選ぶ方法です。

「この結果が出たということは、パラメータはこの値だった可能性が最も高い」と逆算する発想です。コインを 10 回投げて 7 回表が出たなら、表の出る確率を 0.7 と推定します。

統計や機械学習で広く使われる推定の基本で、交差エントロピーの最小化もこの考え方と結びついています。