モデルの選択と情報量

モデルの選択と情報量とは、データへの当てはまりの良さと、モデルの複雑さの両方を考えてモデルを選ぶ、という考え方です。

当てはまりだけ重視すると過学習しやすく、単純さだけ重視すると当てはまりが悪くなります。両者をバランスよく評価する指標として情報量基準（AIC、BIC など）が使われます。

オッカムの剃刀を数値的に定式化したような考え方で、統計モデリングで広く使われます。