勾配ブースティング

勾配ブースティングとは、複数のモデルを直列につなぎ、前のモデルが間違えた部分を次のモデルが補うように学習させていくアンサンブル手法です。

バギングが並列に弱モデルを作って平均するのに対し、こちらは前の誤差を次が打ち消すように順番に学習します。徐々に予測精度を高めていきます。

XGBoost や LightGBM など、表データの予測で最強クラスのアルゴリズムを生み出した重要な考え方です。