グリッドサーチ

グリッドサーチとは、ハイパーパラメータの候補値をあらかじめ並べておき、その組み合わせを総当たりで試して最も良いものを選ぶ方法です。

たとえば学習率を 3 通り、バッチサイズを 4 通り用意すると、12 通りすべてを学習させて比較します。網羅的なので見落としがありません。

一方で探す項目が増えると組み合わせが爆発的に増えて時間がかかるため、候補が多い場合はランダムサーチが選ばれます。