ベンチマーク

ベンチマークとは、モデルの性能を測るために用意された共通の評価課題のことです。

言語理解、常識的な推論、数学、プログラミングなど分野ごとに整備されており、同じ課題を解かせることでモデルどうしを比べられます。

注意したいのは、課題が学習データに紛れ込んでいると点数が実力以上に出る点です。高得点がそのまま実務での有用さを意味するとも限りません。