宝くじ仮説

宝くじ仮説とは、大きなニューラルネットワークの中には、単独で学習させても元と同等の性能を出せる小さな部分網が隠れている、という仮説です。

多数の初期値を用意することが「当たりくじを大量に買う」ことにあたり、その中の当たりが学習を成功させている、という見立てです。

巨大なモデルが必要な理由を説明する仮説として注目され、プルーニングの理論的な裏づけにもなっています。