APE-X

APE-X とは、経験を集める役割と学習する役割を分離し、収集側を大規模に並列化した手法です。

数百のエージェントがひたすら環境を試して経験を送り、中央の学習器がそれをまとめて学びます。役割を分けることで、大量の計算資源を無駄なく使えます。

重要な経験を優先して学ぶ仕組みと組み合わせることで、当時の記録を大きく更新しました。