Grokkingとは(グロッキング)

Grokkingは、2022年にOpenAIの研究チームが報告して注目を集めた現象です。小規模なニューラルネットワークに、四則演算の規則性のような比較的シンプルな課題を学習させると、まず訓練データへの精度(訓練誤差)が先に満点近くまで到達します。

通常であれば、その時点でテスト精度も同じように伸びていくか、あるいは過学習してテスト精度が下がっていくかのどちらかを想像します。ところがGrokkingでは、訓練精度が満点に達した後もテスト精度がほぼ0のまま、何万ステップも変化しない「停滞期間」が続きます。そして、多くの場合忘れる方向に働く正則化(weight decayなど)の圧力が十分にかかっていると、ある時点で突然テスト精度が跳ね上がり、未知の問題にも対応できるようになります。

この現象は、「学習の進み具合を、目に見える指標(訓練/テスト精度)だけで判断してよいのか」という問いを投げかけます。指標が動かない期間にも、モデルの内部(重みの構造)では別の変化が進行している可能性があるためです。