過学習とは(かがくしゅう(Overfitting))

過学習は、機械学習を学ぶうえで最初に出会う基本的な問題の1つです。モデルの表現力(パラメータ数や複雑さ)が訓練データの量に対して大きすぎると、モデルは本来学習すべき「データの背後にある一般的な規則」だけでなく、そのデータセット固有の偶然のばらつきやノイズまで細かく覚え込んでしまいます。

その結果、訓練データに対する誤差はどんどん小さくなっていく一方で、テストデータ(モデルが見たことのないデータ)に対する誤差はある時点から悪化していきます。この「訓練誤差とテスト誤差が乖離していく」現象が過学習です。

対策として、正則化(モデルの複雑さにペナルティを課す)、Dropout、データを増やす、モデルをシンプルにする、早期終了(訓練誤差がまだ下がっていてもテスト誤差の悪化を見て学習を止める)などの手法が使われます。ただし、モデルサイズを大きくし続けると一度悪化した性能が再び改善する「二重降下」と呼ばれる現象が観測されることもあり、単純に「複雑=悪い」とは言い切れない側面もあります。