二重降下(Double Descent)とは(にじゅうこうか(Double Descent))

古典的な機械学習の理解では、モデルの複雑さ(パラメータ数)を増やしていくと、ある点まではテスト誤差が下がっていきますが、それ以上複雑にすると過学習が起きてテスト誤差が上がっていく、というU字型の関係が想定されてきました。

ところが二重降下では、この「過学習で悪化する」領域を超えてさらにパラメータ数を増やし続けると、テスト誤差が再び下がり始めるという現象が観測されます。特に、モデルの表現力が訓練データをちょうど完全に説明しきれる境目(補間閾値)の付近でテスト誤差が最も悪化し、そこを超えて過剰なパラメータを持つ領域(過剰パラメータ化)に入ると、性能が再び改善していきます。

深層学習で使われる大規模なモデルの多くは、まさにこの「パラメータ数がデータ数よりはるかに多い」領域で運用されており、二重降下はなぜ巨大なモデルが過学習せずにうまく機能するのかを理解する手がかりの1つとされています。