破局的忘却(Catastrophic Forgetting)とは(はきょくてきぼうきゃく(Catastrophic Forgetting))

破局的忘却は、1つのニューラルネットワークに複数のタスクを順番に学習させたときに起きる現象です。タスクAを学習して十分な精度が出せるようになった後、同じネットワークにタスクBを学習させると、タスクBの精度は上がっていく一方で、タスクAの精度が大きく下がってしまう、場合によってはほぼゼロまで落ち込んでしまうことがあります。

原因は、ニューラルネットワークの重みがタスクごとに分離されておらず、同じパラメータを共有して学習しているためです。タスクBの学習で重みが更新されるとき、その更新はタスクAにとって都合が良いかどうかを考慮せずに行われるため、結果としてタスクAで学習した情報が上書きされてしまいます。

これは人間が新しいことを学んでも以前学んだことをほとんど忘れないのとは対照的な性質で、AIに複数のタスクやスキルを継続的に学習させたい(継続学習)場合の大きな障害になります。対策として、重要な重みの変化にペナルティを課す手法(EWCなど)や、過去のデータの一部を保持しておいて一緒に学習し直す手法(リプレイ)などが研究されています。