連載「学習が壊れるとき」
公開順に読み進められる連載です。
- ニューラルネットは陰陽を学べるか。450エポックの間、目玉の正解率は0%だった
陰陽(Yin-Yang)模様の2クラス分類をニューラルネットに学ばせ、決定境界がS字の渦を描くまでを観察した。隠れユニット2個では直線のまま、4個でS字が現れ、8個で片目、32個で両目を発見する「表現力の階段」が綺麗に出た。さらに学習過程を追うと、本体の渦は数十エポックで学べるのに、目玉(全体の3.6%の例外)は450エポックもの間、正解率0%のまま完全に無視され、その後突然発見される——例外が学ばれるまでの長い沈黙を実測した記録
- Grokkingとは？ 訓練99%から27,400ステップ遅れて汎化した実験
暗記できたのに未知の問題が解けない。その状態からテスト精度が立ち上がるGrokkingを、53で割った余りの計算で再現。学習条件、weight decayの比較、AdamW実装の注意点と、結果から言える範囲を解説します。
- 二重降下を実験で再現した。補間閾値でテスト誤差が76.8倍に跳ね上がり、そこから64分の1まで下がったが、シンプルな次数5モデルには最後まで届かなかった
二重降下(double descent)を再現した実験記録。モデルのパラメータを増やすほどテスト誤差が一度悪化し、さらに増やすと再び改善する現象を、実際に条件を振って観測した。
- FGSMとは？ 敵対的サンプルのノイズを強くしても、誤分類が増え続けなかった理由
FGSMを2次元の自作分類器に実装。ε=0.01で反転する点がある一方、0〜2.5の探索では反転率の最大は48.1%。攻撃の仕組み、εの意味、攻撃失敗をモデルの頑健さと混同できない理由を解説します。
- 重みの初期化の標準偏差を0.01と1.5にしただけで、50層のMLPは活性化が10^61倍潰れるか10^45倍膨張した
幅64・50層のhand-rolled numpy MLPで活性化と勾配の標準偏差を実測した記録。初期化の標準偏差0.01では活性化が61桁潰れ、1.5では45桁膨張したが、層の幅に応じてスケールするHe初期化だけは50層を通じて狭い範囲に収まっていた。
- Hopfieldネットワークの記憶容量を実測。理論値141枚のはずが、文字パターンは3枚で崩壊した
1024ニューロンのHopfield網で記憶と想起を実験。ランダム画像と相関の強い文字画像では容量が大きく変わりました。0.138Nという目安の前提、偽アトラクタ、学習則の違いを追います。
- 勾配消失を24層のネットワークで実測したら、sigmoidだけテスト精度0.49(当てずっぽう)まで崩壊し、勾配が15桁消えていた
活性化関数(ReLUとsigmoid)の俗説を24層のネットワークで検証した記録。sigmoidだけがテスト精度0.49まで崩壊し、1層目の勾配が10⁻²から10⁻¹⁷まで15桁消える勾配消失を実測した。