予想が外れた5記事から

このブログでやっているのは、よく聞くけれど自分で確かめたことのない話を、コードを書いて測り直すことです。やってみて分かったのは、予想が当たった実験はあまり面白くないということでした。教科書をなぞっただけになるからです。面白いのは外れたときで、どこに条件が付いていたのかがそこで分かります。そういう5本を選びました。上から順に読む必要はありません。

1. 囚人のジレンマで「しっぺ返し」は4位だった。手違いが1%あるだけで、根に持つ戦略は1手2.42点から1.53点に落ちる

   「しっぺ返しが最強」は繰り返し囚人のジレンマの定番の結論。10戦略の総当たりで測ったら4位だった。1位は「二度までは許す」。手違いが1%あるだけで、根に持つ戦略は点数が半分になる。

   

2. マンデルブロ集合の境界は「2次元」だと証明されている。同じコードで測ったら1.09にしかならなかった

   マンデルブロ集合の境界は1998年に「2次元」だと証明されている。円とコッホ雪片で較正してから同じコードで測ったら、1.09にしかならなかった。答えが出ないことが結論になった回。

   

3. Grokking: 訓練精度が満点になってから27,400ステップ、何も起きなかった。そこから突然「わかった」

   訓練の正解率が満点になってから27,400ステップ、テストの点は0のまま何も起きない。そこから突然、モデルが「わかる」。学習曲線を見ているだけでは絶対に予想できない現象を、自分の手で再現した。

   

4. 特徴選択のデータリークを実測: 交差検証の外で選んだだけで、純粋な乱数から精度100%が出た

   中身が純粋な乱数しかないデータから、精度100%が出た。交差検証の外側で特徴選択をしただけで、そうなる。「正しく検証したつもり」が壊れる瞬間が数字で見える。

   

5. 敵対的サンプル(FGSM)を自作分類器に実装したら、εを2.5まで上げても反転率は45%で頭打ちだった

   ノイズを強くするほどAIは騙されやすくなる、と思っていた。実際は45%で頭打ちになり、途中で効き目が下がる区間まであった。予想が外れた理由を追うほうが本題になった回。