実験ギャラリー

これまでに手を動かした実験42本を、一枚絵で並べました。気になった絵から読むのがおすすめです。

• 二重降下を実験で再現した。補間閾値でテスト誤差が76.8倍に跳ね上がり、そこから64分の1まで下がったが、シンプルな次数5モデルには最後まで届かなかった
• 「破局的忘却」を実際に起こしてみたら、Task A精度は0.9834から0.0000まで消えた。10%のリハーサルでも一度は9.9%まで沈んでから戻ってきた
• 自分のブログ53記事をUMAPで並べてみたら、「実践記」と「Claude入門」はきれいには分かれなかった
• 双峰のデータを、ビン幅ひとつで単峰に消してみた。ヒストグラムとKDEの「粒度」が物語を書き換える
• 多数決は実力差を消さずに増幅する。Condorcetの陪審定理を101人分シミュレーションしたら、p=0.55の集団は正解率0.84、p=0.45は0.16まで転落した
• 学習率のwarmupは本当に訓練を安定させるのか。崩壊寸前のLRで20シード×3条件、実際に数えてみた
• Dropoutは「暗黙のアンサンブル」なのか。同じパラメータ予算で本物のアンサンブルと殴り合わせたら、相関係数0.13だった
• ロジスティック写像で「バタフライ効果」を実測したら、r=3.9では1e-8の差が0.498/stepで爆発し、r=2.8では起きなかった
• 点群の法線をPCAで求めたら37%が裏返っていた。スタンフォードバニーでMST伝播による向き揃えを試す
• 自分のブログ49記事でミニGPTを学習させたら、「位置エンコーディング」と「.envを呼ぶ」を書き出した
• Grokking: 訓練精度が満点になってから27,400ステップ、何も起きなかった。そこから突然「わかった」
• メビウスの輪には裏表がない。次元削減で平らに広げたら、どこかを潰すしかなかった
• 日本語はなぜトークン代が高いのか。BPEを一から実装して測ったら、「3倍高い」は言い過ぎだった
• Q学習で迷路を解いたら、報酬が出口から逆向きに染みてきた。そして崖っぷちを攻めるQ学習と、遠回りするSARSA
• ドーナツ型データは、3次元に持ち上げると一刀両断できる。カーネルトリックを目で見る
• 生成モデル三国志、最後の流派。Normalizing Flowをnumpyで一から実装したら、一番静かに学習が終わった
• シェルピンスキーの三角形は何次元か。「1.58次元」を自分のコードで実測する
• 「そろそろ攻めるか」を勘で決めない。UCBとThompson samplingをε-greedyと競走させた
• 三つ葉結び目は、t-SNEにほどけるのか。Isomapが完璧にほどき、たった1本の偽のつながりで壊れた
• ニューラルネットは陰陽を学べるか。450エポックの間、目玉の正解率は0%だった
• 絡まった2つのリングは、k-meansには永遠に分けられない。「近さ」ではなく「つながり」で見る
• ロールケーキに穴を開けたら、優等生のIsomapは壊れるのか。「数字は無事なのに、地図は歪む」を見た
• 平均も分散も相関も同じまま、恐竜をサーモンに変えてみた。焼きなまし法でDatasaurusを再現する
• ランダムな200箇所から出発したら、勾配降下法は1つも正解にたどり着けなかった。焼きなまし法で局所最適解から抜け出す実験
• 「経験が浅いうちほど、ルールに頼った方がいい」を過学習の実験で確かめてみた
• 「前の経験は新しい挑戦の助けになる」を転移学習の実験で検証したら、そう単純ではなかった
• 完全なノイズから、三日月形が本当に浮かび上がってくるのか。拡散モデル(DDPM)を自分で実装して確かめてみた
• 生成器と識別器を騙し合わせてみたら、損失は教科書通りの値に収束したのに、形はきれいに揃わなかった。GAN(敵対的生成ネットワーク)を一から実装した
• SGD・Momentum・RMSprop・Adamを同じ谷で競走させてみた。Adamが一番強いというのは本当か
• Self-Attentionにとって文はただの「単語の集合」だった。位置エンコーディングを実装して、順序という情報がどう埋め込まれるかを確かめてみた
• くるくる巻いたデータを、PCAは平らにできなかった。多様体学習(Isomap)がスイスロールを"展開"する様子を見てみた
• ε-greedy法は人生に似ている、という話を実際に手を動かして確かめてみた
• ガボールフィルタの続き。画像をフーリエ変換すると何が見えるのか
• 脳とニューラルネットワークは似ている、と言われるけど本当なのか。パーセプトロンとヘブ則を実装して確かめてみた
• Self-Attentionの「it」は本当に「animal」を見ているのか。QKVとスケーリング、causal maskを自分で実装して確かめてみた
• 今さらガボールフィルタを触ってみた。画像の「向き」を見るとはどういうことか
• VLMにBBoxをSFTすると、モデルは一体何を学習しているのか？
• 「CLAUDE.mdに全部書く」をやめてみた話 — SkillとHookで自動化した実例
• AIを使うと思考力が落ちる？その不安との向き合い方
• Claude Codeに、記事へ自動で画像を生成させる仕組みを作ってもらった話
• AIコーディングアシスタントに.envを読まれると何が起きるか、実際に検証してみた
• 生成AIの「ハルシネーション」に要注意：モデル調査で実際にあった3つの間違い