← タグ一覧に戻る「機械学習」の記事一覧
二重降下を実験で再現した。補間閾値でテスト誤差が76.8倍に跳ね上がり、そこから64分の1まで下がったが、シンプルな次数5モデルには最後まで届かなかった
実践記機械学習
「破局的忘却」を実際に起こしてみたら、Task A精度は0.9834から0.0000まで消えた。10%のリハーサルでも一度は9.9%まで沈んでから戻ってきた
実践記機械学習
自分のブログ53記事をUMAPで並べてみたら、「実践記」と「Claude入門」はきれいには分かれなかった
実践記機械学習
双峰のデータを、ビン幅ひとつで単峰に消してみた。ヒストグラムとKDEの「粒度」が物語を書き換える
実践記機械学習
多数決は実力差を消さずに増幅する。Condorcetの陪審定理を101人分シミュレーションしたら、p=0.55の集団は正解率0.84、p=0.45は0.16まで転落した
実践記機械学習
学習率のwarmupは本当に訓練を安定させるのか。崩壊寸前のLRで20シード×3条件、実際に数えてみた
実践記機械学習
Dropoutは「暗黙のアンサンブル」なのか。同じパラメータ予算で本物のアンサンブルと殴り合わせたら、相関係数0.13だった
実践記機械学習
ロジスティック写像で「バタフライ効果」を実測したら、r=3.9では1e-8の差が0.498/stepで爆発し、r=2.8では起きなかった
実践記機械学習
点群の法線をPCAで求めたら37%が裏返っていた。スタンフォードバニーでMST伝播による向き揃えを試す
実践記機械学習
自分のブログ49記事でミニGPTを学習させたら、「位置エンコーディング」と「.envを呼ぶ」を書き出した
実践記機械学習
Grokking: 訓練精度が満点になってから27,400ステップ、何も起きなかった。そこから突然「わかった」
実践記機械学習
メビウスの輪には裏表がない。次元削減で平らに広げたら、どこかを潰すしかなかった
実践記機械学習
日本語はなぜトークン代が高いのか。BPEを一から実装して測ったら、「3倍高い」は言い過ぎだった
実践記機械学習
Q学習で迷路を解いたら、報酬が出口から逆向きに染みてきた。そして崖っぷちを攻めるQ学習と、遠回りするSARSA
実践記機械学習
ドーナツ型データは、3次元に持ち上げると一刀両断できる。カーネルトリックを目で見る
実践記機械学習
生成モデル三国志、最後の流派。Normalizing Flowをnumpyで一から実装したら、一番静かに学習が終わった
実践記機械学習
シェルピンスキーの三角形は何次元か。「1.58次元」を自分のコードで実測する
実践記機械学習
「そろそろ攻めるか」を勘で決めない。UCBとThompson samplingをε-greedyと競走させた
実践記機械学習
三つ葉結び目は、t-SNEにほどけるのか。Isomapが完璧にほどき、たった1本の偽のつながりで壊れた
実践記機械学習
ニューラルネットは陰陽を学べるか。450エポックの間、目玉の正解率は0%だった
実践記機械学習
絡まった2つのリングは、k-meansには永遠に分けられない。「近さ」ではなく「つながり」で見る
実践記機械学習
ロールケーキに穴を開けたら、優等生のIsomapは壊れるのか。「数字は無事なのに、地図は歪む」を見た
実践記機械学習
平均も分散も相関も同じまま、恐竜をサーモンに変えてみた。焼きなまし法でDatasaurusを再現する
実践記機械学習
ランダムな200箇所から出発したら、勾配降下法は1つも正解にたどり着けなかった。焼きなまし法で局所最適解から抜け出す実験
実践記機械学習
「経験が浅いうちほど、ルールに頼った方がいい」を過学習の実験で確かめてみた
実践記機械学習
「前の経験は新しい挑戦の助けになる」を転移学習の実験で検証したら、そう単純ではなかった
実践記機械学習
完全なノイズから、三日月形が本当に浮かび上がってくるのか。拡散モデル(DDPM)を自分で実装して確かめてみた
実践記機械学習
生成器と識別器を騙し合わせてみたら、損失は教科書通りの値に収束したのに、形はきれいに揃わなかった。GAN(敵対的生成ネットワーク)を一から実装した
実践記機械学習
SGD・Momentum・RMSprop・Adamを同じ谷で競走させてみた。Adamが一番強いというのは本当か
実践記機械学習
Self-Attentionにとって文はただの「単語の集合」だった。位置エンコーディングを実装して、順序という情報がどう埋め込まれるかを確かめてみた
実践記機械学習
くるくる巻いたデータを、PCAは平らにできなかった。多様体学習(Isomap)がスイスロールを"展開"する様子を見てみた
実践記機械学習
ε-greedy法は人生に似ている、という話を実際に手を動かして確かめてみた
実践記機械学習
ガボールフィルタの続き。画像をフーリエ変換すると何が見えるのか
実践記機械学習画像処理
脳とニューラルネットワークは似ている、と言われるけど本当なのか。パーセプトロンとヘブ則を実装して確かめてみた
実践記機械学習
Self-Attentionの「it」は本当に「animal」を見ているのか。QKVとスケーリング、causal maskを自分で実装して確かめてみた
実践記機械学習
今さらガボールフィルタを触ってみた。画像の「向き」を見るとはどういうことか
実践記機械学習画像処理
VLMにBBoxをSFTすると、モデルは一体何を学習しているのか？
実践記機械学習