← タグ一覧に戻る「ニューラルネット」の記事一覧
勾配消失を24層のネットワークで実測したら、sigmoidだけテスト精度0.49(当てずっぽう)まで崩壊し、勾配が15桁消えていた
実践記ニューラルネット
宝くじ仮説の枝刈りをnumpyで自前実装したら、当たりくじの優位はスパース率98%から先だけだった(99%で62%対48%)
実践記ニューラルネット
Hopfieldネットワークの記憶容量を実測。理論値141枚のはずが、文字パターンは3枚で崩壊した
実践記ニューラルネット
重みの初期化の標準偏差を0.01と1.5にしただけで、50層のMLPは活性化が10^61倍潰れるか10^45倍膨張した
実践記ニューラルネット
敵対的サンプル(FGSM)を自作分類器に実装したら、εを2.5まで上げても反転率は45%で頭打ちだった
実践記ニューラルネット
「破局的忘却」を実際に起こしてみたら、Task A精度は0.9834から0.0000まで消えた。10%のリハーサルでも一度は9.9%まで沈んでから戻ってきた
実践記ニューラルネット
学習率のwarmupは本当に訓練を安定させるのか。崩壊寸前のLRで20シード×3条件、実際に数えてみた
実践記ニューラルネット最適化
Dropoutは「暗黙のアンサンブル」なのか。同じパラメータ予算で本物のアンサンブルと殴り合わせたら、相関係数0.13だった
実践記ニューラルネット
Grokking: 訓練精度が満点になってから27,400ステップ、何も起きなかった。そこから突然「わかった」
実践記ニューラルネット
ニューラルネットは陰陽を学べるか。450エポックの間、目玉の正解率は0%だった
実践記ニューラルネット
「脳とニューラルネットは似ている」を実装で確かめたら、精度は同じままヘブ則の重みだけが2万3000倍に発散した
実践記ニューラルネット