「最適化」の記事一覧
じゃんけんのナッシュ均衡は1/3ずつと決まっている。学習させたら均衡から3,050倍遠ざかり、最後は手が完全に読めるようになった
ランダム初期化のk-meansは47.5%が悪い局所最適解に落ちた。k-means++はわずか1%
学習率のwarmupは本当に訓練を安定させるのか。崩壊寸前のLRで20シード×3条件、実際に数えてみた
焼きなまし法でDatasaurusを再現したら、平均も分散も相関も同じまま恐竜がサーモンに変わった
焼きなまし法(シミュレーテッドアニーリング)と勾配降下法を200箇所から競走させたら、勾配降下は0箇所しか正解に届かなかった
SGD・Momentum・RMSprop・Adamを同じ谷で競走させたら、1位はMomentumだった。「Adamが最強」は成り立たなかった