設定の意味
「学習率」は1回の更新の大きさ、「勾配ノイズ」は勾配に加える乱れです。「1フレームの更新数」は再生速度を変えます。地形は谷、鞍点、複数の極小値などから選べます。
まず試してみること
地図をクリックして出発点をそろえ、学習率を少しずつ変えてください。細長い谷では、速く下る方法と左右に振動する方法の違いが見えてきます。
結果の見方
損失のグラフは両対数表示です。線が下がれば損失が減っています。発散した方法は現在の設定では安定していません。1つの地形で速かった方法が、別の地形でも最良とは限りません。