連載「探索と活用のアルゴリズム」

公開順に読み進められる連載です。

1. 「たまには冒険したほうがいい」を多腕バンディットで測ったら、最適な選択を引けた割合が35.95%から79.31%まで変わった

   多腕バンディット問題のε-greedy法をnumpyで実装し、探索と活用のトレードオフを実測した記録。探索率εを変えると最適行動の選択率が35.95%から79.31%まで変わる。強化学習の入り口となる考え方を、コードと数値で確かめている。

2. ε-greedyの後悔は直線で伸び続けた。UCBとThompson samplingを競走させたら395対185対79

   多腕バンディット問題のUCB(Upper Confidence Bound)とトンプソン抽出をPythonで実装し、ε-greedyと比較した記録。累積リグレット曲線で3手法の探索戦略の違いを可視化した。

3. Q学習で迷路を解いたら、報酬が出口から逆向きに染みてきた。そして崖っぷちを攻めるQ学習と、遠回りするSARSA

   Q学習をPythonのnumpyだけで実装し、8×8の迷路を解かせた記録。価値がゴールから逆向きに伝播していく様子を矢印マップのアニメーションで可視化。崖歩き問題でQ学習とSARSAの違い(楽観的な最短路と安全な遠回り)も比較した。np.argmaxの罠による失敗談つき。