Q学習とは(きゅーがくしゅう(Q-learning))

Q学習は、エージェント(学習主体)が試行錯誤を通じて、どの状態でどの行動を取れば最終的に得られる報酬の合計が最大になるかを学ぶアルゴリズムです。「状態」と「行動」の組み合わせごとに、その先に得られる報酬の期待値を表す「Q値」という数値を持ち、実際に行動して得られた結果をもとにこのQ値を少しずつ更新していきます。

更新には、ゴールに到達したときの報酬が、時間をかけて手前の状態へ「逆向きに」伝播していくという性質があります。迷路探索を例にすると、最初はゴール直前のマスだけがQ値を持ち、学習を繰り返すうちにスタート地点に向かって少しずつQ値の高い経路が伸びていくイメージです。

似た手法にSARSAがありますが、Q学習は「次にとりうる最善の行動」を仮定して更新する(Off-policy)のに対し、SARSAは「実際に次に取った行動」をもとに更新する(On-policy)という違いがあります。この違いは、崖のふちのように失敗のリスクがある環境での挙動の違いとして現れます。