ε-greedy法とは(イプシロン・グリーディ法)

ε-greedy法は、「まだ試していない選択肢を試す(探索)べきか、これまでの経験で一番良いと分かっている選択肢を選ぶ(活用)べきか」というジレンマに対するシンプルな対処法です。多腕バンディット問題(複数のスロットマシンのうち、どれが一番当たりやすいか分からない状態でプレイを繰り返す問題)を説明に使われることが多い手法です。

具体的には、あらかじめ小さな確率ε(例えば0.1)を決めておき、各試行のたびにその確率でランダムな行動を選び(探索)、残りの確率(1-ε)ではこれまでの結果から最も期待値が高いと分かっている行動を選びます(活用)。

εの値が大きいほど探索が増えて新しい発見の機会は増えますが、既に分かっている良い選択肢を活かせない回数も増えます。逆にεが小さすぎると、早い段階でたまたま良さそうに見えた選択肢に固執してしまい、本当はもっと良い選択肢を見逃す可能性があります。より洗練された戦略として、UCBアルゴリズムやトンプソン抽出(Thompson Sampling)などがあります。