Self-Attentionとは(セルフ・アテンション(自己注意機構))

Self-Attentionは、2017年の論文「Attention Is All You Need」で提案されたTransformerアーキテクチャの中心的な仕組みです。文章のような系列データを処理する際、それぞれの単語(トークン)が、同じ文中の他の単語とどれくらい関連しているかを重み付けして考慮します。

計算上は、各トークンをQuery(問い合わせ)・Key(鍵)・Value(値)という3種類のベクトルに変換し、あるトークンのQueryと他の全トークンのKeyとの類似度(内積)を計算して注意の重み(Attention重み)を求めます。この重みでValueを加重平均したものが、そのトークンの新しい表現になります。

「itという単語がanimalという単語に注目する」といった直感的な説明がよくされますが、この関連付けは事前学習によって獲得されたQuery/Key変換の重み(パラメータ)があって初めて成立するものです。ランダムな初期状態のままでは、そうした意味的な関連付けは自然には現れません。