TRANSFORMER EXPLAINER 予備知識なしで、はじめよう

Transformerを、
入口から出口まで。

まず全体をつかみ、必要な部品を学び、左右の構造をつなぐ。
8つの章を「次へ」で進むと、原論文の図を順番に読めます。

学習へ進む ↓

第1章 / 8

目次から章を選ぶ

まず、左と右の役割をつかむ

Transformerは何を受け取って、何を返す？

翻訳を例に、入口と出口だけを見ます。図の箱の名前は、このあとの章で1つずつ扱います。

左 / 読み取る

Encoder

The cat sleeps .

原文を読み、ことば同士の関係を反映した数の並び（ベクトル）に変換します。原文の各位置に、その表現が残ります。

原文の情報を渡す →左右をつなぐ経路

右 / 作り出す

Decoder

開始猫は？

訳文の前半を読み、Encoderの情報も参照して次の訳文トークンを予測します。出力を1つ選び、末尾に足して続けます。

上の文は翻訳の仕組みを示す例です。左と右は同時に使う2つのネットワークであり、「左が学習用・右が生成用」という分担ではありません。

最初は、この2つの役割だけつかめば大丈夫です。下の図で左右の位置を確認したら、「次へ」で入力のトークン化から始めましょう。

この章では、同じ2トークンの例を最後まで使います

計算するのは、「眠る」に対応する新しいベクトル。

第3章では、トークンごとに入力ベクトルを作りました。Attentionは、それらを使って各トークンに対応する出力ベクトルを1つずつ計算します。この出力は後続の層の計算に使う数の並びです。

ここからは、2トークン・2次元の例に切り替えます。

第3章の8次元の数値を切り取ったものではありません。入力と重みを手で用意した、計算を追うための例です。日本語の意味を学習したモデルではありません。

「1ヘッド」は、Attentionの計算を行う1つの経路

Q・K・Vを作る → 点数を作る → 係数に変える → Vを掛けて足す、という一連の計算を行う経路を、ヘッド（head）と呼びます。

Q・K・Vを作る $W_Q,W_K,W_V$ は、学習する3つの重み行列です。ヘッド1はヘッド1用の3つ、ヘッド2はヘッド2用の別の3つを持ちます。「ヘッド専用の重み」とは、このことです。同じヘッド内では、全トークンに同じ3つの行列を使います。

同じ入力を、別々の重みを持つ複数のヘッドで並列に計算するのがMulti-Head Attentionです。1単語につき1ヘッドではありません。1つのヘッドが、全トークンの出力を計算します。この章では、そのうち1ヘッドの「眠る」の出力を拡大して追います。

なぜ、ヘッドごとに別の重みを持つ？

同じ入力から、各Vに掛ける割合が異なる複数の出力を作れるようにするためです。Q用・K用の重みが違えば点数と割合を変えられ、V用の重みが違えば足し合わせるベクトル自体も変えられます。これが、複数のヘッドで表現力を増やす仕組みです。

各ヘッドの重みは通常、それぞれ別の乱数で初期化し、最終予測の誤差から一緒に学習します。もし全ヘッドで3つの重みをすべて同じにすれば、同じ入力に同じ計算をして、同じ出力を繰り返すだけになります。

各ヘッドに「主語用」「動詞用」などの担当をあらかじめ決めるわけではなく、必ず別の役割に分かれる保証もありません。原論文では各ヘッドを小さい次元にして、単一の大きなヘッドと同程度の計算量に抑えています。単に重みの総数を増やすだけの工夫ではありません。

入力と出力は、同じトークン順で並びます。

1行目：猫

\begin{bmatrix}1 & 0\end{bmatrix}

猫に対応する出力
途中計算を省略し、あとで行列に結果を表示

2行目：眠る

\begin{bmatrix}0 & 1\end{bmatrix}

眠るに対応する出力このベクトルを、これから計算する

「眠る」という単語を予測する計算ではありません。「猫」「眠る」はすでに入力にあり、それぞれの行に新しいベクトルを計算する段階です。

1. 入力からQ・K・Vを作る

各入力に、3種類の重み行列を掛けます。 $W_Q$ はQ用、 $W_K$ はK用、 $W_V$ はV用です。Wはweight（重み）を表します。これらはAttention内部の線形層の重みで、通常は乱数から学習で調整します。

Q = Query：出力を計算する行のQを使う。今回は「眠る」のQ。

K = Key：そのQとの内積で、トークンごとの点数を作る。

V = Value：点数から決めた係数を掛け、最後に足すベクトル。

1行目：「猫」

入力 $\begin{bmatrix}1 & 0\end{bmatrix}$

Q: $\begin{bmatrix}0 & 1\end{bmatrix}$
K: $\begin{bmatrix}1 & 0\end{bmatrix}$
V: $\begin{bmatrix}2 & 0\end{bmatrix}$

2行目：「眠る」

入力 $\begin{bmatrix}0 & 1\end{bmatrix}$

Q: $\begin{bmatrix}1 & 0\end{bmatrix}$
K: $\begin{bmatrix}0.5 & 1\end{bmatrix}$
V: $\begin{bmatrix}0 & 4\end{bmatrix}$

ここから先は「眠る」のQを1つと、両方のK・Vを使います。Qを作った行と、出力を計算する行は同じです。

各ベクトルを行に並べると、Q・K・Vの行列になる

すべて1行目＝猫、2行目＝眠るです。小文字qは1トークンのベクトル、大文字Qは2行をまとめた行列を指します。

入力 X

\begin{bmatrix}1 & 0 \\ 0 & 1\end{bmatrix}

$Q=XW_Q$

$K=XW_K$

\begin{bmatrix}1 & 0 \\ 0.5 & 1\end{bmatrix}

$V=XW_V$

\begin{bmatrix}2 & 0 \\ 0 & 4\end{bmatrix}

Q・K・Vの数値はどう出した？重みと掛け算を見る

この例の重みは次の3つです。同じ行列を猫・眠る両方の入力に掛けます。Qの操作を行った場合、この表と計算式も連動して変わります。

W_Q=\begin{bmatrix}0 & 1 \\ 1 & 0\end{bmatrix}

W_K=\begin{bmatrix}1 & 0 \\ 0.5 & 1\end{bmatrix}

W_V=\begin{bmatrix}2 & 0 \\ 0 & 4\end{bmatrix}

「眠る」の入力からQを作る、2つの足し算

入力は $x=[0,1]$ 。入力の各数字に重みを掛け、Qの各成分を作ります。下の図は、現在の重みと連動しています。

Qの第1成分

Qの第2成分

線に付いた係数を行列にまとめたものが $W_Q$ です。行が入力の成分、列がQの成分に対応します。

入力の第1・第2成分を $x_1,x_2$ 、Qの第1・第2成分を $q_1,q_2$ と書きます。 $w_{ij}$ は $W_Q$ のi行j列の1つの数です。

$q_1=x_1w_{11}+x_2w_{21}$ 、 $q_2=x_1w_{12}+x_2w_{22}$ 。ここでは行ベクトルに右から行列を掛けます。

同じ「眠る」の入力から、KとVも次のように計算します。

[0,1]\begin{bmatrix}1 & 0 \\ 0.5 & 1\end{bmatrix}=[0.5,1]

[0,1]\begin{bmatrix}2 & 0 \\ 0 & 4\end{bmatrix}=[0,4]

2. 「眠る」のQから、2つの係数と出力を計算する

同じ「眠る」のQで、猫のK・眠るのKとの点数を1つずつ計算します。その2つの点数から、猫のV・眠るのVに掛ける係数を決めます。

Q → 2つの点数 → 2つの割合 → Vを足した結果まず操作せず、青い「眠る」のQから下へ計算を追ってください。

① 使うのは、出力2行目に対応する「眠る」のQ

\begin{bmatrix}1 & 0\end{bmatrix}

計算を追ったら試す：Qの係数を動かす

「眠る」のQの第1成分

左：Q = [0, 1]右：Q = [1, 0]

Qの1つ目を増やすと、Kの1つ目の数字を点数に強く反映します。この操作では2つ目を同じだけ減らします。

実際のQには負の数も使え、合計1という制約もありません。この図では変化を追いやすくするため、[0, 1]と[1, 0]の間だけで動かします。

この操作ではQ用の重みを変え、上のQ行列・重みの計算式・下の出力まで、すべて同じ状態で再計算します。

② 「猫」のKは固定

眠るのQ × 猫のK

\begin{bmatrix}1 & 0\end{bmatrix}

点数：

この点数は、眠るの出力を計算するときの猫のVの係数を決めるために使う。

② 「眠る」のKは固定

眠るのQ × 眠るのK

\begin{bmatrix}0.5 & 1\end{bmatrix}

点数：

この点数は、眠るの出力を計算するときの眠るのVの係数を決めるために使う。

③ 点数を、合計1の係数に変える

まず、Q・Kの成分が2個なので点数を $\sqrt{2}$ で割ります。次にSoftmaxを使います。割り算後の各点数sを $e^s$ という正の数に変え、2つの合計で割る計算です（ $e\approx2.71828$ ）。

この2つの点数で、割り算の途中まで見る

平方根で割るのは、成分数が大きくなったときに内積の振れが大きくなり、Softmaxが極端に偏ることを抑えるためです。

猫のVに 眠るのVに

④ 「猫」のVは固定

\begin{bmatrix}2 & 0\end{bmatrix}

④ 「眠る」のVは固定

\begin{bmatrix}0 & 4\end{bmatrix}

⑤ 1ヘッドの出力ベクトル：「眠る」の行

使ったQは「眠る」のQ。猫のVと眠るのVを、上で決めた係数で足した結果です。

これは点数でも、入力から作ったVそのものでもありません。複数のVの加重和です。このベクトルを $z_2$ と呼びます。2つの数字は第1・第2成分で、「猫・眠るの点数」ではありません。

次は、ほかのヘッドが計算した「眠る」の出力と横に連結し、出力側のLinearに渡します。

表示は小数を丸めています。内部の計算には丸める前の値を使います。ここで計算しているのはAttentionの1ヘッドの出力で、次の単語の予測ではありません。

全トークンについて計算すると、出力の行列Zになる

猫のQと両方のKから、猫の出力を計算。眠るのQと両方のKから、眠るの出力を計算。それを行に並べたものがZです。実際には行列の掛け算で、全行をまとめて計算できます。単語に当たる計算単位は、厳密にはトークンです。

下の青い行は、すべて「眠る」の出力用です。点数・係数の列は、左が猫のV用、右が眠るのV用。最終出力の列は、ベクトルの第1・第2成分です。

$K^{\mathsf T}$ はKの行と列を入れ替えたものです。Qの各行と、転置したKの各列を掛けて足すと、全組み合わせの点数が一度に求まります。

$QK^{\mathsf T}$ ＝行：使うQ
列：使うK

$A=\operatorname{softmax}\!\left(\frac{QK^{\mathsf T}}{\sqrt{2}}\right)$

点数を√2で割り、
各行にSoftmax

≈行：出力の行
列：係数を掛けるV

$Z=AV$ ≈1行目：猫の出力
2行目：眠るの出力

点数の2行目・1列目は、眠るのQと猫のKの内積。その点数から作った係数を猫のVに掛け、出力の2行目の足し算に使います。

この例ではすべて2行×2列ですが、列の意味は異なります。トークン数をT、Vの成分数を $d_v$ とすると、点数と係数Aは $T\times T$ 、Vと出力Zは $T\times d_v$ 。出力にはトークンごとに1行ずつ、Vと同じ成分数のベクトルが残ります。

1ヘッドの出力は、このあとどこへ進む？

2ヘッドの場合を図にすると、次の順番です。上で計算したZを、ここでは $Z_1$ と書き、もう一方のヘッドの出力を $Z_2$ と書きます。下付き数字はヘッド番号です。それぞれの行列には、猫・眠るの両方の行があります。

同じ入力行列 X（猫・眠るの2行）

ヘッド1

このヘッドが学習する重み

W_Q

W_K

W_V

ヘッド2とは別の行列

入力にこの3つの行列を掛ける
→ Q・K・V → 点数 → 係数 → Vの加重和

$Z_1$ 猫の出力ベクトル
眠るの出力ベクトル

ヘッド2

このヘッドが学習する重み

W_Q

W_K

W_V

ヘッド1とは別の行列

入力にこの3つの行列を掛ける
→ Q・K・V → 点数 → 係数 → Vの加重和

$Z_2$ 猫の出力ベクトル
眠るの出力ベクトル

Concat：同じトークンの行同士を、横に並べてつなぐConcatはconcatenate（連結する）の略です。猫の行には両ヘッドの猫の出力、眠るの行には両ヘッドの眠るの出力を並べます。数字はそのまま並べるだけで、足し算や平均は行いません。Concat自体に学習する重みはありません。
連結という操作だけを確かめる例（上の実験とは別の説明用の数値）
ヘッド1の「眠る」 $[1,2]$ ヘッド2の「眠る」 $[3,4]$
↓ 横に並べると、2成分＋2成分＝4成分
$\underbrace{[\color{#245b97}{1,2},\color{#88530d}{3,4}]}_{\text{連結した「眠る」の1行}}$
出力側のLinear：連結した結果に、別の重み行列を掛けるこの変換の重みを $W_O$ と呼びます。Wはweight、Oはoutput（出力）を表します。Q・K・Vを作った重みとは別に、このMulti-Head Attentionの出力側に置かれた、学習する行列です。各ヘッドの成分を掛けて足し、後続の処理へ渡すベクトルを作ります。1つのMulti-Head Attentionにつき1つの $W_O$ を、連結後の全トークンの行に共通で使います。 $O=\operatorname{Concat}(Z_1,Z_2)W_O$
4成分から2成分へ：行列を掛ける数値例
上の連結例の続きを、説明用に手で決めた $W_O$ で計算します。実モデルでは、この行列の数字も学習します。
$[1,2,3,4]$ × $\underbrace{\begin{bmatrix}1&0\\0&1\\1&1\\1&-1\end{bmatrix}}_{W_O\;\text{（4行×2列）}}$ ＝ $[8,1]$
第1成分は $1+0+3+4=8$ 。第2成分は $0+2+3-4=1$ 。連結で並べた4つの成分から、新しい2つの成分を計算しました。
原論文のベースモデルでは、64成分×8ヘッドを連結して512成分にし、512行×512列の $W_O$ で512成分へ変換します。出力側のLinearは、必ず成分数を減らすわけではありません。
第5章：入力を足して正規化 → FFN → 入力を足して正規化原論文のAdd & Normを含む、Encoderの1層の続きを計算する。

$W_Q,W_K,W_V,W_O$ は、すべて学習する重みです。モデルを作るときに行列を用意し、通常は乱数で初期化します。学習では、最終的な予測と正解のずれから、それぞれの重みの更新量を計算します。 $W_O$ をQ・K・V用の重みやConcatの結果から生成するわけではありません。学習後の通常の推論では、これらの重みを固定して使います。

原論文のベースモデルは8ヘッドです。上のスライダーで動く計算は1ヘッドのZまでです。ここで示した連結・出力側のLinearの数値例は、操作を説明するための固定の例です。

3. なぜQを「探す条件」と呼ぶのか

Qが $[1,0]$ なら

\text{点数}=1\times k_1+0\times k_2

Kの1つ目の数字だけが点数になる。

Qが $[0,1]$ なら

\text{点数}=0\times k_1+1\times k_2

Kの2つ目の数字だけが点数になる。

$k_1,k_2$ は、1つのKベクトルの1つ目・2つ目の数字です。この例では、Kの各成分に「主語」「動詞」などの意味は割り当てていません。

「探す条件」と呼んでいたのは、QがKの成分への係数となって、各Vを足す割合を決めることです。たとえばQ = [1, 0]では猫のVを約59%、Q = [0, 1]では猫のVを約33%使います。上の図の「Qの係数を動かす」を開くと、この変化を試せます。

この操作では、入力と重みのどちらを変えている？

「眠る」の入力 $x=[0,1]$ は固定し、説明用の $W_Q$ の2行目を変えています。Qは毎回 $q=xW_Q$ で再計算しています。K用・V用の重みは固定です。

これは手で重みを動かす実験です。実際の学習では、最終的な予測と正解のずれから重みの更新量を計算します。

4. 重みを学習すると、この計算の何が変わる？

最初から役立つ係数を作れるわけではありません。学習では、上の図の計算を含めてモデル全体を動かし、最後に予測した単語の確率を、正解と照らし合わせます。

現在の重みで、上の出力ベクトルを計算するQによって点数が決まり、Vに掛ける割合と足し算の結果が決まる。
後続の層で、出力する単語の確率を計算する学習データの正解トークンにどれだけ確率を付けたかから、誤差を計算する。
重みを少し変えたら誤差がどう変わるか、逆向きに計算する出力ベクトル → Vに掛けた割合 → 点数 → Q・K → 重み、と計算をたどる。これが誤差逆伝播。
誤差を減らす方向へ、重みを調整するこの繰り返しで、正解を予測するのに役立つ出力ベクトルを計算できるよう、Q用・K用・V用と、連結後の出力側の重みを学習する。

Qは「Kの成分への係数」を作る側、Kは「その係数を掛けられる数字」を作る側です。QとKを違う側につなぐ設計は最初から決まっています。その両方を、予測の誤差を減らすように学習します。Qの中に日本語の質問文ができる、という意味ではありません。

Q用とK用で、重みの更新が違う理由を表で見る

作り方が同じなのに、なぜQとKの役割が違う？

Self-Attentionでは、入力は同じで、掛ける行列が違います。どちらの重みも最初は乱数です。QとKが別の役割を持つのは、作った後の使い方を、モデルの設計で分けているからです。

出力の2行目（眠る）を計算するときは、眠るのQを使います。出力の1行目（猫）を計算するときは、猫のQを使います。一方、猫のKは、どちらの行を計算するときにも、猫のVに掛ける係数を決める計算に使います。

Qは、出力の何行目を計算するかに対応青い行：出力の2行目（眠る）用の点数

点数の表	猫のK	眠るのK
猫のQ	0	1
眠るのQ	1	0.5

眠るのQだけを変えると、青い行の点数が変わり、出力の2行目を計算するときのVの係数が変わる。

Kは、どのVの係数を計算するかに対応茶色の列：猫のVの係数を決める点数

点数の表	猫のK	眠るのK
猫のQ	0	1
眠るのQ	1	0.5

猫のKだけを変えると、茶色の列の点数が変わる。出力の1行目・2行目を計算するときの、猫のVの係数に影響する。

表の各マスは、行のQと列のKの内積です。ここでは、そのベクトル以外を固定して影響を見ることにしています。実際には重みを全トークンで共有するため、 $W_Q$ を更新すれば複数のQが、 $W_K$ を更新すれば複数のKが変わります。

この行と列の区別は、学習を始める前からあります。各行の点数を割合に変え、その割合をVに掛けて足し、同じ行番号の出力ベクトルとする、という計算が決まっているためです。QとKは、その計算で担当する側に付けた名前です。

同じ種類の掛け算でも、返ってくる誤差が違う。

学習では、最終的な予測の間違いから「どの点数をどう動かすと、間違いが減るか」を計算します。その点数はQとKからできているので、さらにQとK、それを作った重みへと、変化の影響を逆にたどれます。

眠るのQを作る側へ出力の2行目に使った「猫のVの係数」「眠るのVの係数」の計算から、誤差の影響が伝わる。
猫のKを作る側へ出力の1行目・2行目それぞれに使った「猫のVの係数」の計算から、誤差の影響が伝わる。

そのため、同じ形の「入力 × 重み」でも、Q用とK用では重みの更新内容が異なります。予測の間違いを減らすように両方を調整すると、各行の出力を計算するときに、どのVへどれだけの係数を掛けるか、その係数を決める点数の付け方を学習できます。

設計で決めるもの：QとKの担当する側。
学習で獲得するもの：その担当で、予測に役立つ点数を出す能力。
ランダムな数列が自然に「質問」や「鍵」という別種類のデータに変化するわけではありません。Qの数列だけを見て、そこに日本語の質問文が入っていると解釈することもできません。

式でも確認する：Q側とK側へ伝わる誤差

出力ベクトルの行番号をi、係数を掛けるVの行番号をjとします。見通しのため、√dで割る前の点数を $s_{ij}=q_i\cdot k_j$ と書きます。予測の誤差をL、その点数を少し変えたときの誤差の変わり方を $g_{ij}=\partial L/\partial s_{ij}$ と置くと：

\frac{\partial L}{\partial q_i}=\sum_j g_{ij}k_j

Q側には、同じ出力行で使ったすべての点数からの影響が足されます。

\frac{\partial L}{\partial k_j}=\sum_i g_{ij}q_i

K側には、同じVの係数を決めたすべての点数からの影響が足されます。この違いが、それぞれを作った重みへも伝わります。Softmax・Vの足し算・後続の層・スコアのスケーリングを通じた影響は、ここでのgに含めています。

行列でまとめて書くと、原論文の式になる

Xは入力ベクトルをトークン順に並べた行列です。入力行列をSと書く資料もあります。式の隣り合った文字の間は行列の掛け算です。

Q=XW_Q,\quad K=XW_K,\quad V=XW_V

$K^{\mathsf T}$ はKの行と列を入れ替えた行列（転置）。 $QK^{\mathsf T}$ の1マスが、行のQと列のKの内積になります。Kを転置することで、この組み合わせを行列の掛け算で計算できます。

K=\begin{bmatrix}1 & 0 \\ 0.5 & 1\end{bmatrix},\quad K^{\mathsf T}=\begin{bmatrix}1 & 0.5 \\ 0 & 1\end{bmatrix}

$d_k$ はQ・Kの成分数です。ここでは2。Softmaxを各行に適用して係数に変え、その行の係数でVを足します。

\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}\right)V

Wは学習する重み行列です。一方、Softmaxの結果も「Attentionの重み」と呼ばれますが、こちらは入力から毎回計算する係数です。

Q用・K用・V用の重みは、原論文のどの部品？

Figure 1のMulti-Head Attentionの箱を開くと、Figure 2に描かれた3つのLinearがあります。入力に重みを掛けてQ・K・Vを作る部分です。

入力ベクトルQ側のLinear

W_Q

Qベクトル

入力ベクトルK側のLinear

W_K

Kベクトル

入力ベクトルV側のLinear

W_V

Vベクトル

原論文では、ヘッドiのQ用の重みを $W_i^Q$ と書きます。ここでは1ヘッドに注目して $W_Q$ と表記しています。Figure 2の入口のQ・K・Vは射影前の材料を指し、このページでは射影後をQ・K・Vと呼んでいます。

層・ヘッド・Attentionの種類ごとに、別の重みがあります。DecoderのCross-AttentionのK・VはEncoderの出力から作りますが、その変換の重みはDecoderのCross-Attentionに属します。左右の材料の違いは第6章で扱います。

原論文 §3.2.2・Figure 2

第5章では、この出力の続きを追います。各ヘッドの出力を同じトークン同士で連結 → 出力側のLinear → Add & Norm → Feed Forward → Add & Norm。第7章では、ヘッド数と層数、それぞれの繰り返し方を整理します。

第5章では、ずっと「眠る」の数列を追います

足す・並べる・掛ける。数列がどう変わるかを見よう。

第4章では各ヘッドの出力を計算しました。ここからは、同じ「眠る」の出力を連結して、Encoderの1層の終わりまで進めます。各カードの最後の数列が、次のカードの入力です。

全成分を見られる、4次元の説明用の例

2ヘッドの出力を $[1,2]$ と $[3,4]$ とした、小さな例です。入力・重み・ヘッド出力は手で用意しており、第4章のスライダーの結果や512次元モデルの一部ではありません。以下の5段階は、この例の数値でつながっています。

1
Concat / 連結
数字を変えず、横に並べる
ヘッド1が計算した「眠る」
成分11成分22
ヘッド2が計算した「眠る」
成分13成分24
↓ ヘッド1の2成分の後ろに、ヘッド2の2成分を置く
連結した「眠る」：4成分
成分11成分22成分33成分44
この段階では足したり平均したりしません。ヘッドごとの結果を、次の掛け算で一緒に使えるよう1行に並べます。
2
出力側のLinear
4つの数を掛けて足し、新しい4つの数を作る
掛ける数は、先に用意した重み行列から取る
この例では、説明用の $W_O$ を下の数値に設定しています。1や−0.5は、入力から突然出てきた数ではなく、この行列の中の重みです。実モデルでは、これらの数字を学習で調整します。
$\underbrace{\begin{bmatrix}1 & 2 & 3 & 4\end{bmatrix}}_{\text{連結した入力}}\;\times\;\underbrace{\begin{bmatrix}1&\textcolor{#8a4d00}{0}&0&0\\0&\textcolor{#8a4d00}{1}&0&1\\0&\textcolor{#8a4d00}{0}&1&0\\0&\textcolor{#8a4d00}{-0.5}&0&0\end{bmatrix}}_{W_O}\;=\;\underbrace{\begin{bmatrix}1&\textcolor{#8a4d00}{0}&3&2\end{bmatrix}}_{\text{出力}}$
式が収まらない場合は、式の上を横にスクロールできます。
出力の第2成分には、色を付けた第2列を上から順に使います。4つの入力 $[1,2,3,4]$ に、4つの重み $[0,1,0,-0.5]$ を1つずつ掛け、すべて足します。他の出力成分も、使う列が変わるだけです。
出力の第1成分使う重み：第1列を上から順に $\begin{bmatrix}1 & 0 & 0 & 0\end{bmatrix}$
$1\times1$ $+2\times0$ $+3\times0$ $+4\times0$ $=1$
出力の第2成分使う重み：第2列を上から順に $\begin{bmatrix}0 & 1 & 0 & -0.5\end{bmatrix}$
$1\times0$ $+2\times1$ $+3\times0$ $+4\times(-0.5)$ $=0$
出力の第3成分使う重み：第3列を上から順に $\begin{bmatrix}0 & 0 & 1 & 0\end{bmatrix}$
$1\times0$ $+2\times0$ $+3\times1$ $+4\times0$ $=3$
出力の第4成分使う重み：第4列を上から順に $\begin{bmatrix}0 & 1 & 0 & 0\end{bmatrix}$
$1\times0$ $+2\times1$ $+3\times0$ $+4\times0$ $=2$
どの出力成分も「4回掛けて、4項を足す」計算です。この例の第2列には0でない重みが2つあるので、第2成分では2つの項が0にならずに残ります。第2成分だけ別の計算ルールがあるわけではありません。
Linearの結果：これがAttention全体の出力
成分11成分20成分33成分42
連結では数字を並べただけでした。Linearでは、学習する係数を使ってヘッドの成分を組み合わせます。この例では第2成分に、両ヘッドの数 $2,4$ を使っています。
3
Add & Norm / 足し算と正規化
元の入力を足し、中心と広がりをそろえる
Add：同じ番号の成分同士を足す
迂回する矢印で残しておいた、元の入力
成分11成分20成分31成分40
前のカードで計算した、Attentionの出力
成分11成分20成分33成分42
足した結果（成分1なら 1＋1、成分2なら 0＋0）
成分12成分20成分34成分42
Attentionの計算結果を元の入力に足す経路を残差接続と呼びます。元の入力が、Attentionの計算を通らずに足し算へ届く経路を作ります。
Norm：いま足した4成分の中心と広がりをそろえる
① この4つの数の平均を求める
「眠る」の4成分だけを足して、4で割ります。平均は 2。別のトークンの数は使いません。
② 各成分から、平均 2 を引く
平均より小さい数はマイナス、大きい数はプラスになります。これで数列の中心が0にそろいます。
平均との差
成分10成分2-2成分32成分40
③ ばらつきの大きさ 1.414 で、各成分を割る
平均との差を同じ数で割り、数列の広がりをそろえます。Softmaxのように合計を1にする処理ではありません。
Normの結果：この数列をFFNへ渡す
成分10成分2-1.414成分31.414成分40
「ばらつきの大きさ」はどう計算した？
平均との差をそれぞれ2乗すると、次の数になります。
$\begin{bmatrix}0 & 4 & 4 & 0\end{bmatrix}$
その平均が 2。0で割ることを防ぐ小さな数0.00001を足し、平方根を取ると 1.414 です。この値で各成分を割っています。
$\sqrt{2+0.00001}\approx1.414$
数の大きさの変動を抑え、学習を進めやすくする処理です。LayerNormには、成分ごとに掛ける係数 $\gamma$ （ガンマ）と足す数 $\beta$ （ベータ）もあります。各Normが別々に持つ学習パラメータで、通常はガンマを1、ベータを0から学習します。この章の2か所のNormでは、すべて $\gamma=1,\;\beta=0$ に固定しているため、上の数列はそのままです。
4
Feed Forward / FFN
成分を増やす → 負の値を0にする → 成分数を戻す
何のために、4 → 6 → 4と変える？
途中の6成分は、元の4成分から作る6通りの計算結果です。それぞれ別の係数で掛けて足し、ReLUで負の結果を0にします。この複数の結果を組み合わせることで、単なる1回の行列の掛け算より複雑な変換を学習できます。
6は、この説明用に選んだ内部の成分数です。必ず6にする必要も、必ず増やす必要もありません。内部を広くするほど、ReLUを通す計算を多く持てますが、重みの数と計算量も増えます。
最後に4へ戻すのは、次のAddで、FFNに入る前の4成分と1対1で足すためです。戻すのは成分数で、数字を元に戻す処理ではありません。原論文では同じ考え方で512 → 2048 → 512にしています。
FFNの中にある、2つのLinearの重み
FFNはFeed Forward Networkの略です。このEncoder層のFFNには、Attentionとは別に、次の2組の学習パラメータがあります。Wは掛ける重み行列、bは掛け算の後に足すベクトル（バイアス）です。添字の1・2はFFN内での順番で、ヘッド番号やEncoderの層番号ではありません。
1つ目のLinear：4 → 6
掛ける行列： $W_1$ （4行×6列）
足す数： $b_1$ （6成分）
4成分から、6通りの掛け算と足し算
→ ReLU →負の値を0にする
学習する重みはない
2つ目のLinear：6 → 4
掛ける行列： $W_2$ （6行×4列）
足す数： $b_2$ （4成分）
6成分を組み合わせ、4成分を計算
$W_1,W_2$ も、通常は別々の乱数で初期化して学習します。 $b_1,b_2$ も学習対象ですが、初期値は実装によって0や乱数です。最終的な予測の誤差から、Attentionの重みと一緒に更新します。同じ層内の全トークンに同じFFNを使い、別の層のFFNは別の重みを持ちます。
ここからの数字は、計算を追うために手で設定した値です。学習済みの値でも、このページで学習させた結果でもありません。
前のカードから：Normの結果（4成分）
成分10成分2-1.414成分31.414成分40
① 1つ目のLinear：4成分から6成分を計算
この例の1つ目の重み行列とバイアスは、次の数値です。行列の1列が、出力1成分の掛ける係数を決めます。6列あるので、6成分を作れます。
$\underbrace{\begin{bmatrix}0 & -1.414 & 1.414 & 0\end{bmatrix}}_{\text{入力：4成分}}\times\underbrace{\begin{bmatrix}1&-1&0&0&\textcolor{#8a4d00}{1}&0\\0&0&1&-1&\textcolor{#8a4d00}{0}&1\\0&0&0&0&\textcolor{#8a4d00}{1}&1\\1&1&1&1&\textcolor{#8a4d00}{0}&0\end{bmatrix}}_{W_1:\;4\times6}+\underbrace{\begin{bmatrix}0&0&0&0&\textcolor{#8a4d00}{1}&-1\end{bmatrix}}_{b_1:\;6\text{成分}}\approx\underbrace{\begin{bmatrix}0&0&-1.414&1.414&\textcolor{#8a4d00}{2.414}&-1\end{bmatrix}}_{\text{結果：6成分}}$
式が収まらない場合は、式の上を横にスクロールできます。
例えば第5成分には、 $W_1$ の第5列 $[1,0,1,0]$ を掛け、 $b_1$ の第5成分である1を足します。
$0\times1+(-1.414)\times0+1.414\times1+0\times0+1\approx2.414$
掛けて足した結果：6成分
成分10成分20成分3-1.414成分41.414成分52.414成分6-1
② ReLU（レルー）：負の数だけを0にする
0以上の数はそのまま残します。下の各列で、変化の前後を比べてください。
成分100そのまま
成分200そのまま
成分3-1.4140負なので0
成分41.4141.414そのまま
成分52.4142.414そのまま
成分6-10負なので0
「負なら0にする」という分岐を挟むことで、行列の掛け算だけでは作れない変換ができます。すべてLinearだけなら、何段重ねても1つのLinearにまとめられてしまいます。
③ 2つ目のLinear：6成分を、4成分に戻す
前のReLUを通った6つの数を、そのまま次の掛け算に使います。上で説明した $W_2$ はこのLinearの掛ける重み、 $b_2$ は足すバイアスです。どちらも学習対象で、ここでは下の数値を手で設定しています。
$\underbrace{\begin{bmatrix}0 & 0 & 0 & 1.414 & 2.414 & 0\end{bmatrix}}_{\text{ReLU後：6成分}}\times\underbrace{\begin{bmatrix}1&\textcolor{#8a4d00}{0}&0&0\\0&\textcolor{#8a4d00}{1}&0&0\\0&\textcolor{#8a4d00}{0}&1&0\\1&\textcolor{#8a4d00}{0}&0&0\\0&\textcolor{#8a4d00}{0.5}&0&1\\0&\textcolor{#8a4d00}{0}&1&0\end{bmatrix}}_{W_2:\;6\times4}+\underbrace{\begin{bmatrix}0&\textcolor{#8a4d00}{0}&1&0\end{bmatrix}}_{b_2:\;4\text{成分}}\approx\underbrace{\begin{bmatrix}1.414&\textcolor{#8a4d00}{1.207}&1&2.414\end{bmatrix}}_{\text{結果：4成分}}$
式が収まらない場合は、式の上を横にスクロールできます。
6行あるので入力の6成分をすべて使い、4列あるので4成分を作ります。6成分のうち4つを選んで残す処理ではありません。
例えば出力の第2成分は、色を付けた第2列 $[0,1,0,0,0.5,0]$ を掛け、 $b_2$ の第2成分0を足して求めます。「第5成分の半分」になるのは、この列の5番目が0.5だからです。
$0\times0+0\times1+0\times0+1.414\times0+2.414\times0.5+0\times0+0\approx1.207$
FFNの結果：元と同じ4成分
成分11.414成分21.207成分31成分42.414
この間、使ったのは「眠る」の1行の数だけです。FFNは、1トークン内の成分を組み合わせて変換します。他のトークンのVを使ったAttentionとは、計算の範囲が違います。
ここまでを1つの式にまとめる
FFNに入る前の1トークンのベクトルを $h$ と置きます。括弧の内側から、1つ目のLinear → ReLU → 2つ目のLinearの順で計算します。
$\operatorname{FFN}(h)=\operatorname{ReLU}(hW_1+b_1)W_2+b_2$
5
もう一度 Add & Norm
FFNに入る前の数列を足し、もう一度そろえる
ここで足すのは、カード3の最後に得たFFNに入る前の数列です。Attentionに入る前の $[1,0,1,0]$ とは異なります。
FFNに入る前の数列を、そのまま残しておいたもの
成分10成分2-1.414成分31.414成分40
前のカードで計算した、FFNの出力
成分11.414成分21.207成分31成分42.414
同じ番号の成分を足した結果
成分11.414成分2-0.207成分32.414成分42.414
① この4つの数の平均を求める
「眠る」の4成分だけを足して、4で割ります。平均は 1.509。別のトークンの数は使いません。
② 各成分から、平均 1.509 を引く
平均より小さい数はマイナス、大きい数はプラスになります。これで数列の中心が0にそろいます。
平均との差
成分1-0.095成分2-1.716成分30.905成分40.905
③ ばらつきの大きさ 1.072 で、各成分を割る
平均との差を同じ数で割り、数列の広がりをそろえます。Softmaxのように合計を1にする処理ではありません。
Encoderの1層の出力：「眠る」の新しい4成分
成分1-0.088成分2-1.601成分30.845成分40.845
「ばらつきの大きさ」はどう計算した？
平均との差をそれぞれ2乗すると、次の数になります。
$\begin{bmatrix}0.009 & 2.945 & 0.82 & 0.82\end{bmatrix}$
その平均が 1.148。0で割ることを防ぐ小さな数0.00001を足し、平方根を取ると 1.072 です。この値で各成分を割っています。
$\sqrt{1.148+0.00001}\approx1.072$

この4つの数字が、そのまま次のEncoder層の「眠る」の入力になる

次の層へ渡す数列

成分1-0.088成分2-1.601成分30.845成分40.845

ここでPositional Encoding（位置情報）をもう一度足すことはありません。原論文では、埋め込みに位置情報を足すのは、最初のEncoder層に入る前の1回だけです。2層目以降は、前の層の出力をそのまま入力にします。

位置情報を足す場所と、N層を通る範囲

埋め込み＋ Positional Encoding位置情報を足すのはここだけ・N層の外側

N×：このEncoder層を、合計N層積む

各層の処理：Multi-Head Self-Attention → Add & Norm → FFN → Add & Norm

Encoder 1層目1層目の重みで計算する

↓ 出力をそのまま渡す

Encoder 2層目2層目の重みで、新しいQ・K・Vから計算する

↓ 同じ構成の層を順に通る …

Encoder N層目（最後）N層目の重みで計算する

↓ 全トークンの最終出力

DecoderのCross-Attentionへこの出力から、Cross-Attention用のK・Vを作る（第6章）

Nは、最初の層も含めた合計の層数です。原論文ではN＝6なので、いまの計算が1層目なら、続けて2〜6層目の残り5層を通します。各層の処理の構成は同じですが、重みは層ごとに別です。

次の層は、この数列にその層の $W_Q,W_K,W_V$ を掛け、新たなQ・K・Vを作ります。同じ処理を「猫」などすべてのトークンの行にも行います。Linear・FFNの重みは同じ層内で共通、Normの平均とばらつきは各行で別々に計算します。

原論文の図1では、Positional Encodingの足し算が「N×」の枠の外にあります。位置情報を加えた入力を各層が順に変換するので、後の層の計算もその入力に基づいています。出典：§3.5 Positional Encoding。

原論文の次元・数式との対応

説明用の例は2ヘッド×2成分を連結して4成分、FFNは4 → 6 → 4成分です。原論文のベースモデルは8ヘッド×64成分を連結して512成分、FFNは512 → 2048 → 512成分です。

ここでは全トークンの行をまとめた行列で書きます。入力をX、各ヘッドの出力を $Z_1,\ldots,Z_8$ 、出力側のLinearの結果をO、最初のAdd & Normの結果をH、このEncoder層の最終結果を $X_{\mathrm{next}}$ と呼びます。

O=\operatorname{Concat}(Z_1,\ldots,Z_8)W_O

H=\operatorname{LayerNorm}(X+O)

X_{\mathrm{next}}=\operatorname{LayerNorm}(H+\operatorname{FFN}(H))

この章は原論文の「足してから正規化する」順序です。Dropout（学習時だけ、処理結果の成分を一定確率で0にして過度な依存を抑える処理）は省略しています。出典：Transformer §3.1・§3.3、Layer Normalization §3。

表示は小数第3位までに丸めています。後続の計算は丸める前の値を使います。下の任意の8次元実験は別のモデルです。

第4章の計算を、Decoderの2つのAttentionにつなぐ

「猫」の行が、訳文を読み、原文を参照するまで。

第4章では、QとKから点数を作り、Softmaxで係数に変え、その係数でVを足しました。Decoderでも同じ計算を使います。新しく見るのは、どの位置を隠すかと、Q・K・Vをどちらの文から作るかです。

左：Encoderが読んだ原文

The cat sleeps .

4トークンの最終出力を保存しておく。Decoderは、この4行を参照する。

右：Decoderに渡す訳文側の列

開始猫は

今回は2行目の「猫」を追う。この行から次の「は」を予測するので、3行目の「は」は隠す。

学習時は、正解を右にずらした列をまとめて入力できます。上はその先頭3位置です。「猫」の行が使えるのは「開始・猫」まで。生成時に「は」をまだ選んでいなければ、入力自体が「開始・猫」までです。右シフトと生成の繰り返しは第8章で詳しく見ます。

ここからは、第6章専用の2次元の数値例です。

入力と重みは手で用意しています。第4章の操作結果・第5章の4次元出力・下の8次元実験とは別の例です。各Attentionを1ヘッドにし、出力側のLinearは数値を変えない行列に固定して、2種類のAttentionの間も同じ数値でつなぎます。

Masked Self-Attention → Add & Norm訳文の「開始・猫」から新しいベクトルを作り、元の入力を足して正規化する。
Cross-Attention → Add & Normいま作ったベクトルからQを作り、原文4位置のK・Vを使って更新する。
FFN → Add & Norm各行を加工して次のDecoder層へ渡す。ここでも第5章と同じ順序で足して正規化する。

表や長い数式が画面に収まらないときは、その部分を左右にスクロールして読めます。

1. 訳文側の入力から、Self-AttentionのQ・K・Vを作る

第1層なら、埋め込みに位置情報を足した行列が入力Xです。この例では、その段階の数値を次のように決めます。Q・K・Vはすべて同じXから作りますが、掛ける重みは3種類です。Selfは「同じ列を使う」という意味で、Q・K・Vが同じ数値という意味ではありません。

訳文側の行	入力X	Q	K	V
1：開始	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}0 & 1\end{bmatrix}$	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}2 & 0\end{bmatrix}$
2：猫	$\begin{bmatrix}0 & 1\end{bmatrix}$	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}0.5 & 1\end{bmatrix}$	$\begin{bmatrix}0 & 4\end{bmatrix}$
3：は	$\begin{bmatrix}1 & 1\end{bmatrix}$	$\begin{bmatrix}1 & 1\end{bmatrix}$	$\begin{bmatrix}1.5 & 1\end{bmatrix}$	$\begin{bmatrix}2 & 4\end{bmatrix}$

今回使うQは「猫」の $\begin{bmatrix}1 & 0\end{bmatrix}$ 。このQで各Kとの点数を計算し、「猫」の出力ベクトルを1つ作ります。「開始」「は」のQは、それぞれの行の出力を作るときに使います。

このQ・K・Vはどう出した？重みと掛け算を見る

下の3行列がこのSelf-Attention用の重みです。同じヘッド内では、3トークンすべてに同じ行列を掛けます。バイアス（掛け算後に足す数）は0です。

$W_Q$

\begin{bmatrix}0 & 1 \\ 1 & 0\end{bmatrix}

$W_K$

\begin{bmatrix}1 & 0 \\ 0.5 & 1\end{bmatrix}

$W_V$

\begin{bmatrix}2 & 0 \\ 0 & 4\end{bmatrix}

「猫」の入力は [0, 1]。行ベクトルと行列の掛け算なので、結果の第1成分には行列の第1列、第2成分には第2列を使います。

q=[0\times0+1\times1,\;0\times1+1\times0]=[1,0]

k=[0\times1+1\times0.5,\;0\times0+1\times1]=[0.5,1]

v=[0\times2+1\times0,\;0\times0+1\times4]=[0,4]

実際のモデルでは、この行列も学習で調整します。下で計算する「Attentionの重み」は、入力から毎回作る係数であり、ここでの重み行列とは別のものです。

2. 点数を作り、未来を隠してからSoftmaxに渡す

まず「猫」のQ = [1, 0]と各Kの内積を取ります。Q・Kは2成分なので√2で割ります。ここまでは第4章と同じです。そのあと、「猫」より後ろにある「は」の点数を −∞（負の無限大）に置き換えます。

参照する位置	QとKの内積	√2で割る	マスク後	Softmax
開始	1×1 + 0×0 = 1	0.7071	0.7071	58.7%
猫	1×0.5 + 0×1 = 0.5	0.3536	0.3536	41.3%
は（未来）	1×1.5 + 0×1 = 1.5	1.0607	−∞	0.0%

Softmaxの中で、未来の係数が0になる

各点数sを正の数 $e^s$ に変え、合計で割ります。 $e^{-\infty}=0$ なので、「は」は合計にも加わりません。

[e^{0.7071},e^{0.3536},e^{-\infty}]\approx[2.0281,1.4241,0]

合計は約3.4522。「開始」の係数は2.0281 ÷ 3.4522 ≈ 0.5875、「猫」は1.4241 ÷ 3.4522 ≈ 0.4125、「は」は0です。

点数を0にするだけでは隠せません。 $e^0=1$ なので、0の点数にも割合が残るためです。マスクは、Softmaxの前に適用します。

使えるVだけを足して、「猫」の出力にする

z_{\mathrm{self}} \approx 0.5875[2,0]+0.4125[0,4]+0[2,4]

第1成分は0.5875×2 ≈ 1.175、第2成分は0.4125×4 ≈ 1.6501。

\begin{bmatrix}1.175 & 1.6501\end{bmatrix}

これがMasked Self-Attentionの1ヘッドの「猫」の出力です。「は」のVは係数0なので、足し算の結果に入りません。

3行をまとめて見る：隠す場所は、出力の行ごとに違う

行は「どのQの出力を作るか」、列は「どのK・Vを参照するか」です。自分自身の位置も参照できます。

出力の行 ↓ ／参照先 →	開始	猫	は
開始	使える	隠す	隠す
猫	使える	使える	隠す
は	使える	使える	使える

このマスクで計算した係数の行列は次のとおりです。各行の合計は1で、右上の未来の位置は0です。

\begin{bmatrix}1 & 0 & 0 \\ 0.5875 & 0.4125 & 0 \\ 0.1882 & 0.2681 & 0.5437\end{bmatrix}

「は」が猫より高い点数1.5を持っていても、猫の行からは使えません。比較のため猫の行のマスクを外すと、係数は $\begin{bmatrix}0.3199 & 0.2246 & 0.4555\end{bmatrix}$ 、出力は $\begin{bmatrix}1.5508 & 2.7205\end{bmatrix}$ に変わります。未来の情報が混ざった結果です。

3. 元の入力を足して正規化し、Cross-Attentionへ渡す

第5章で見たAdd & Normです。本来は各ヘッドの出力を連結し、出力側のLinearを通してから足します。この例は1ヘッドで、 $W_O$ を $\begin{bmatrix}1 & 0 \\ 0 & 1\end{bmatrix}$ に固定しているので、出力は変わりません。

① Add：「猫」の元の入力 [0, 1] を足す

[0,1]+\begin{bmatrix}1.175 & 1.6501\end{bmatrix}\approx\begin{bmatrix}1.175 & 2.6501\end{bmatrix}

② Norm：この2成分の平均とばらつきで正規化する

平均は約1.9125。各成分から平均を引くと $\begin{bmatrix}-0.7376 & 0.7376\end{bmatrix}$ 。分散に小さな数0.00001を足し、平方根を取った約0.7376で割ります。

s_{\mathrm{dec}}\approx\begin{bmatrix}-1 & 1\end{bmatrix}

この例では、正規化後に掛ける係数γを1、足す数βを0に固定しています。−1と1に見える値も実際には少し違い、後続には丸める前の値を渡します。

Cross-AttentionのQの材料は、この新しい $s_{\mathrm{dec}}$ です。元の入力 [0, 1] や、先ほどのSelf-AttentionのQ [1, 0] をそのまま使うのではありません。訳文の前半を読んだ結果から、次のQを作り直します。

4. QはDecoderから、K・VはEncoderの最終出力から作る

原文を参照するAttentionを、Cross-Attentionと呼びます。出力を作りたい行は訳文側の「猫」のまま、参照先が原文の4位置へ変わります。左のEncoderから渡すのは、原文の各トークンが最後のEncoder層まで通ったベクトルです。

訳文側 → Qを作る

直前のAdd & Normの「猫」の行

\begin{bmatrix}-1 & 1\end{bmatrix}

↓ Cross-Attention用の $W_Q$ を掛ける

\begin{bmatrix}1 & 0\end{bmatrix}

このQを、原文の4つのKと比べる。

原文側 → K・Vを作る

Encoderの最終出力を並べた行列 $H_{\mathrm{enc}}$

\begin{bmatrix}0 & 0 \\ 1 & 0 \\ 0 & 1 \\ 0 & 0\end{bmatrix}

行は上から The・cat・sleeps・.。K用・V用の重みを別々に掛ける。

原文側の数値も、説明のためにここで用意した値です。catの行 [1, 0] などに英語の意味を学習させているわけではありません。Theと「.」を [0, 0] にしたのは、掛け算を追いやすくするためです。

原文の位置	Encoderの最終出力	K	V
1：The	$\begin{bmatrix}0 & 0\end{bmatrix}$	$\begin{bmatrix}0 & 0\end{bmatrix}$	$\begin{bmatrix}0 & 0\end{bmatrix}$
2：cat	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}2 & 0\end{bmatrix}$
3：sleeps	$\begin{bmatrix}0 & 1\end{bmatrix}$	$\begin{bmatrix}0 & 1\end{bmatrix}$	$\begin{bmatrix}0 & 4\end{bmatrix}$
4：.	$\begin{bmatrix}0 & 0\end{bmatrix}$	$\begin{bmatrix}0 & 0\end{bmatrix}$	$\begin{bmatrix}0 & 0\end{bmatrix}$

別々の材料に、どの重みを掛けた？

このCross-Attentionの重みは次の3つです。Self-Attentionの3つとは別のパラメータで、学習対象になります。説明用に同じ数値を置いた行列も、実際には別々に学習できます。

$W_Q$

\begin{bmatrix}0 & 1 \\ 1 & 1\end{bmatrix}

$W_K$

\begin{bmatrix}1 & 0 \\ 0 & 1\end{bmatrix}

$W_V$

\begin{bmatrix}2 & 0 \\ 0 & 4\end{bmatrix}

たとえば、丸めて書いた「猫」の行 [−1, 1] から作るQは、次の掛け算です。

q\approx[(-1)\times0+1\times1,\;(-1)\times1+1\times1]=[1,0]

原文catの [1, 0] にはK用・V用の行列を掛けます。Kは [1, 0]、Vは [2, 0] です。sleepsの [0, 1] からは、K = [0, 1]、V = [0, 4] を作ります。

Encoder内部で使ったK・Vを持ってくるのではありません。Encoderの最終出力から、このDecoder層のCross-Attention用のK・Vを新しく作ります。

5. 同じQで原文4位置を比べ、4つのVを足す

使うQは約 [1, 0]。計算手順は第4章と同じです。各Kとの内積 → √2で割る → Softmax → Vの加重和、と進みます。原文は最初から全文が与えられているので、原文の後ろの位置を隠す因果マスクは使いません。

原文の参照先	QとKの内積（概算）	√2で割る	Vに掛ける係数
The	1×0 + 0×0 = 0	0	19.9%
cat	1×1 + 0×0 ≈ 1	0.7071	40.3%
sleeps	1×0 + 0×1 = 0	0	19.9%
.	1×0 + 0×0 = 0	0	19.9%

① 4つの点数を、合計1の係数に変える

指数を取ると約 $\begin{bmatrix}1 & 2.0281 & 1 & 1\end{bmatrix}$ 。合計は約5.0281なので、catの係数は2.0281 ÷ 5.0281 ≈ 0.4034。ほかの3位置はそれぞれ1 ÷ 5.0281 ≈ 0.1989です。

The19.9%

cat40.3%

sleeps19.9%

.19.9%

Theと「.」は点数0ですが、係数は0になっていません。先ほどの「未来を隠す −∞」との違いです。

② 各Vに係数を掛ける

TheのV

\begin{bmatrix}0 & 0\end{bmatrix}

× 0.1989

\begin{bmatrix}0 & 0\end{bmatrix}

catのV

\begin{bmatrix}2 & 0\end{bmatrix}

× 0.4034

\begin{bmatrix}0.8067 & 0\end{bmatrix}

sleepsのV

\begin{bmatrix}0 & 4\end{bmatrix}

× 0.1989

\begin{bmatrix}0 & 0.7955\end{bmatrix}

.のV

\begin{bmatrix}0 & 0\end{bmatrix}

× 0.1989

\begin{bmatrix}0 & 0\end{bmatrix}

③ 4本を成分ごとに足すと、「猫」の行の出力になる

第1成分は0 + 0.8067 + 0 + 0。第2成分は0 + 0 + 0.7955 + 0。

\begin{bmatrix}0.8067 & 0.7955\end{bmatrix}

4つの原文位置を参照しても、できるのは訳文側の「猫」に対応する1本のベクトルです。2つの成分は語彙候補の点数ではありません。また、catの割合が大きいことだけで「正しく翻訳できた」とは判断できません。

6. 全行を並べると、訳文3行 × 原文4列の係数になる

「開始」「は」の行でも、それぞれのAdd & Normの結果からQを作り、同じ原文4位置のK・Vを使います。小文字sが1行のベクトル、大文字Sが全行を並べた行列です。

Q：訳文3行 × 2成分

\begin{bmatrix}-1 & 0 \\ 1 & 0 \\ 1 & 0\end{bmatrix}

K：原文4行 × 2成分

\begin{bmatrix}0 & 0 \\ 1 & 0 \\ 0 & 1 \\ 0 & 0\end{bmatrix}

V：原文4行 × 2成分

\begin{bmatrix}0 & 0 \\ 2 & 0 \\ 0 & 4 \\ 0 & 0\end{bmatrix}

Kを転置して掛けると、点数は3行×4列です。各行でSoftmaxを使い、次の係数Aを作ります。

訳文 ↓ ／原文 →	The	cat	sleeps	.
開始	0.2863	0.1412	0.2863	0.2863
猫	0.1989	0.4034	0.1989	0.1989
は	0.1989	0.4034	0.1989	0.1989

青い2行目が、上で追った「猫」の係数です。この行の4つの係数でVの4行を足すと、「猫」の出力2成分ができます。

係数A訳文3行 × 原文4列

V原文4行 × 2成分

＝

出力Z訳文3行 × 2成分

\begin{bmatrix}0.2823 & 1.1451 \\ 0.8067 & 0.7955 \\ 0.8067 & 0.7955\end{bmatrix}

出力の行数はQ側、成分数はV側にそろいます。原文と訳文のトークン数が同じでなくても、QとKの成分数がそろっていれば点数を計算できます。

7. 原文を参照した結果を、Decoderの残りの処理へ渡す

Cross-Attentionのあとにも、連結 → 出力側のLinear → Add & Normがあります。この例はここも1ヘッド・数値を変えないLinearです。足す元の入力は、Cross-Attentionに入る直前の「猫」のベクトルです。Encoderの原文ベクトルを直接足すわけではありません。

「猫」の行：Cross-AttentionのAdd & Norm

$\begin{bmatrix}-1 & 1\end{bmatrix}$ に $\begin{bmatrix}0.8067 & 0.7955\end{bmatrix}$ を足すと、 $\begin{bmatrix}-0.1933 & 1.7955\end{bmatrix}$ 。これを同じ方法で正規化した $\begin{bmatrix}-1 & 1\end{bmatrix}$ がFFNの入力です。

2成分だけの例では、Normの結果がどちらも約 [−1, 1] になります。これはこの数値例の性質です。実モデルで、原文を参照しても表現がいつも同じになるわけではありません。

FFN → Add & Norm第5章と同じく、各行をLinear → ReLU → Linearで加工し、FFNの入力を足して正規化する。
次のDecoder層へ全行をそのまま渡す。次の層では、その層の重みでQ・K・Vを作り直す。Cross-Attentionは、同じEncoderの最終出力を参照する。
最後のDecoder層のあと、語彙の確率へ最後のLinearとSoftmaxで、次トークンの候補に確率を付ける。Attentionの係数を作るSoftmaxとは別の処理。続きは第8章で見る。

3つのAttentionを整理し、原論文の式とつなぐ

図の場所	Qの材料	K・Vの材料	参照できる範囲
左：Self-Attention	Encoderの現在の入力表現	同じEncoderの現在の入力表現	原文の全位置
右下：Masked Self-Attention	Decoderの現在の入力表現	同じDecoderの現在の入力表現	訳文の自分の位置と、それ以前
右中央：Cross-Attention	直前のAdd & Normの結果	Encoderの最終出力	原文の全位置

「全位置」は有効なトークンの範囲です。長さをそろえる詰め物（padding）は、未来を隠す因果マスクとは別のマスクで隠します。この例にはpaddingはありません。

Cross-Attentionの材料を、訳文側は $S_{\mathrm{dec}}$ 、原文側は $H_{\mathrm{enc}}$ と書くと、次の式になります。添字のdecとencは、材料の出どころを区別する印です。

Q=S_{\mathrm{dec}}W_Q

K=H_{\mathrm{enc}}W_K,\quad V=H_{\mathrm{enc}}W_V

A=\operatorname{softmax}\!\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}\right),\quad Z=AV

Masked Self-AttentionはQ・K・Vを同じ入力Xから作り、Softmaxの前にマスク行列Mを足します。Mは使える位置が0、未来の位置が−∞です。

A_{\mathrm{self}}=\operatorname{softmax}\!\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}+M\right)

原論文のベースモデルは各Attentionが8ヘッドです。SelfとCrossは、それぞれのヘッドにQ・K・V用の重みを持ち、連結後の出力側の重みも別々に持ちます。この例は各1ヘッドでDropoutを省略しています。

わかったか確認：「猫」の行から、sleepsを参照してよい？

参照できます。sleepsは原文の3位置目ですが、原文は最初から全文が与えられています。隠すのは、訳文側で「猫」より後ろにある「は」です。原文と訳文の位置番号を比べて隠すのではありません。

数値は小数第4位まで、割合は小数第1位までに丸めています。計算には丸める前の値を使います。下の任意の数値実験は別の8次元モデルです。

同じ「眠る」の行で、横の計算と縦の計算を追う

ヘッドは並列に計算し、層は順番につなぐ。

第4章では1ヘッドの出力、第5章ではAttentionのあとの処理、第6章ではDecoderの2種類のAttentionを見ました。この章では、それらがいくつあり、何を次へ渡すのかを整理します。

h：1つのAttentionの中のヘッド数

同じ層の入力から、別々のQ・K・Vを作って計算する。結果は横に連結して、1つのAttentionの出力にまとめる。

N：順につなぐ層の数

AttentionだけでなくAdd & Norm・FFNまで通した出力を、次の層へ渡す。次の層は、その新しい入力で計算を始める。

この章専用の、2トークン・4次元・2ヘッドの例を使います。

「猫」「眠る」の入力と重みを手で用意しました。各ヘッドのQ・K・Vは2成分です。第4〜6章の数値を引き継いだものではありません。Encoderの1層を計算し、その結果から次の層のQを作るところまで追います。

横長の表や数式は、その部分を左右にスクロールして読めます。

1. 同じ入力を、2つのヘッドへ渡す

入力Xは、トークンごとのベクトルを行に並べたものです。この例では1行目が猫、2行目が眠る。第1層の手前で、すでに埋め込みと位置情報を足した段階の値だと考えます。

入力X：2行 × 4成分

\begin{bmatrix}1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 1\end{bmatrix}

同じXを両方に渡す

ヘッド1

このヘッド用の $W_Q,W_K,W_V$

猫・眠るの両方の行を計算する

ヘッド2

このヘッド用の $W_Q,W_K,W_V$

猫・眠るの両方の行を計算する

「猫用のヘッド」と「眠る用のヘッド」に分けるのではありません。どちらのヘッドも同じ2行を受け取り、それぞれ2行分の出力を作ります。ヘッド2の入力に、ヘッド1の出力を渡すこともありません。

2. 別々の重みで、Q・K・Vを作る

入力は同じでも、掛ける重みが違えばQ・K・Vは変わります。下は実際に掛け算した結果です。今回追う「眠る」の出力には、各ヘッドの「眠る」のQを使います。

ヘッド1の材料

行	Q	K	V
猫	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}2 & 0\end{bmatrix}$
眠る	$\begin{bmatrix}0 & 1\end{bmatrix}$	$\begin{bmatrix}0 & 1\end{bmatrix}$	$\begin{bmatrix}0 & 2\end{bmatrix}$

ヘッド2の材料

行	Q	K	V
猫	$\begin{bmatrix}0 & 1\end{bmatrix}$	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}1 & 0\end{bmatrix}$
眠る	$\begin{bmatrix}1 & 0\end{bmatrix}$	$\begin{bmatrix}0 & 1\end{bmatrix}$	$\begin{bmatrix}0 & 3\end{bmatrix}$

ヘッド1の「眠る」のQは [0, 1]、ヘッド2は [1, 0] です。Kのどの成分を点数に反映するかが違うので、Vを混ぜる割合も変わります。V自体も、別の重みから作った数値です。

6つの重み行列と、Qの掛け算を見る

各ヘッドはQ用・K用・V用の3行列を持ちます。2ヘッドなら合計6行列。ここではすべて4行×2列で、4成分の入力を2成分へ変換します。

ヘッド1

$W_Q$

\begin{bmatrix}1 & 0 \\ 0 & 1 \\ 0 & 0 \\ 0 & 0\end{bmatrix}

$W_K$

\begin{bmatrix}1 & 0 \\ 0 & 1 \\ 0 & 0 \\ 0 & 0\end{bmatrix}

$W_V$

\begin{bmatrix}2 & 0 \\ 0 & 2 \\ 0 & 0 \\ 0 & 0\end{bmatrix}

ヘッド2

$W_Q$

\begin{bmatrix}0 & 0 \\ 0 & 0 \\ 0 & 1 \\ 1 & 0\end{bmatrix}

$W_K$

\begin{bmatrix}0 & 0 \\ 0 & 0 \\ 1 & 0 \\ 0 & 1\end{bmatrix}

$W_V$

\begin{bmatrix}0 & 0 \\ 0 & 0 \\ 1 & 0 \\ 0 & 3\end{bmatrix}

たとえばヘッド2のQは、次のように計算します。

[0,1,0,1]\begin{bmatrix}0 & 0 \\ 0 & 0 \\ 0 & 1 \\ 1 & 0\end{bmatrix}=[1,0]

第1成分は0×0 + 1×0 + 0×0 + 1×1 = 1。第2成分は0×0 + 1×0 + 0×1 + 1×0 = 0です。ここでは計算を見やすくするため0の多い行列を使いました。実モデルでは、全入力成分を混ぜる重みを学習できます。

3. 各ヘッドで、点数 → 係数 → Vの加重和を計算する

使う手順は第4章と同じです。「眠る」のQと両方のKで点数を作り、Q・Kが2成分なので√2で割り、Softmaxを使います。Encoderの例なので、猫・眠るの両方を参照できます。

ヘッド1：「眠る」の出力

QとKの内積猫：0×1 + 1×0 = 0
眠る：0×0 + 1×1 = 1
√2で割る $\begin{bmatrix}0 & 0.7071\end{bmatrix}$
Softmaxで合計1の係数にする $\begin{bmatrix}0.3302 & 0.6698\end{bmatrix}$ 猫のVに33.0%、眠るのVに67.0%
係数をVに掛け、成分ごとに足す $0.3302\begin{bmatrix}2 & 0\end{bmatrix}+0.6698\begin{bmatrix}0 & 2\end{bmatrix}$

このヘッドの「眠る」の2成分

\begin{bmatrix}0.6605 & 1.3395\end{bmatrix}

ヘッド2：「眠る」の出力

QとKの内積猫：1×1 + 0×0 = 1
眠る：1×0 + 0×1 = 0
√2で割る $\begin{bmatrix}0.7071 & 0\end{bmatrix}$
Softmaxで合計1の係数にする $\begin{bmatrix}0.6698 & 0.3302\end{bmatrix}$ 猫のVに67.0%、眠るのVに33.0%
係数をVに掛け、成分ごとに足す $0.6698\begin{bmatrix}1 & 0\end{bmatrix}+0.3302\begin{bmatrix}0 & 3\end{bmatrix}$

このヘッドの「眠る」の2成分

\begin{bmatrix}0.6698 & 0.9907\end{bmatrix}

Softmaxの割り算を確かめる

0と1/√2を指数にすると、約1と2.0281です。合計3.0281で割ると、1 ÷ 3.0281 ≈ 0.3302、2.0281 ÷ 3.0281 ≈ 0.6698。ヘッド2では点数の順が逆なので、係数の順も逆になります。

どちらのヘッドでも、係数の順は「猫・眠る」です。出力の2成分の順は「第1成分・第2成分」で、トークン別の確率ではありません。

4. 同じ行の出力を連結し、出力側のLinearを通す

「眠る」の出力同士を横に並べる操作がConcatです。2成分 + 2成分で4成分になります。足し算や平均はせず、順に並べます。猫の出力を眠るの行に混ぜることはありません。

「眠る」の行を連結した結果

\begin{bmatrix}0.6605 & 1.3395 & 0.6698 & 0.9907\end{bmatrix}

左の2成分がヘッド1、右の2成分がヘッド2です。

次に、このAttentionが持つ出力側の重み $W_O$ を掛けます。Q・K・V用の重みとは別の行列で、両ヘッドの結果を混ぜて、層の入力と同じ4成分へ整えます。

出力側の重み

\begin{bmatrix}1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 1\end{bmatrix}

Linear後の出力O

\begin{bmatrix}1.3302 & 2.3302 & 0.6698 & 0.9907\end{bmatrix}

第1成分は、連結した第1成分と第3成分を足した0.6605 + 0.6698 ≈ 1.3302。第2成分は1.3395 + 0.9907 ≈ 2.3302。第3・第4成分は、そのまま残る重みにしました。

まだ1層が終わったわけではありません。ここまでで終わったのは、その層にあるMulti-Head Attentionの計算です。

5. Add & NormとFFNまで通して、1層を終える

第5章の処理を、いま計算した4成分に続けます。最初のAddで足すのは元の「眠る」の入力 [0, 1, 0, 1]。FFN後のAddでは、FFNに入る直前の値を足します。

1. Attentionの出力O

成分11.3302成分22.3302成分30.6698成分40.9907

2. Add：元の入力Xを足す

成分11.3302成分23.3302成分30.6698成分41.9907

3. Norm：4成分で正規化

成分1-0.5082成分21.5245成分3-1.1794成分40.1631

4. FFN：4 → 6成分のLinear

成分1-0.3451成分20.6713成分31.6876成分4-1.3614成分5-0.6876成分6-0.6549

5. ReLU：負の成分を0にする

成分10成分20.6713成分31.6876成分40成分50成分60

6. FFN：6 → 4成分のLinear

成分10成分20.6713成分32.6876成分40

7. Add：FFNの入力を足す

成分1-0.5082成分22.1958成分31.5082成分40.1631

8. Norm：この層の最終出力

成分1-1.2624成分21.27成分30.626成分4-0.6337

この層のFFN・Normに使った設定を見る

FFNの重みは第5章の説明例と同じものを使い、今回の新しい入力で再計算しています。前半のLinearではバイアスを足し、ReLUで負の成分を0にし、後半のLinearとバイアスで4成分へ戻します。

前半の重み：4行×6列

\begin{bmatrix}1 & -1 & 0 & 0 & 1 & 0 \\ 0 & 0 & 1 & -1 & 0 & 1 \\ 0 & 0 & 0 & 0 & 1 & 1 \\ 1 & 1 & 1 & 1 & 0 & 0\end{bmatrix}

後半の重み：6行×4列

\begin{bmatrix}1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 1 & 0 & 0 & 0 \\ 0 & 0.5 & 0 & 1 \\ 0 & 0 & 1 & 0\end{bmatrix}

前半のバイアスは $\begin{bmatrix}0 & 0 & 0 & 0 & 1 & -1\end{bmatrix}$ 、後半は $\begin{bmatrix}0 & 0 & 1 & 0\end{bmatrix}$ です。Normは各行で平均を引き、分散 + 0.00001の平方根で割ります。γ = 1、β = 0、Dropoutなしの説明例です。

次の層へ渡すのは、全トークン分の最終出力

行	成分1	成分2	成分3	成分4
猫	1.308	0.6344	-0.9712	-0.9712
眠る	-1.2624	1.27	0.626	-0.6337

猫の行も同じ1層の手順で計算しました。入力と同じ2行×4成分を保っているので、次の層へそのまま渡せます。

6. 次の層は、新しい入力と、その層の重みで始まる

第2層には、上の最終出力が入力されます。第1層の入力Xや、ヘッドごとの出力をそのままもう一度使うのではありません。位置情報をここで再び足すこともありません。

第2層・ヘッド1のQ用重み

\begin{bmatrix}0 & 1 \\ 1 & 0 \\ 0 & 0 \\ 0 & 0\end{bmatrix}

この例では、入力の第1・第2成分を入れ替えてQを作る行列を用意しました。第1層のヘッド1とは別の行列です。

第2層の「眠る」のQ

新しい入力の第2成分がQの第1成分、第1成分がQの第2成分になります。

\begin{bmatrix}1.27 & -1.2624\end{bmatrix}

第1層のQ [0, 1] とは違う値で、次のAttentionを始めます。

次は第2層のK・Vも作り直し、全ヘッドを計算 → 連結 → Linear → Add & Norm → FFN → Add & Norm、と進みます。この章で数値を追うのは、第2層の入口のQまでです。

「同じ構造をN層」は、「同じ重みをN回使う」ではありません。各層の各ヘッドに独自のQ・K・V用の重みがあり、出力側のLinear・FFN・Normのパラメータも層ごとに持ちます。

7. 原論文のN = 6、h = 8に戻して読む

原論文のベースモデルでは、1ヘッドのQ・K・Vは64成分、8ヘッドを連結すると512成分です。出力側のLinearも512成分を出すので、元の入力に足せます。

同じ入力
512成分→

Head 1
64成分Head 2
64成分Head 3
64成分Head 4
64成分Head 5
64成分Head 6
64成分Head 7
64成分Head 8
64成分

→連結：512成分
→ Linear：512成分

Encoder：合計6層

Self-Attention → FFN
各処理のあとにAdd & Norm

1層この層専用の重み2層この層専用の重み3層この層専用の重み4層この層専用の重み5層この層専用の重み6層この層専用の重み

Decoder：合計6層

Masked Self-Attention → Cross-Attention → FFN
各処理のあとにAdd & Norm

1層この層専用の重み2層この層専用の重み3層この層専用の重み4層この層専用の重み5層この層専用の重み6層この層専用の重み

Decoderの1層には、8ヘッドのMasked Self-Attentionと、別の8ヘッドのCross-Attentionがあります。各Decoder層のCross-Attentionは、同じEncoderの最終出力を、その層専用の重みでK・Vに変えます。

Nとhを取り違えていないか、数で確認する

Encoderは6層×各層1個で、Attentionの箱は6個。Decoderは6層×各層2個で12個。合計18個の箱が、それぞれ8ヘッドを持ちます。18×8 = 144はヘッドの総数で、144層という意味ではありません。

同じ各層の重みを使って、猫も眠るも、別の入力文も計算します。一方、別の層・別のヘッドには別の重みがあります。ヘッド数が入力の単語数によって増減するわけではありません。

複数ヘッドを持つと、必ず別の役割に分かれる？

別の重みがあるので、異なる割合やVを使う表現を学習できます。ただし「主語用」「動詞用」と人が担当を決めるわけではなく、必ず違う役割になる保証もありません。原論文ではヘッドを増やすときに各ヘッドの成分数を小さくして、全体の計算量を抑えています。

表示は小数第4位までに丸め、後続の計算は丸める前の値を使っています。次の章では、最後のDecoder層の出力を語彙の確率に変える計算へ進みます。

最後のベクトルから、次の1トークンを選ぶまで

「は」の行の2成分を、5候補の確率へ変える。

第7章までで、各トークンのベクトルが層を通って更新される流れを見ました。ここでは、最後のDecoder層を出たあとを追います。ベクトルの数値が、そのまま文字になるわけではありません。候補ごとの点数を作り、確率に変え、トークンを1つ選びます。

Decoderへの入力

開始猫は

原文は The cat sleeps .。訳文は「猫は」までできています。次に使うのは、入力の最後にある「は」の行です。

最後の層を通った「は」の行

\begin{bmatrix}-1 & 2\end{bmatrix}

この2成分から、次の「眠る」などの候補に点数を付ける。2成分は2つの単語の点数ではありません。

この章専用の2次元・5候補の説明例です。

最後のDecoderベクトルと出力用の重みは手で用意しています。第6・7章の出力を引き継いだ計算ではありません。この例のベクトルから先のLinear・Softmax・選択は、表示どおりに計算しています。

候補は「猫・は・眠る・。・終了」の5つに絞りました。「開始」は入力を始めるための専用トークンです。この5候補表には含めません。実モデルの語彙はもっと大きく、単語より小さな単位も含みます。

横長の表や数式は、その部分を左右にスクロールして読めます。

1. 最後のLinearで、2成分から5つの点数を作る

最後のベクトルをh、出力用の重みを $W_{\mathrm{vocab}}$ と呼びます。vocabは語彙を表す印です。1候補につき1列の重みがあり、hとの掛け算と足し算で、その候補の点数を1つ作ります。

入力成分 ↓ ／候補 →	猫	は	眠る	。	終了
成分1に掛ける	1	1	0	-1	0
成分2に掛ける	0	1	1	0	-1

h = [−1, 2] を、各列に掛けて足す

候補	第1成分の分 + 第2成分の分	logit
猫	（−1）×1 + 2×（0）	-1
は	（−1）×1 + 2×（1）	1
眠る	（−1）×0 + 2×（1）	2
。	（−1）×-1 + 2×（0）	1
終了	（−1）×0 + 2×（-1）	-2

この点数をlogit（ロジット）と呼びます。負でもよく、合計1である必要もありません。今回の点数は $\begin{bmatrix}-1 & 1 & 2 & 1 & -2\end{bmatrix}$ 。順序はずっと「猫・は・眠る・。・終了」です。

行列で見ると、2成分から5候補へ広がっている

[-1,2]\begin{bmatrix}1 & 1 & 0 & -1 & 0 \\ 0 & 1 & 1 & 0 & -1\end{bmatrix}=[-1,1,2,1,-2]

1行×2列のhに、2行×5列の重みを掛け、1行×5列の点数を作ります。実モデルなら512成分を語彙数V個の点数へ変えるので、重みは512行×V列です。

この重みは学習対象です。この例では掛け算後のバイアスを0にしています。Attentionの連結後に使った $W_O$ とは置かれる場所も役割も違います。

2. Softmaxで、5つの点数を合計1の確率に変える

第4章では、Softmaxで各Vに掛ける係数を作りました。ここでは語彙の5候補に対する確率を作ります。計算方法は同じでも、列が何を表すかが違います。

① 各logitを指数に変える $e\approx2.71828$ として、点数sを $e^s$ に変える。負の点数も正の数になる。
② 5つを足す合計は 0.3679 + 2.7183 + 7.3891 + 2.7183 + 0.1353 ≈ 13.3288。
③ 候補ごとの値を、その合計で割る眠るなら 7.3891 ÷ 13.3288 ≈ 0.5544。

候補	logit	指数を取る	合計で割る	確率
猫	-1	0.3679	0.0276	2.8%
は	1	2.7183	0.2039	20.4%
眠る	2	7.3891	0.5544	55.4%
。	1	2.7183	0.2039	20.4%
終了	-2	0.1353	0.0102	1.0%

今回、最も確率が高いのは「眠る」

55.4%です。ただし、これはこの例の重みと入力から計算された値です。「その文が正しい確率」や「モデルが理解した割合」ではありません。

式・計算の安定性・温度との対応

p_j=\frac{\exp(\ell_j)}{\sum_k\exp(\ell_k)}

ℓはlogit、jは注目する候補、kは合計に入れる全候補の番号です。実装では、指数を取る前に全logitから最大値を引くと、同じ確率のまま大きすぎる数を避けられます。このページの計算もそうしています。

温度Tを使う場合は、logitをTで割ってからSoftmaxを使います。正のTを小さくすると高い点数に確率が集中し、大きくすると平らになります。この主例はT = 1です。下の8次元実験で変化を試せます。

3. 確率から1トークンを選び、入力の末尾に追加する

Softmaxは確率を作るだけです。実際にどのトークンを出すかは、次の選択処理で決めます。ここでは最大確率の候補を選ぶ方法（greedy、貪欲法）で「眠る」を選びます。

今回の入力

開始猫は

最後の「は」の行で次を予測する。

「眠る」を選んだあとの入力

開始猫は眠る

次は、最後の「眠る」の行で続きを予測する。

追加するのは「眠る」のトークンIDです。確率ベクトルやhを、そのまま文字列に足すわけではありません。次の計算では、そのIDの埋め込みと新しい位置の情報を使い、Decoderの各層を通します。

最大確率以外の選び方もある？

確率に従ってランダムに選ぶサンプリングなら、今回も「眠る」以外を選ぶ可能性があります。複数の候補列を残して比較するbeam searchもあります。選び方によって文章が変わるので、確率を作る処理と、トークンを決める処理を分けて考えます。

4. 開始から終了まで、同じ重みで繰り返す

下の「次の1トークン」で、入力の末尾が増える様子を追えます。各回のlogitは、上と同じ出力用の重みから計算します。変わるのは、最後のDecoderベクトルです。

5回の生成を順に追う

原文はずっと The cat sleeps .。Encoderの最終出力を各回のCross-Attentionで参照します。

各回の最終Decoderベクトルは、生成の手順を示すために用意した固定値です。翻訳モデル全体を動かして得た値ではありません。そこから先の点数・確率・最大候補の選択は実際に計算しています。3回目が上で追った [−1, 2] の例です。

「終了」を選んだら、この例の生成は終わりです。開始・終了の専用トークンは、表示する訳文「猫は眠る。」には含めません。実際の生成システムでは、終了が出なくても最大トークン数などの条件で止めます。

毎回変わるもの・再利用できるものを分けて見る

対象	生成を1つ進めたとき
原文とEncoderの最終出力	同じ原文なので再利用できる
学習したモデルの重み	通常の生成中は固定。毎回学習し直さない
Decoderへの入力	選んだトークンが末尾に1つ増える
予測に使う最後の行	新しい末尾の位置へ移る
logit・確率	その行のベクトルから新しく計算する

実装では過去位置のK・Vを保存するキャッシュなどで計算を省けます。「毎回、長くなった入力から次を予測する」という依存関係は同じです。

5. 学習時は、正解を右に1つずらして入力する

学習では正解の訳文が分かっています。正解が「猫は眠る。」なら、開始・終了の専用トークンを使って次の2列を作ります。

位置	1	2	3	4	5
Decoderへの入力	開始	猫	は	眠る	。
当てたい正解	猫	は	眠る	。	終了

入力「は」の位置で、次の「眠る」を当てます。同じ位置に答えそのものを入れないための工夫が右シフトです。ただし入力の4位置目には「眠る」があるので、ずらすだけでは答えが見えてしまいます。

第6章の因果マスクと組み合わせる

開始：使える猫：使えるは：使える眠る：隠す。：隠す

「は」のQからは、自分の位置までの3つのK・Vだけを使えます。右シフトで入力をずらし、マスクで後ろを隠す。この2つで、次の正解を見ずに予測させます。

全位置の正解があるので、学習時にはこの5行の予測をまとめて計算できます。各行に違うマスクを使い、それぞれの「次」を当てます。生成時は次の入力トークンがまだ決まっていないため、選択と追加を1回ずつ進めます。

6. 正解に付けた確率から、学習するための誤差を作る

上の「は」の位置の正解が「眠る」なら、注目するのは「眠る」に付けた確率0.5544です。基本の交差エントロピーでは、この1位置の損失を $-\log p_{\mathrm{correct}}$ で計算します。logは自然対数です。

この例の1位置の損失

-\log(0.5544)\approx0.5899

正解の確率が0.9なら損失は約0.1054、0.1なら約2.3026。正解に低い確率を付けるほど、損失が大きくなります。

各位置で、次の候補の確率を計算する入力「開始」は猫、入力「猫」はは、入力「は」は眠る……と、正解が位置ごとに違う。
正解に付けた確率から損失を計算し、まとめるここでは1位置を拡大した。学習では多くの位置・文章の損失を集計する。
誤差逆伝播で重みを調整する最後のLinearからDecoder、Attention、Encoder、埋め込みへと、損失への影響を逆向きに計算する。

通常の学習では、選んだ単語を正解と比べるだけではなく、正解の確率そのものを使います。最大候補を選ぶ前の、連続した数値から重みの更新量を求めます。

これは基本の交差エントロピーを示した例です。原論文では、正解だけに確率1を割り当てる目標を少しなだらかにするlabel smoothingも使っています。上の損失はその追加処理を省略しています。

7. 入り口から出口まで、1本の流れとして読む

原文をトークン化 → 埋め込み + 位置情報 → Encoderの各層原文の位置ごとに、最終ベクトルが残る。
訳文の前半 → 埋め込み + 位置情報 → Decoderの各層Masked Self-Attentionで前半を読み、Cross-Attentionで原文を参照し、FFNで加工する。
最後の行のベクトル → 語彙へのLinear → Softmax原文位置を参照する係数から、出力候補を選ぶ確率へ、扱う数値の意味が変わる。
1トークンを選ぶ → 入力に追加 → 次へ終了条件まで繰り返し、トークン列を文字列に戻す。

埋め込み表と、最後の出力用重みはどう関係する？

埋め込み表Eは「語彙数×成分数」で、トークンIDを指定して1行取り出す表でした。出力側は「成分数×語彙数」の行列を掛け、全候補の点数を一度に作ります。原論文では、埋め込みと出力用の重みの数値を共有しています。

W_{\mathrm{vocab}}=E^{\mathsf T}

転置で行と列を入れ替えると、入力では表の1行を取り出し、出力では全候補のベクトルと内積を取れます。この章は出力用の行列だけを用意し、埋め込みから最後のhまでの計算は省略した例です。

わかったか確認：生成中、最終ベクトルが変わるたびに重みも学習する？

通常の生成では、重みは固定したままです。変わる入力から、新しいベクトル・点数・確率を計算します。正解の訳文を使って損失を計算し、重みを更新するのは学習の段階です。

表示は小数第4位まで、割合は小数第1位までに丸めています。計算は丸める前の値を使います。選択方法・学習の補足：原論文 §5.4（label smoothing）、§6.1（beam search）。

この章との対応：Transformer全体の流れ

原論文の図では、ここ

この章で扱う部分を緑で示しています。図は下から上へ読みます。

狭い画面では図を横にスクロールできます。左がEncoder、右がDecoderです。

この章で説明している部分

Vaswani et al. (2017), Attention Is All You Need, Figure 1をもとに再描画。強調色・日本語の注釈は当サイトによる追加です。

第1章と原論文の対応

図のここを見る

補足と、数値実験との違い

箱を迂回する矢印は残差接続。元のベクトルを処理結果に足します。Add & Normは、その加算とLayerNormを表します。

原論文と、このデモの違い

この表は各章の8次元実験についてです。第4章の2次元例・第5章の4次元例は、別に手で設定した説明用の計算です。

項目	論文のベースモデル	8次元の数値実験
構成	Encoder + Decoder	Decoder側を簡略化
繰り返し N	各6層	1層
埋め込み次元	512	8
ヘッド数	8	2
FFN内部次元	2048	16
学習	翻訳データで学習	固定乱数・未学習

この8次元実験はEncoderとEncoder–Decoder Attention（Cross-Attention）を省略しています。以下の式のd_modelはベクトルの成分数です。また、原論文の埋め込みへの $\sqrt{d_{\mathrm{model}}}$ の乗算、埋め込みと出力射影の重み共有、Dropoutは再現していません。この実験のLinearで掛け算の後に足すベクトル（バイアス）は0です。LayerNormで正規化した後に掛ける係数をγ、足す数をβと呼び、この実験では $\gamma=1,\ \beta=0$ です。

原論文のFigure 1を確認する（PDF・3ページ）↗

この章でつながったこと

Encoderは原文を読み、Decoderはその情報を参照しながら訳文を作る。

この次は

この実験の読み方　色はベクトルの値、線の太さはAttentionの重みを表します。Attentionの大きさだけで、意味の理解や予測の原因がわかるわけではありません。実際のモデルは学習した重みと多数のブロックを使います。

さらに読む：Q・K・Vの実験 · 位置情報の実験 · Attention Is All You Need ↗

Transformerを、入口から出口まで。

Encoder

Decoder

計算するのは、「眠る」に対応する新しいベクトル。

「1ヘッド」は、Attentionの計算を行う1つの経路

なぜ、ヘッドごとに別の重みを持つ？

1. 入力からQ・K・Vを作る

1行目：「猫」

2行目：「眠る」

各ベクトルを行に並べると、Q・K・Vの行列になる

「眠る」の入力からQを作る、2つの足し算

Qの第1成分

Qの第2成分

2. 「眠る」のQから、2つの係数と出力を計算する

② 「猫」のKは固定

② 「眠る」のKは固定

④ 「猫」のVは固定

④ 「眠る」のVは固定

全トークンについて計算すると、出力の行列Zになる

1ヘッドの出力は、このあとどこへ進む？

3. なぜQを「探す条件」と呼ぶのか

4. 重みを学習すると、この計算の何が変わる？

作り方が同じなのに、なぜQとKの役割が違う？

同じ種類の掛け算でも、返ってくる誤差が違う。

足す・並べる・掛ける。数列がどう変わるかを見よう。

掛ける数は、先に用意した重み行列から取る

Add：同じ番号の成分同士を足す

Norm：いま足した4成分の中心と広がりをそろえる

何のために、4 → 6 → 4と変える？

FFNの中にある、2つのLinearの重み

① 1つ目のLinear：4成分から6成分を計算

② ReLU（レルー）：負の数だけを0にする

③ 2つ目のLinear：6成分を、4成分に戻す

この4つの数字が、そのまま次のEncoder層の「眠る」の入力になる

「猫」の行が、訳文を読み、原文を参照するまで。

The cat sleeps .

開始 猫 は

1. 訳文側の入力から、Self-AttentionのQ・K・Vを作る

2. 点数を作り、未来を隠してからSoftmaxに渡す

Softmaxの中で、未来の係数が0になる

使えるVだけを足して、「猫」の出力にする

3. 元の入力を足して正規化し、Cross-Attentionへ渡す

① Add：「猫」の元の入力 [0, 1] を足す

② Norm：この2成分の平均とばらつきで正規化する

4. QはDecoderから、K・VはEncoderの最終出力から作る

訳文側 → Qを作る

原文側 → K・Vを作る

5. 同じQで原文4位置を比べ、4つのVを足す

① 4つの点数を、合計1の係数に変える

② 各Vに係数を掛ける

③ 4本を成分ごとに足すと、「猫」の行の出力になる

6. 全行を並べると、訳文3行 × 原文4列の係数になる

7. 原文を参照した結果を、Decoderの残りの処理へ渡す

「猫」の行：Cross-AttentionのAdd & Norm

ヘッドは並列に計算し、層は順番につなぐ。

h：1つのAttentionの中のヘッド数

N：順につなぐ層の数

1. 同じ入力を、2つのヘッドへ渡す

ヘッド1

ヘッド2

2. 別々の重みで、Q・K・Vを作る

ヘッド1の材料

ヘッド2の材料

ヘッド1

ヘッド2

3. 各ヘッドで、点数 → 係数 → Vの加重和を計算する

ヘッド1：「眠る」の出力

ヘッド2：「眠る」の出力

4. 同じ行の出力を連結し、出力側のLinearを通す

「眠る」の行を連結した結果

5. Add & NormとFFNまで通して、1層を終える

1. Attentionの出力O

2. Add：元の入力Xを足す

3. Norm：4成分で正規化

4. FFN：4 → 6成分のLinear

5. ReLU：負の成分を0にする

6. FFN：6 → 4成分のLinear

7. Add：FFNの入力を足す

8. Norm：この層の最終出力

次の層へ渡すのは、全トークン分の最終出力

Transformerを、
入口から出口まで。

開始猫は