AI・機械学習 用語辞典

このブログの記事に出てくる用語を、短く一般的な説明としてまとめています。教科書的な定義だけでなく、実際にコードを書いて確かめた実験記事もあわせて紹介しているので、「読んだだけ」で終わらせたくない方はそちらもどうぞ。

• Isomapアイソマップ

  Isomap(アイソマップ)とは、高次元データを低次元に圧縮する多様体学習(次元削減)手法の1つ。データ点どうしの直線距離ではなく、データが乗っている曲面に沿った「測地線距離」を保つように低次元へ写像する。

• Adamアダム(最適化アルゴリズム)

  Adam(Adaptive Moment Estimation)とは、ニューラルネットワークの学習で最もよく使われる最適化アルゴリズムの1つ。勾配の1次モーメント(移動平均)と2次モーメント(勾配の大きさの移動平均)の両方を使って、パラメータごとに学習率を自動調整する。

• 位置エンコーディングいちえんこーでぃんぐ(Positional Encoding)

  位置エンコーディングとは、Transformerモデルに単語の並び順(位置情報)を与えるための仕組み。Self-Attention自体は単語の順序を区別できない(置換不変)ため、各トークンの位置に応じたベクトルを別途加えることで順序の情報を補う。

• ε-greedy法イプシロン・グリーディ法

  ε-greedy法(イプシロン・グリーディ法)とは、強化学習やバンディット問題における「探索と活用のトレードオフ」に対する基本的な戦略。確率εでランダムな行動(探索)を、確率1-εで現時点で最も良いと分かっている行動(活用)を選ぶ。

• カーネルトリックかーねるとりっく(Kernel Trick)

  カーネルトリックとは、低次元では直線(線形の境界)で分けられないデータを、より高次元の空間に写像することで直線的に分離可能にする手法。SVM(サポートベクターマシン)などで使われる。

• 過学習かがくしゅう(Overfitting)

  過学習(Overfitting)とは、機械学習モデルが訓練データに対しては高い精度を出す一方、訓練に使っていない未知のデータ(テストデータ)に対しては精度が落ちてしまう現象。モデルが訓練データ固有のノイズやパターンまで学習しすぎることで起きる。

• 拡散モデル(DDPM)かくさんもでる(Diffusion Model)

  拡散モデル(Diffusion Model, DDPM)とは、データに徐々にノイズを加えていく過程(拡散過程)と、そのノイズを段階的に除去していく過程(逆拡散過程)を学習することで、純粋なノイズから新しいデータを生成する生成モデルの一種。

• GAN(敵対的生成ネットワーク)がん(Generative Adversarial Network)

  GAN(敵対的生成ネットワーク)とは、偽物のデータを作る「生成器」と、本物か偽物かを見分ける「識別器」の2つのネットワークを競わせながら学習させる生成モデル。生成器は識別器を騙せるように、識別器は騙されないように、互いに改善し合う。

• Q学習きゅーがくしゅう(Q-learning)

  Q学習とは、強化学習の代表的な手法の1つ。ある状態である行動を取ったときに将来得られる報酬の期待値(Q値)を推定し、それを更新し続けることで最適な行動方針を学習する。

• Grokkingグロッキング

  Grokking(グロッキング、日本語では「腑に落ちる」の意)とは、訓練データを完全に暗記した後も学習を続けると、長い停滞期間を経てある時点で突然テストデータへの汎化性能が跳ね上がる現象。

• 主成分分析(PCA)しゅせいぶんぶんせき(Principal Component Analysis)

  主成分分析(PCA)とは、高次元データのばらつき(分散)が最も大きい方向を新しい軸として選び直すことで、情報の損失をなるべく抑えながら低次元に圧縮する手法。線形の次元削減手法として最も基本的なものの1つ。

• Self-Attentionセルフ・アテンション(自己注意機構)

  Self-Attention(自己注意機構)とは、Transformerの中核をなす仕組みで、系列内の各単語(トークン)が他のどの単語をどれくらい重視すべきかを、Query・Key・Valueという3つのベクトルを使って計算する。ChatGPTなど現代の大規模言語モデルの基盤となっている技術。

• Dropoutドロップアウト

  Dropout(ドロップアウト)とは、ニューラルネットワークの学習中にランダムにニューロンの一部を無効化する正則化テクニック。過学習を防ぐ目的で使われ、「複数の小さなネットワークを同時に学習させ、その集団の意見をまとめている」というアンサンブル解釈で説明されることが多い。

• 二重降下(Double Descent)にじゅうこうか(Double Descent)

  二重降下(Double Descent)とは、モデルのパラメータ数を増やしていくと、テスト誤差が一度悪化したあと、さらにパラメータを増やすことで再び改善していく現象。「モデルは大きすぎると過学習で悪化する」という古典的な理解だけでは説明できない挙動。

• 破局的忘却(Catastrophic Forgetting)はきょくてきぼうきゃく(Catastrophic Forgetting)

  破局的忘却(Catastrophic Forgetting)とは、ニューラルネットワークが新しいタスクを学習すると、それ以前に学習していたタスクの性能が大きく、時には完全に失われてしまう現象。継続学習(Continual Learning)における中心的な課題。