連載「次元の呪い」

公開順に読み進められる連載です。

1. スペクトラルクラスタリングで絡まった2つのリングを分けたら、k-meansはARI 0.08で壊滅した

   鎖のように絡まった2つのリング状データを、k-means・GMM・スペクトラルクラスタリング・DBSCANの4手法で2クラスタに分けさせた。距離ベースのk-meansはARI 0.08と壊滅する一方、グラフラプラシアンの固有ベクトルを使うスペクトラルクラスタリングは完璧に分離した。

2. カーネルトリックを実装したら、正解率0.57のドーナツ型データが3次元に持ち上げるだけで1.00になった

   カーネルトリックとカーネルSVMの仕組みを可視化した記録。2次元では正解率0.57しか出ないドーナツ型データが、z=x²+y²の3次元目を足すだけで線形SVMのまま1.00になる。gammaを振った過学習の検証つき。

3. 次元の呪いを実測したら、82倍あった最近傍と最遠点の距離比が300次元で1.21倍まで潰れた

   単位超立方体に一様な2000点を置き、原点からの距離を測定。次元を増やすと最大距離/最小距離は82倍から1.21倍に。距離の集中が起きる条件と、分類への影響を確かめます。

4. 次元の呪いをマッチングアプリで実験したら、無関係な質問1問で最良の相手が31位まで埋もれた(hit@1は100%→23%)

   相性を3つの軸で定義した人工データに無関係な質問を追加。1問追加で最良候補の平均順位は31位に。次元の呪いと重み付けを調べるシミュレーションで、実際の恋愛の予測ではありません。