連載「次元の呪い」

公開順に読み進められる連載です。

1. スペクトラルクラスタリングで絡まった2つのリングを分けたら、k-meansはARI 0.08で壊滅した

   鎖のように絡まった2つのリング状データを、k-means・GMM・スペクトラルクラスタリング・DBSCANの4手法で2クラスタに分けさせた。距離ベースのk-meansはARI 0.08と壊滅する一方、グラフラプラシアンの固有ベクトルを使うスペクトラルクラスタリングは完璧に分離した。

2. カーネルトリックを実装したら、正解率0.57のドーナツ型データが3次元に持ち上げるだけで1.00になった

   カーネルトリックとカーネルSVMの仕組みを可視化した記録。2次元では正解率0.57しか出ないドーナツ型データが、z=x²+y²の3次元目を足すだけで線形SVMのまま1.00になる。gammaを振った過学習の検証つき。

3. 次元の呪いを実測したら、82倍あった最近傍と最遠点の距離比が300次元で1.21倍まで潰れた

   次元の呪い(curse of dimensionality)を実際に測った記録。次元が上がるにつれて最近傍と最遠点の距離差が消えていく現象を数値で確認し、高次元で距離ベースの手法が効かなくなる理由を示した。

4. 次元の呪いをマッチングアプリで実験したら、無関係な質問1問で最良の相手が31位まで埋もれた(hit@1は100%→23%)

   [次元の呪いの記事](/blog/curse-of-dimensionality-experiment/)の続編。マッチングアプリを模して、相性を決める3次元の「価値観」に無関係な質問をd次元追加するシミュレーションをした。雑多な質問が1問増えるだけで最良マッチの順位は平均31位まで転落し、200問でほぼランダム推薦と見分けがつかなくなった