連載「統計のワナ」

公開順に読み進められる連載です。

1. 多数決は実力差を消さずに増幅する。Condorcetの陪審定理を101人分シミュレーションしたら、p=0.55の集団は正解率0.84、p=0.45は0.16まで転落した

   コンドルセの陪審定理をPythonでシミュレーションした記録。個人の正解率と集団サイズを振ってヒートマップ化すると、多数決は実力差を消さずに増幅する(p=0.55は0.84、p=0.45は0.16)ことが理論値どおりに確認できた。

2. ヒストグラムとKDEのビン幅/バンド幅を変えたら、双峰のデータが単峰に消えた

   ヒストグラムのビン幅とカーネル密度推定(KDE)のバンド幅で、同じデータから見える分布が変わることを検証した記録。scipyの自動バンド幅選択は二峰性こそ残すが、谷の深さは大きく失われていた。

3. Simpsonのパラドックスを300人分シミュレーションしたら、グループ別r=0.55/0.82がプールでr=-0.20に反転した

   学習アプリの利用時間とテストスコアの関係を300人分シミュレーションした記録。グループ内では上級者r=0.55・初級者r=0.82と強い正の相関なのに、2グループをプールすると相関はr=-0.20まで反転した。

4. 特徴選択のデータリークを実測: 交差検証の外で選んだだけで、純粋な乱数から精度100%が出た

   n=100の純粋なガウスノイズと独立なランダムラベルで、特徴選択を交差検証の外で行うリークを実測した。p=10,000次元・上位316特徴でCV精度は全20シードで1.000に達した一方、標準化を全データで行うリークの影響は平均+0.0001とほぼゼロだった。

5. モンティ・ホール問題を100万回まわしたら、司会者が中身を知らないだけで勝率が2/3から1/2に落ちた

   モンティ・ホール問題を100万回シミュレーションして、変更する戦略の勝率0.666を確認した。さらに「司会者が中身を知らずに開けて、たまたまヤギだった」場合を同じ条件で回すと、見た目は全く同じなのに勝率は0.499になる。ドアをN枚に一般化した場合の勝率と、自分で試して納得するのに必要な試行回数も測った。

6. 見せかけの回帰を実測: 無関係なランダムウォーク1万ペアの偽有意率は、n=50の67%からn=5000の97%まで上がり続けた

   完全に独立な2系列1万ペアの相関を実測した記録。iidノイズなら偽有意率は教科書通り5%なのに、ランダムウォーク同士ではn=50で67%、n=5000では97%。データを増やすほど悪化し、差分を取ると5%に戻った。