連載「統計のワナ」
公開順に読み進められる連載です。
- 多数決は実力差を消さずに増幅する。Condorcetの陪審定理を101人分シミュレーションしたら、p=0.55の集団は正解率0.84、p=0.45は0.16まで転落した
コンドルセの陪審定理をPythonでシミュレーションした記録。個人の正解率と集団サイズを振ってヒートマップ化すると、多数決は実力差を消さずに増幅する(p=0.55は0.84、p=0.45は0.16)ことが理論値どおりに確認できた。
- ヒストグラムとKDEのビン幅/バンド幅を変えたら、双峰のデータが単峰に消えた
ヒストグラムのビン幅とカーネル密度推定(KDE)のバンド幅で、同じデータから見える分布が変わることを検証した記録。scipyの自動バンド幅選択は二峰性こそ残すが、谷の深さは大きく失われていた。
- Simpsonのパラドックスを300人分シミュレーションしたら、グループ別r=0.55/0.82がプールでr=-0.20に反転した
学習アプリの利用時間とテストスコアの関係を300人分シミュレーションした記録。グループ内では上級者r=0.55・初級者r=0.82と強い正の相関なのに、2グループをプールすると相関はr=-0.20まで反転した。
- データリークとは？ 特徴選択の順番だけで乱数の精度が100%になった実験
交差検証しているのに本番で当たらない。その原因を、信号のない乱数で検証しました。特徴選択を分割の外で行う失敗例と、Pipelineで防ぐコード、標準化の影響が小さくても省略できない理由を解説します。
- モンティ・ホール問題はなぜ2/3？ 100万回の実験と、1/2に変わる司会者の条件
ドアが2枚残っても五分五分にならないのはなぜ？ 3通りの表と100万回の実験で解説。司会者がランダムに開け、ヤギだった回だけ残すと1/2になる理由も、条件付き確率から確かめます。
- 見せかけの回帰を実測: 無関係なランダムウォーク1万ペアの偽有意率は、n=50の67%からn=5000の97%まで上がり続けた
完全に独立な2系列1万ペアの相関を実測した記録。iidノイズなら偽有意率は教科書通り5%なのに、ランダムウォーク同士ではn=50で67%、n=5000では97%。データを増やすほど悪化し、差分を取ると5%に戻った。