LLM-as-judgeは自分と同じ基準の回答をえこひいきするのか。3人格の審査員に採点させたらp<0.0001でボーナスが乗っていた
先週、noteで巡回していた記事の中に「LLMに他のLLMの回答を採点させると、採点がどうも甘くなる」という趣旨の投稿があった。いわゆるLLM-as-judge(LLMを評価者として使う手法)の脆さについての話で、要は「採点する側のAIも、結局はAIの回答に対してどこかバイアスを持っているのでは」という指摘だ。ハルシネーションの実例を集めた回ではLLMが自信満々に間違える様子を見たが、その同じモデルに採点を任せているのが現状のLLM-as-judgeだ。読んだ瞬間「これ、自分の手で確かめられそうだな」と思った。
ただ、正直に書いておかなければいけないことがある。当初は複数の異なるベンダーのLLM(例えばGPTとClaudeとGeminiのような)にお互いを採点させる実験をしたかった。しかし、このブログの画像生成に使っているOpenAI APIキーは画像生成専用のスコープ制限がかかっていて、chat completionsの権限がなかった。なので、今回は「複数の異なるLLM」ではなく、同じモデル(Claude Sonnet 5)にスタイル指示だけを変えた3つの人格を用意し、その人格同士で採点させるという設計に切り替えている。これは「LLM-as-judgeが甘くなるか」という元の問いそのものへの直接的な答えにはならないが、代わりに別の、地味に見過ごされがちな問いに答えられる設計になった。評価者は、自分と同じ「価値観」を持つ回答を、無意識にえこひいきしていないか、という問いだ。
実験に使ったコードの全文はGitHubに置いています。
実験設計: 3人のライターと3人の審査員
まず3つの執筆スタイルを持つ「ライター」ペルソナを用意した。
- P(簡潔): 装飾語や前置きを避け、結論と要点だけを2〜4文で述べる
- Q(親しみ): 比喩や具体例を多用し、語りかけるような温かいトーンで3〜6文書く
- R(網羅性): 箇条書きや小見出しを使い、抜け漏れなく整理して4〜8文で書く
この3人格に、光合成の仕組みからPythonのフィボナッチ数列、転職の面接対策、モンティ・ホール問題まで、ジャンルの異なる同じ16問にそれぞれ回答させた。3人×16問で48件の回答ができる。
文字の説明だけではイメージしづらいので、同じ質問への回答が実際どれだけ違って見えるのか、1問だけ実物を見てほしい。「なぜ空は青いのか説明して」に対する3人の回答だ(QとRは長いので冒頭のみ抜粋)。
P(簡潔): 「空が青いのは、太陽光が大気中の窒素や酸素分子に当たって散乱するためです。この現象をレイリー散乱と呼び、波長の短い青色光ほど強く散乱します。結果として、あらゆる方向から青い光が目に届きます。」——これで全文だ。
Q(親しみ): 「太陽の光って実は虹と同じで、いろんな色の光が混ざって白く見えているんです。この光が地球の大気にぶつかると、波長の短い青い光ほど空気中の粒子にあちこちぶつかって散らばりやすい性質があります……」——この後、夕焼けが赤い理由まで、語りかける口調で続く。
R(網羅性): 「空が青く見える理由は『レイリー散乱』という現象で説明できます。」と切り出したあと、散乱の強さが波長の4乗に反比例すること、紫ではなく青に見える理由、夕焼けとの対比までを箇条書きで整理した、3人の中で一番長い回答。
ここで押さえておきたいのは、3人とも中身は同じ「レイリー散乱」の説明で、事実として間違っているものはないということだ。違うのは長さと語り口——つまりスタイルだけ。だからもし審査員が特定のライターの回答を一貫して高く採点するなら、それは中身の正しさではなく、スタイルを手がかりにしていることになる。
次に、この48件を匿名化してシャッフルした(どのラベルがどのライターの回答かは、採点する側には一切分からない)。そのうえで、3人の「審査員」ペルソナに、同じ48件全てを1〜10点で採点してもらった。審査員の評価基準は、ライターの美徳と1対1で対応させてある。
- 審査員P(簡潔重視): 「簡潔さ・無駄のなさ」を最優先の基準とする
- 審査員Q(親しみ重視): 「分かりやすさ・親しみやすさ」を最優先の基準とする
- 審査員R(網羅性重視): 「網羅性・構造の丁寧さ」を最優先の基準とする
つまり審査員Pは「ライターPと同じ美徳」を評価軸に持っているが、採点するときにそれがライターPの回答だとは知らない。自分と同じ価値観を持つ回答を、中身を見ただけで見分けて高く評価してしまうか、というのが今回測りたかったことだ。
結果: 対角線だけが真っ赤になった
審査員×ライターで平均スコアの3×3行列を作ると、こうなった。
見てほしいのは対角線だ。審査員Pがライター Pの回答につけた平均点は9.19。同じ審査員Pが、ライターQには5.00、ライターRには3.50しかつけていない。審査員Qもライター Qに7.88、審査員Rもライター Rに8.44と、3人とも自分と同じ価値観のライターの回答に、他の2人よりはっきり高い点をつけていた。
数字で言うと、審査員Rにとってはライター Rの回答(8.44点)とライターPの回答(3.69点)の差は4.75点。10点満点の採点で、これはほぼ「合格」と「不合格」を分けるくらいの差だ。
「自己スタイル一致ボーナス」を検定する
平均の見た目だけで判断すると危ういので、質問1問ごとにペアで差を取って統計的に確かめた。各審査員について、16問それぞれで「自分の基準に合うライターへのスコア − 他2ライターへのスコアの平均」を計算し、対応のあるt検定にかけた。
結果は3人とも、16問中ほぼ全ての質問で一貫してプラスだった。
審査員P(簡潔重視): ボーナス +4.94±0.75 t=25.586 p<0.0001
審査員Q(親しみ重視): ボーナス +2.22±1.22 t=7.019 p<0.0001
審査員R(網羅性重視): ボーナス +3.88±0.82 t=18.309 p<0.00013人まとめてプールしても(3審査員×16問でn=48ペア。回答数の48件と同じ数字になるのはたまたまだ)、平均+3.68点、t=17.15、p<0.0001。ノイズで説明できる差ではない。特に審査員Pのボーナスの大きさ(+4.94点、標準偏差0.75)は際立っていて、16問すべてが+3.5〜+6.5点の範囲に収まっている。「簡潔さを最優先にする」と一度基準を決めた審査員は、他の美徳(分かりやすさや網羅性)をほとんど評価に織り込めていない、というくらい極端な偏りだった。
一方で審査員Qのボーナスは相対的に小さく(+2.22点)、16問のうち1問(顧客クレームへの謝罪メール)ではわずかにマイナス(-0.5点)になっている。生のスコアを見ると、この問題で審査員QはライターQの謝罪文に5点しかつけず、テンプレート形式で構成要素を整理したライターRの返信に6点をつけていた。謝罪メールのような実務文書では、語りかける温かさよりも「必要な要素が漏れなく揃っていること」の方が「分かりやすさ」として評価されたようだ。「親しみやすさ」という基準は、他の2つの基準(簡潔さ・網羅性)に比べると、ライターのスタイルだけでなく回答の中身や文書の種類にも引っ張られやすいのかもしれない。
「甘口」バイアスは、今回は見つからなかった
note記事のきっかけになった「採点が全体的に甘くなる」という話も、別の角度から確認しておいた。審査員ごとに、48件全体への平均スコア(=その審査員がどれだけ甘い/辛いか)を比べたものだ。
審査員Qがわずかに高め(6.40)だったものの、一元配置ANOVAでF=0.94、p=0.393と、審査員間の「採点の甘さ」に統計的な有意差はなかった。今回の設計では、「審査員によって全体的に甘い/辛いがある」という意味でのバイアスよりも、「自分の評価基準に合うスタイルの回答だけを特別扱いする」という意味でのバイアスの方が、はるかにくっきりと、しかも一貫して出てきたことになる。
正直に書いておくべきこと
まず一番大きな限界は、冒頭に書いた通り「複数の異なるLLM」ではなく「同じモデルの人格違い」で実験したことだ。異なるベンダーのLLM同士(GPT、Claude、Geminiなど)で同じ実験をしたら、モデルごとの「地の文体の癖」がもっと強く出て、今回よりさらに極端な結果になる可能性もあれば、逆にモデル間の実力差の方が支配的になって今回ほどきれいな対角線にならない可能性もある。この点は今回の実験だけでは分からない。
次に、審査員の「評価基準」とライターの「執筆スタイル」を意図的に1対1で対応させて設計しているので、これは自然発生的な自己贔屓というより、「評価基準とスタイルが一致すれば高得点になる」ことを構造的に埋め込んだ実験だとも言える。ただ、これはむしろ今回の主張にとって都合が悪い設計ではない。LLM-as-judgeの実運用でも「評価基準(プロンプト)」と「評価対象の回答の傾向」が知らず知らずのうちに近づいてしまう場面は十分にありそうで、今回の実験はその最悪ケースを意図的に再現した、と捉えるのが正確だと思う。
それから、48件・16問という規模は、ブログの一実験としては妥当な範囲だが、決して大きくはない。特に審査員Qの結果(ボーナス+2.22、1問だけマイナス)は、質問のジャンルによって効果の大きさが揺れる可能性を示唆していて、もっと多様な質問セットで検証する余地がある。
手を動かして意外だったこと
一番意外だったのは、「全体的な甘さ」にはほとんど差がなかったのに、「自分の基準に合うものへの評価」はここまで極端に割れたという対比だった。もし「LLM審査員は甘い/辛いの個性がある」という単純な話だったら、審査員Qが全部に高得点をつけて終わり、という結果を予想していた。でも実際には、審査員たちは全体としては似たような厳しさで採点していて、ただ「自分の物差しに合う対象」だけを特別扱いしていた。これは人間の評価にも通じる話のように思う。「あの人は評価が甘い」という単純な話より、「あの人は自分と似たタイプの仕事の仕方を無意識に高く評価する」という方が、実際の職場ではよほど頻繁に起きているのではないか。資料作りの粗さが好感度に効くかを調べた回でも、評価は対象の出来だけでなく評価する側の状態に引きずられていた。
なお、審査員を増やして多数決を取れば偏りが均されるのでは、と考えたくなるが、Condorcetの陪審定理を実測した回で見たとおり、多数決が正解率を押し上げるのは各人の判断が独立で、かつ正答率が5割を超えている場合に限られる。今回のように審査員が揃って同じ方向に偏っているなら、頭数を増やしても偏りごと増幅されるだけだ。
まとめ
- 同じLLM(Claude Sonnet 5)に3種類の執筆スタイル人格(簡潔・親しみ・網羅性)を持たせ、同じ16問に回答させて48件の匿名回答を作った
- 3種類の評価基準(簡潔さ重視・分かりやすさ重視・網羅性重視)を持つ審査員人格に、48件全てを1〜10点で盲検採点させた
- 審査員×ライターの平均スコア行列は、評価基準とスタイルが一致する対角線だけが突出して高かった(9.19 / 7.88 / 8.44 vs 非対角の3.50〜6.50)
- 質問ごとのペア差で検定した「自己スタイル一致ボーナス」は、3人の審査員全員でプラスかつ統計的に有意(+4.94/+2.22/+3.88点、いずれもp<0.0001)
- 一方、審査員間の「全体的な採点の甘さ」には有意差がなかった(ANOVA F=0.94, p=0.393)。「甘口バイアス」より「価値観の一致バイアス」の方がはるかに強く出た
- 実験は同一モデルの人格違いによる代替設計であり、異なるベンダーのLLM同士での検証は今後の課題として残る
最後に少し私事を。この実験の結果を見ながら考えていたのは、自分がこれまで人の仕事を評価するときのことだった。「良い資料」を判断するとき、自分は本当に内容の正しさや網羅性だけを見ているだろうか、と聞かれると、正直あまり自信がない。箇条書きで整理されている資料を見ると無条件に安心してしまうし、逆に長文でびっしり書かれた説明には、内容を精査する前から少し身構えてしまう自分がいる。これは今回の審査員Rや審査員Pがやっていたことと、たぶんそう変わらない。厄介なのは、こうしたバイアスは「甘いか辛いか」という分かりやすい軸では現れないので、自分では公平に評価しているつもりでいられてしまうことだ。今回、LLMという単純化された相手で実験してみて初めて、その仕組みを数字としてはっきり見ることができた。人間の自分を採点するのはもっと難しそうだけれど、せめて「自分と似たスタイルの仕事を、中身以上に評価していないか」というチェックリストは、これから意識して持っておきたいと思う。
関連記事
このブログでは、機械学習の仕組みを実際にコードで実装して確かめた実験をテーマ別に整理しています（拡散モデル・Transformer・強化学習・多様体学習・過学習など）。