いま、こんな売り込みが増えている——「製品テストやデザインの意思決定に、わざわざ実在のユーザーを集めるのは高くつく。AIに“仮想ユーザー（synthetic users）”を演じさせれば、安く速く答えが出る」。たしかに魅力的な話だ。でも、実在の2000人超と突き合わせた新しい研究が、その前提に冷や水を浴びせた。AIの選択は、人間の好みとかみ合わないのだ。
01何が分かったのか
研究のタイトルは「Distorted Perspectives of LLM-Simulated Preferences（LLMが模擬した好みの歪み）」。研究チームは、UXtweakというプラットフォーム上の29件の“好み比較テスト”に、実在の参加者2,073人を集めた。そして同じ選択を、LLM（大規模言語モデル）にも“人間のふりをして”選ばせ、両者がどれだけ一致するかを検証した。
結論から言うと、実在の人々の好みとLLMの模擬は、系統的に食い違った。しかも重要なのは、その食い違いが“操作を変えても一貫して”残ったこと。モデルに推論させたり、細かいペルソナ（人物設定）を与えたり、サンプリングをいじったり——いわゆる“工夫”をしても、ズレは埋まらなかった。スレッドの投稿主はこの結果を「一致率はおよそ53%、二択ならほぼコイントスと同じ」と要約している（数値はスレッドでのまとめ）。研究自身の言葉では、「人間の合成された理由づけには、本物の深み・ニュアンス・推論が欠けており、それを“ありきたりな特徴への注目”といったパターンで代用している」。
02なぜ外れるのか——「平均に寄る」問題
AIが人間の好みを当てられない理由は、実はAIの“得意”の裏返しだ。LLMは膨大な学習データの「平均的な、もっともらしい答え」を返すのが上手い。でも人間の好みは、その真逆——年齢、育ち、性別、地域、教育、その日の気分によってバラバラに割れる。コメント欄がこの核心を、みごとに言い当てていた。
面白いのは「ペルソナを足すほど悪化する」現象。もっと文脈を与えれば当たるはず——という直感に反して、細かい人物設定は、モデルに“それらしい理由”を並べる余地を与えるだけで、本物の実感からはむしろ遠ざかった。研究が言う「深みのない、ありきたりな理由づけ」だ。
03ただし、フェアな反論も
この研究を“AIは使えない”と早合点しないための、大事な視点もスレッドに出ていた。
実際、別のユーザーは「明確なガイドラインがある領域——たとえばiOSアプリの“Appleが推奨し、ユーザーも期待する作法”のような場面では、AIは十分役に立つ」と補足していた。“正解が決まっている”ことと、“好みが割れる”ことは別問題、というわけだ。
04つまり日本の読者にとっては
まず実務の注意点。「AIに1000人分のユーザー調査をやらせました」「仮想ユーザーがこの案を支持」——そういう触れ込みは、こと“好み・センス”に関しては、話半分に聞くのが賢い。今回の研究が示すように、そこは実在の人に聞く価値がある。本物のユーザーテストやアンケートを、AIで丸ごと置き換えるのは危うい。
一方で、AIを全否定する話でもない。“正解が定義できる”作業——規約やガイドラインへの適合チェック、定型的な要約、たたき台づくり——では、AIは相変わらず強い。要は、「決まった答えがある仕事」はAIに、「人の好みが割れる判断」は人間に。この住み分けを間違えないことが肝心だ。
そして、いちばん覚えておきたい原則。AIは“自信を持って一貫している”のが持ち味で、人間は“雑多にばらつく”のが本質。そして多くの場合、あなたが本当に知りたい答えは、その「ばらつき」のほうに隠れている。自分のタスクが、平均を求めているのか、それとも生身の多様性を求めているのか——そこを見極める目が、AI時代の実力になる。
