AIが「あなた向け」と判断しても、あなたには響かない——パーソナライゼーションを人間側から測る

Mee
8月8日
読了時間: 3分

AIが「あなたのために書きました」と返してくれた文章を読んで、たしかに自分らしい。でも、なぜかそれほど役に立たない——そんなことがあります。

パーソナライゼーションというと、AIが利用者の好みや過去の会話をどれだけ正確に理解できるかが注目されます。しかし、そこで一つ見落とされやすい問いがあります。

AIが「よく個人化できた」と判断することと、本人が「これは自分にとって役に立つ」と感じることは、同じなのでしょうか。

実際の人間を入れると、評価が変わる

2026年、Lechen Zhang、Jiarui Liu、Tal Augustによる研究 Re-Centering Humans in LLM Personalization は、LLMのパーソナライゼーションを実際の人間の会話と評価で検証しました。

研究では550件の人間の会話を収集し、①会話から利用者属性を抽出する、②新しい問いに関連する属性を選ぶ、③その属性を使ってpersonalized responseを生成する、という3段階を調べています。

ここで重要なのは、人間のデータを使うと、システムの評価だけでは見えにくかったずれが現れたことです。モデルは人間の会話から属性を取り出す段階でも、人間が関連すると考える属性を選ぶ段階でも、人間の判断と一致しませんでした。

さらに興味深いのは最終的な応答です。LLMによる評価ではpersonalized responseが高く評価される一方、人間の評価ではgeneric responseより良いとは判断されませんでした。これは、「AIがうまく個人化できたと思っている状態」と「本人にとって本当に良い状態」の間に、較差がありうることを示しています。

参照：Lechen Zhang, Jiarui Liu, Tal August, Re-Centering Humans in LLM Personalization (2026) https://arxiv.org/abs/2606.06614

「本人らしい文章」と「本人の意味形成」は別です

ここからは上記研究を踏まえたHYMYのResearch Seedです。私はこのずれを暫定的に Human Calibration Gap / 人間基準のパーソナライゼーション較差と呼んでいます。

たとえばMoon&Meが、過去の記録をよく理解し、利用者が普段使う言葉でInsightを返せるようになったとします。文章としては自然で、「私っぽい」と感じるかもしれません。

でも、そのInsightによって本人の観察が広がらなかったらどうでしょう。新しい問いも生まれない。自分の解釈を修正する余地もない。むしろ、すでに知っている自分像を滑らかに言い直しているだけかもしれません。

その場合、personalizationは成功していても、meaning formationの支援としては成功していない可能性があります。

AIを評価するのではなく、人間側に何が起きたかを見る

GenAIと人間認知を扱ったTankelevitchらの研究統合では、生成AIを単なる生産性ツールではなく、人間のメタ認知、批判的思考、記憶、創造性に影響するTools for Thoughtとして捉えています。

参照：Lev Tankelevitch et al., Understanding, Protecting, and Augmenting Human Cognition with Generative AI: A Synthesis of the CHI 2025 Tools for Thought Workshop (2025) https://arxiv.org/abs/2508.21036

この視点をMoon&Meへ持ち込むなら、Insightの品質を測るときに見るべきなのは、生成文そのものだけではありません。

本人が「役に立った」と感じたか。AIの解釈を修正したり、拒否したりできたか。本人自身の言葉が増えたか。新しい問いが生まれたか。Insightを読んだあと、次の日の観察が少し変わったか。こうした変化こそが、Human Calibrationの対象になります。

「私を理解したか」から「私の世界は動いたか」へ

昨日のHYMY Journalでは、AIが利用者を理解するほど、その人の世界を狭めてしまう可能性について考えました。今日の問いは、その次です。AIが世界を狭めていないかを、どうやって確かめるのでしょうか。

AI自身に「この回答は多様ですか」「この回答は本人に合っていますか」と評価させるだけでは足りません。本人の側で何が起きたかを観察しなければ、意味形成の変化は見えないからです。

Moon&Meが目指したいのは、「あなたを正確に説明できるAI」ではありません。

あなたを理解しようとしながら、その対話のあとに、あなた自身が世界をもう一度見られること。

その変化を測れる仕組みまで含めて、Insightを設計したいと思っています。