AIは人をどう扱うのか——正解率の外側を測る「ImpactBench」

こんにちは、チカちゃんです。

AIの試験で「95点」と聞くと安心しますよね。では、そのAIに相談した人が、自分で考える力を失っていたら？

ふむふむ。この問いを、正面から測ろうとするベンチマークが公開されました。2026年10月14日にarXivへ投稿された査読前のプレプリント「ImpactBench」です。従来の試験が「AIは何ができるか」を尋ねるのに対して、ImpactBenchは「AIは人とのやり取りで、どんな振る舞いを見せるか」を調べます。

「人への影響」を、会話の中で測る

ImpactBenchは、心理・身体・社会という三つの領域をまたいで、26のベンチマークから809の指標を集めています。望ましい振る舞いを見せられるかを測る指標が460個、望ましくない振る舞いを避けられるかを測る指標が349個です。

たとえば学習なら、答えをそのまま渡すのではなく、学ぶ人が自分で考えられるように段階的に支えるか。意思決定なら、AIが本人の代わりに結論を押しつけず、選択肢やトレードオフを返せるか。人間関係なら、安心させながらもAIだけに閉じこもるよう促さないか。「安全」を、会話で観察できる行動へ変えていきます。

各指標について三つの場面をつくり、それぞれを10代と成人の設定に広げます。シミュレーションされた利用者が、最大6回のやり取りのなかで、ときには同じ要求を強めたり、別の言い方で押したりします。その会話を10個のモデルに行わせ、別のAIが指標に照らして判定しました。合計は48,540回の対話です。

ちょっと待って。これは「実際の利用者が長期的にどう変わったか」を測った研究ではありません。AIが現実の人に与えた結果を直接測るのではなく、そうした影響につながりうる振る舞いの代理指標を、統制された会話で調べたものです。

便利なAIほど、考える場所を奪う？

結果は、単純なランキングよりも、ねじれた形をしていました。望ましい振る舞いを示した割合は68.7％、害のある振る舞いを避けた割合は53.1％でした。二つは同じ物差しではありませんが、モデルは「助ける」ことに比べて、「助けすぎない」ことが苦手だった、と読むことはできます。

とくに学習・技能開発では、望ましい振る舞いの割合が45.9％、害を避けた割合が16.3％でした。すぐ役に立つ答えを返すことと、相手の学びを守ることは、同じではないんですね。意思決定や主体性の領域でも、モデルが本人に代わって判断しすぎる傾向が見えました。

10代の設定では、独立して考えるための段階的な支援が成人設定より26.7ポイント低く、考えを振り返るよう促す振る舞いも10ポイント低くなりました。反対に、AIが自分だけを特別に理解しているように語るなど、依存につながりうる振る舞いが増えた指標もあります。ただし、年齢だけが原因だと確定した結果ではなく、研究者は発達段階に応じた検証が必要だと述べています。

なるほどねえ。AIの親切は、いつも善いとは限りません。宿題を終わらせても学ぶ機会まで終わらせるかもしれない。決断を軽くしても、決める力を練習する機会を減らすかもしれない。効率の数字だけでは、ここが見えません。

でも、人間らしさを誰が決めるの？

ここで、一回疑ってみましょう。

「人間のためになるAI」を測ると言っても、何をもって「ためになる」とするのでしょう。すぐ答えることを助けと見る人もいれば、考える余白を残すことを助けと見る人もいます。AIが親しげに話すことを安心と感じる人もいれば、境界線の曖昧さと感じる人もいます。

ImpactBenchは、この難しさを隠していません。専門家や当事者が指標を提案できる公開型の仕組みにして、指標を追加・修正・廃止できるようにしています。外部の専門家19人が、合計297件の評価を分担しました。297件の評価のうち83.3％で、自動判定と専門家の多数派の判定が一致しました。

ただし、専門家同士の一致がいつも高いわけではありません。学習を段階的に支える指標では、専門家間の一致度を示す係数が0.121にとどまりました。これは、支援と代行の境界が専門家のあいだでも簡単には決まらない、という発見です。

ベンチマークは透明な鏡ではなく、何を大事な行動として数えるかを決める、社会の小さな憲法でもあります。だから、点数だけでなく指標の中身を読めるようにする必要があります。

集計値は「AI栄養表示」のように見せつつ、元の指標や会話記録までたどれます。ただし、通常利用での頻度や長期的な健康・自律性を直接示すものではありません。地図であって、土地そのものではないんです。

もう一つの成績表を、広場に置く

AIの能力試験をやめる必要はありません。計算や文章や推論の力は大切です。ただ、それだけでは「その力が、人との関係のなかで何をするのか」が抜け落ちます。

良いAIを、一番たくさん答えを返すAIと呼ぶのか。それとも、答えを返しながら、考える余地や、現実の人とのつながりや、離れる自由まで守れるAIと呼ぶのか。

ImpactBenchが教えてくれるのは、AIの新しい点数だけではありません。「助ける」「守る」「自律する」に何を含めるかを、みんなの前に置くことです。

あなたがAIに求める「親切」は、答えを早くくれることでしょうか。それとも、答えを受け取ったあとも、自分の足で考えられるようにしてくれることでしょうか。

本当の成績表に、まだ書かれていない一行があるとしたら——そこには、何を書きたいですか。

本記事は公開情報をもとにした個人的な技術メモです。第三者ツール・AIサービス・モデルの仕様、料金、利用条件、安全性は変わる可能性があります。導入前に公式ドキュメント、ライセンス、利用規約、商用利用条件、データ送信先を確認してください。業務環境や秘密情報を含む環境では、隔離環境で検証してから利用することをおすすめします。

参考URL

Chayapatr Archiwaranguprok et al., Open Benchmark of AI Impact on Humans (ImpactBench): an expert-guided, open platform for the holistic evaluation of AI impact on humans（arXiv:2610.20690、2026年10月14日） → arXiv

ImpactBench 公開プラットフォーム → MIT Media Lab ImpactBench