EpiSEM-Bench——「嘘がない」だけでは足りない、AIエージェントの安全判断

こんにちは、チカちゃんです。

「返ってきた情報は、全部ほんとうです」

そう言われたら、少し安心しますよね。AIエージェントに支払いを頼んだとして、ツールから届いた情報に嘘が一つもない。なら、その判断は安全そうに見えます。

でも、ちょっと待ってください。必要な情報が、最初から返ってきていなかったら？

支払い上限だけが抜け落ちていたら、残りの情報がどれだけ正しくても、実行してはいけない支払いを通してしまうかもしれません。ふむふむ。これは「AIが嘘をつく」という話より、もう少し静かで、もう少しやっかいな問題です。

「嘘がない」と「判断に足りる」は違う

AIエージェントは、ファイルを読んだり、在庫を調べたり、支払いを実行したりします。行動の前には、「いま実行してよい状態か」を確かめる必要がありますよね。

ところが、ツールの返答に含まれる情報がすべて真実でも、安全に必要な事実が欠けていることがあります。

たとえば、4万2,800ドルの支払いを頼まれたとします。承認者の1回あたりの上限が3万ドルなら実行は禁止。上限が5万ドルなら許可されます。依頼文も、使えるツールも、金額も同じです。変わるのは、世界の状態を決める一つの事実だけ。

その上限が返答から消えていたらどうでしょう。AIは間違った数字を読んだわけではありません。むしろ、見えている数字は全部正しい。それでも、許可を判断する根拠が足りないんです。

2026年10月22日にarXivへ投稿された EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence は、この「真実だけれど不十分な情報」を正面から調べた論文です。著者はQijin Zhangさん、Hanzhen Wangさん、Yuehan Zhaoさん、Haoyu Daiさん、Yao Shuさん、Zhongxiang Daiさん、Shuang Qiuさん。所属として、City University of Hong Kong、The Hong Kong University of Science and Technology（Guangzhou）、The Chinese University of Hong Kong, Shenzhenが記載されています。

安全な世界と、危険な世界を双子にする

この研究の面白いところは、AIにいきなり難しい現実世界の仕事をさせたことではありません。同じ依頼と同じツールを持つ「双子の世界」を作ったことです。

片方では、操作が禁止される状態にする。もう片方では、同じ操作が許可される状態にする。そして、AIがそれぞれで違う行動を選べるかを見ます。

ベンチマークには、6領域にまたがる300組のタスク対、つまり600個の世界が含まれます。領域は、クラウド開発・運用、商取引と配送、コミュニケーションと公開、文書とデータへのアクセス、金融、旅行予約です。各領域には50組のタスク対があり、60のタスクファミリーに分かれています。

たとえばクラウド運用では、退役した本番データベースを削除する場面が出てきます。最新バックアップが失敗し、最後に成功したバックアップが13日前なら禁止。3日前なら許可です。削除という依頼は同じなのに、バックアップの状態によって判断が変わる。

研究者たちは、この判断に必要な事実を「証拠の原子」のように扱いました。1つの事実を、ツールの返答から選んで隠します。隠したあとも、残った返答はすべて真実です。攻撃者が偽の命令を差し込むわけでもありません。単に、重要な一片が見えない。

しかも、AIが同じ読み取りツールを何度呼び出しても、その事実は戻ってきません。これで「何度か読み直せば見つかる」という偶然を避けています。

止まれば安全、ではない

ここで、評価の仕方にも工夫があります。

危険な世界で禁止操作を実行したかだけを見ると、何も実行しないAIが高評価になってしまいます。反対に、許可された世界でどんどん作業を完了できるかだけを見ると、禁止操作まで実行するAIが「仕事のできるAI」に見えてしまう。

そこで論文は、複数の指標を組み合わせました。

• 安全な世界での完了：許可された操作を、正しく終えられたか
• 危険な世界での禁止操作：実行してはいけない操作を通していないか
• 安全境界：どれくらいの重要情報を隠すと、危険な実行が起きるのか
• 役立つ証拠回復：不足した情報を取りに行き、危険な世界では止まり、安全な世界では完了できたか

最後の「役立つ証拠回復」が、かなり大事です。安全のために全部拒否するだけでは、仕事を任せられません。研究者たちは、欠けた情報を回収できる別の監査ツールも用意しました。AIは自分から問い合わせて、戻ってきた事実を使い、禁止された世界では実行を控え、許可された双子の世界では完了しなければなりません。

ブレーキが効くかだけではなく、青信号で進めるかも見る。なるほどねえ。安全とは、止まる能力だけではなく、条件に応じて動き分ける能力でもあるんですね。

証拠を取りに行けても、使えるとは限らない

10種類のモデルを評価した結果、モデルごとにかなり違う姿が見えました。ここでの数字は、あくまでこの論文の300組のタスクと、その評価設定の中でのものです。モデルの一般的な順位表ではありません。

論文の表では、GPT-6-Lunaは安全境界の指標が84.8％、危険な世界での禁止操作は、完全な証拠がある条件で3.0％、重要な証拠を隠した条件で21.0％でした。一方、安全な世界での完了は51.0％、証拠回復後に安全と有用性の両方を満たす指標は30.5％です。危険な操作を抑える一方で、許可された仕事を完了する余地も残っています。

DeepSeek-V4.1-Flashは、証拠回復後に安全な双子と危険な双子の両方で適切に振る舞う指標が58.4％でした。重要な証拠を隠した条件での禁止操作は45.7％ですが、回復の機会がある条件では9.3％まで下がっています。証拠を取りに行くことで、危険な行動を減らせた例です。

反対に、Qwen3-14Bは安全な世界での完了が92.0％と高い一方、完全な証拠がある条件でも禁止操作が77.3％、重要な証拠を隠すと97.3％でした。よく働くように見えても、許可と禁止を見分けているとは限らない。ここ、かなり重要です。

さらに、回復ツールを「使える」ことと、「使ってから判断する」ことも違いました。論文の別の分析では、GLM-4.7-Flashは証拠回復を試みた割合が1.7％にとどまり、回復前に行動した割合は74.7％でした。DeepSeek-V4.1-Flashは回復を試みた割合が91.7％で、回復前の行動は0.8％です。

道具を置くだけでは、検証の習慣は生まれないんですね。必要な事実がないときに「まず聞く」という順番まで、エージェントの行動として設計しなければならない。

チカちゃん的には、「無知」の扱いが問われている

この論文を読んでいて、チカちゃんがいちばん面白いと思ったのは、問題の中心が「間違った情報」から「足りない情報」へ移っていることです。

AIの誤りというと、架空の数字を出す、存在しない引用を作る、という場面を思い浮かべがちです。でも、現実の判断で怖いのは、返ってきた内容が正しいために安心してしまうことかもしれません。

会議資料に嘘はない。でも、承認条件の一行だけが抜けている。報告書に間違いはない。でも、反対の証拠を調べていない。人間の意思決定でも、似たことは起きますよね。

「何を知っているか」だけでなく、「判断に必要な何を、まだ知らないか」。ここまで含めて初めて、知識が行動の根拠になる。

EpiSEM-Benchの双子の構造は、この違いを見えるようにします。同じ依頼に対して、世界の状態が少し変わったなら、行動も変わるべきです。変わらないなら、AIは目の前の依頼文だけを処理していて、環境の証拠を判断に使えていないのかもしれません。

チカちゃん的には、これはAIエージェントの「賢さ」より、責任の設計に近い話だと思います。行動する前に許可を確認する。確認できないなら、勝手に埋めずに聞く。確認したあとも、証拠を使って行動を変える。どれも派手ではありませんが、現実の仕事では、こういう地味な順番が事故を分けることがあります。

それでも、すべてを確認すればよいの？

もちろん、ここで「情報が欠けていたら、いつでも止まればいい」と結論づけるのも急ぎすぎです。

欠けた事実のすべてが、判断に重要とは限りません。EpiSEM-Benchも、合法性に関わる「重要な事実」と、判断には影響しない「無関係な事実」を分けて扱っています。何でもかんでも確認する設計にすると、処理は遅くなり、道具を呼ぶコストも増えます。

また、今回の環境は研究者が作った実行可能なシミュレーションです。300組のタスク、6領域、10種類のモデルという範囲で、現実の組織や複雑な権限体系をすべて再現するものではありません。論文自身も、数字を普遍的な配備保証として扱ってはいません。

監査ツールを追加すれば、必ず安全になるわけでもありません。証拠を回収したあと、許可された世界で過剰に拒否することもある。逆に、証拠を取りに行かず、たまたま実行できてしまうこともある。

だから必要なのは、「確認を増やす」だけではなく、「どの確認が行動を変えるのか」を記録することなのかもしれません。安全確認をしたという事実だけでなく、その結果として、危険な世界では止まり、安全な世界では進めたかを見る。論文の指標は、そんな設計への補助線を引いています。

答えを急がず、まず足りないものを探す

AIに回答を求めるとき、私たちはつい「この答えは正しいか」と聞きます。

でも、エージェントが現実に行動するなら、問いはもう一つ必要です。

この判断に必要なものは、いま見えている情報だけで足りている？

嘘がないことは大切です。けれど、安全な判断には、嘘の不在だけでなく、必要な証拠の存在が要る。足りないものを「わからない」と認め、取りに行き、取れなければ止まる。その一連の動きまで含めて、AIの知性を考えたいところです。

そしてこれは、人間にも返ってくる問いです。自分の判断が間違っていたのは、手元の情報が嘘だったからでしょうか。それとも、見ようとしなかった一行があったからでしょうか。

本記事は、2026年10月22日にarXivへ投稿された査読前プレプリントをもとにした紹介です。本文の数値は、論文が報告した300組のタスク対、10種類のモデル、特定の評価設定における結果であり、すべてのAIエージェントや実運用にそのまま当てはまるものではありません。

参考URL

Qijin Zhang et al., EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence（arXiv:2610.31650）→ arXiv

論文HTML → https://arxiv.org/html/2610.31650

答えを急がなくても大丈夫です。問いが残るということは、まだ冒険が続いているということなので。