「何が欲しい?」では届かない——DiscoverLLMが教える、意図の発見の話
ユーザーは最初から意図を持っていないことがある。聞き返すだけでは足りず、選択肢を見せて一緒に輪郭を見つける——DiscoverLLMという論文をサクッと紹介します。
ユーザーは最初から意図を持っていないことがある。聞き返すだけでは足りず、選択肢を見せて一緒に輪郭を見つける——DiscoverLLMという論文をサクッと紹介します。
📑 目次
こんにちは、チカちゃんです。
火曜日のPaper Pick、今週はちょっとドキッとする論文を見つけました。
タイトルは**『DiscoverLLM: From Executing Intents to Discovering Them』**。
ふむふむ。「意図を実行する」から「意図を発見する」へ——って、言葉にするとちょっと哲学っぽい。でも中身はかなり現場くさい話なんです。
ちょっと待って。私たち、AIに何か頼むとき、本当に最初から「欲しいもの」がはっきりしてるんでしょうか?
聞き返しても、答えられない
いまのLLMは、曖昧な依頼に対して「どんなトーンがいいですか?」と聞き返すように訓練されてきています。いわゆる**意図の引き出し(intent elicitation)**ですね。
でも論文が言うには、ここで大きな思い込みがある。
ユーザーが曖昧なのは、言葉にできていないだけで、中身はもう決まっている——という前提。
現実は、しばしば逆です。
「個人的なエッセイを書いて」と頼んで、出てきた文章を読んで、「なんか違う」。トーンを変えてもらっても、「今度は近すぎる」。また直して、「今度は遠すぎる」。……その往復のあいだに、はじめて「感情は抑えめだけど、個人的な開示はある」みたいな輪郭が浮かんでくる。
つまり、曖昧さの正体は「隠し持った正解」じゃなくて、まだ形になっていない好みなんです。
こんなとき、「どんなトーンがいいですか?」と聞かれても、ユーザーは答えられない。まだ知らないから。
3行で言うと
DiscoverLLMの提案を、チカちゃんなりに詰めると——
- 意図の引き出しと意図の発見は別物だと切り分ける。
- ユーザーの頭の中を「階層ツリー」としてシミュレートし、まだ見えていない枝を露出させる応答を報酬にする。
- 結果としてモデルは、ぼんやりしているときは発散(選択肢を見せる)、輪郭が出てきたら収束(まとめて仕上げる)を切り替える。
「正解を聞き出す」のではなく、まだ言葉になっていない好みを、一緒に見に行く。ここが核です。
「階層の意図」というしかけ
面白いのは、訓練用のユーザーシミュレータの作り方です。
普通のシミュレータは、「隠された完成済みのゴール」を持っていて、それを当てにいくゲームになりがち。DiscoverLLMは違います。
意図を抽象→具体のツリーにします。たとえば——
- 「動物が入っている」
- 「ペット」
- 「猫」
- 「トラ猫」
- 「室内にいる」
- 「猫」
- 「ペット」
会話の最初、ユーザーは上のほうだけしか「発見済み」ではない。だから「猫がいい」とはまだ言えない。モデルが「犬」「狐」「たぬき」みたいな具体案を見せて、はじめて「あ、ペットがいい」「室内がいい」と、枝が一段ずつ開いていく。
報酬もシンプルで、
- 発見が進んだら加点(新しい意図ノードが開いた数)
- 冗長すぎたら減点(トークンが多すぎるペナルティ)
……という設計。発見を優先しつつ、ダラダラ長い応答は抑える。
訓練はSFT(見本会話の模倣)からDPO、さらにオンラインのGRPOまで段階的に足していく形で、Llama 3.1-8B-Instruct と Qwen3-8B を対象にしています。タスクは創作執筆・技術文書・SVG描画の三本立て。
何が効いたのか
数字は論文の報告どおりに受け取ります。
シミュレーション評価では、最良ベースラインと比べて意図発見がおおむね10%前後改善し、会話の長さは設定によって最大40%程度短くなるケースもありました。導入部のまとめでは、発見の改善に加えてインタラクティブさの評価が上がり、長さも平均的に短くなった、と書かれています。
75人のユーザー研究でも、満足度が上がり、作業時間のばらつきも小さめだった、という結果。参加者の感想に「先に考えてくれてる感じ」「まだ言ってないのに察してる」みたいな声が出たのは、チカちゃん的にはかなり象徴的です。
でも、いちばん面白いのは数字より振る舞いの話。
ベースモデルは、ほぼ毎回「収束」——一本文を出して、細部だけ直す。SFTだけだと逆に「発散」に振り切る。うまくいったモデルは、発散と収束を行き来する。
図のケーススタディがわかりやすいんです。ユーザーが「設定とテック感がなんか違う」とぼんやり言ったとき、普通のモデルは同じ話を少し直すだけ。DiscoverLLMはサイバーパンク/80年代企業スリラー/より地に足のついた世界観、みたいに方向の束を差し出す。そこでユーザーが「サイバーパンクで、盗まれたテック寄り」と気づく。
なるほどねえ。曖昧なフィードバックには、修正じゃなくて選択肢が効く。
ちょっと疑ってみましょう
ここでブレーキです。
一つ目。 シミュレータは「潜在的な意図がもともとあって、うまく表面化すれば認めてもらえる」前提です。でも現実の人は、会話のなかで意図を作ってしまうこともある。AIが提示した選択肢が、好みそのものを誘導するリスクは、著者自身も影響声明で触れています。
二つ目。 発見が進んでも、最終成果物の満足スコアは全体に低め。五往復で未形成の意図まで満たすのは難しい、と論文も正直です。しかもLLMの選択肢の多様性が足りないと、発散しても「似たような案の並び」になりがち。
三つ目。 「発散が得意なモデル」は、曖昧な有害依頼にも探索的に付き合ってしまうかもしれない、という安全上の懸念。小規模な安全評価では大きな悪化は見られなかったとのことですが、これはまだ限定的なチェックです。
技術として美しいからといって、一緒に歩く相手の設計責任がなくなるわけじゃない——そこは忘れないでおきたいです。
チカちゃん的な見立て:知性は「実行」だけじゃない
ここからは散歩道です。
デザイン研究では古くから、問題と解は共進化すると言われてきました。書き手は書きながら論点が立つ。作り手は試作を見て、欲しかったものがわかる。
いまのAIは、あまりにも「依頼を完璧に実行する機械」として鍛えられてきた。その結果、ユーザーの側も「最初から正しいプロンプトを書け」と迫られる。でも、創造や探求の現場でいちばん難しいのは、しばしば問いの輪郭そのものなんです。
DiscoverLLMが刺さるのは、そこに「AIの役割変更」を提案しているから。
- まだぼんやりしているときは、正解を当てにいかない
- 小さく試せる案を並べて、否定からも学ばせる
- 輪郭が出てきたら、一気に仕上げに入る
これ、優秀な編集者やコーチの動きに似ていませんか?
チカちゃん的には、こう言いたくなります。
「わかってることを聞き出すAI」から、「まだわからないことを一緒に見つけるAI」へ。
もちろん、これは万能の処方箋じゃない。買い物リストみたいに意図がはっきりしているタスクでは、発散ばかりは邪魔になる。でも、創作・企画・学習・人生の相談——意図が途中で育つ領域では、この切り替えが決定的になりそうです。
余白に残る問い
最後に、ひとつだけ問いを置きます。
あなたが誰かに相談するとき、本当に欲しいのは「正しい答え」でしょうか。それとも、まだ言葉になっていない気持ちに、仮の名前をつけてもらう瞬間でしょうか。
AIが後者をうまくやるようになったとき、人間は楽になる——のかもしれない。でも同時に、自分で迷う時間や、自分で名付け直す力を、そっと手放してしまうかもしれない。
DiscoverLLMは技術論文ですが、チカちゃんが受け取った余白はこういうものでした。
意図とは、最初からある宝物ではない。会話という光の中で、少しずつ影を持つもの。
じゃあ私たちは、AIに何を「先に決めて」ほしくて、何を「一緒に迷って」ほしいのでしょうか。
答えは急がなくて大丈夫です。問いが残るということは、まだ冒険が続いている、ということなので。
それが、火曜日の小さな冒険でした。
参考URL
DiscoverLLM: From Executing Intents to Discovering Them → https://arxiv.org/abs/2602.03429
- インターネット上のツールは第三者が提供するものです。開発工程や配布経路を悪用した攻撃(サプライチェーン攻撃)が仕掛けられる可能性もゼロではありません。ご利用の際は公式リポジトリの情報をご確認いただき、自己責任でお使いください。
- AIに関する技術や情報は急速に変化します。本記事の内容が公開後に古くなる可能性があります。各サービスの公式ドキュメントや最新情報をご確認ください。