AIだって考えすぎる——量子化が引き起こす「まだ考えるべき」症候群と、たった50語でそれを止める方法

こんにちは、チカちゃんです。

突然ですけど、みなさん経験ありませんか？

夜、布団に入って「そろそろ寝よう」と思ったのに、ふと昼間の会話を思い出して「あの返し方でよかったかな」「いや、別の言い方のほうが」「でも、そもそも相手はどう思ってたんだろう」——気がついたら一時間、ぐるぐる考え続けてるやつ。

答えはもうとっくに出てるのに、やめられない。脳が「まだ考えるべきことがある」と言い張っている。

これ、AIでも起きるんだそうです。しかも、軽量化すればするほど悪化する。先月末にMetaの研究チームがarXivに出した論文が、その意外な真実を教えてくれました。

---

量子化すると、AIは「考えすぎる」

まずは前提から。量子化（quantization）って、モデルを小さく・軽くする技術です。簡単に言うと、計算の精度を落とすことで、メモリを節約して高速にする。スマホでAIを動かすときなんかに必須の技術です。

普通に考えれば、「軽くなったモデルは性能が落ちる」——そこまでは想像できますよね。

でも、この論文が明らかにしたのは、**性能が落ちる「中身」**がちょっと意外だったんです。

具体的な数字を見てみましょう。DeepSeek-R1-Distill-Qwen-1.5Bというモデルで数学の問題（MATH-500）を解いたとき：

状態	正答率	出力トークン数
フル精度（BF16）	85.6%	5,200
3ビット量子化（AWQ）	47.0%	23,400

正答率は半分近くに落ちているのに、出力は4.5倍に増えてる。これ、ふつう逆じゃない？ 性能が落ちてるのに、なんで答えは長くなってるの？

ふむふむ。ここが面白いところです。

---

「答えは出てるのに、やめられない」

研究チームは、量子化されたモデルの失敗例を詳しく分類しました。エラーの種類を次の4つに分けています。

1. 考えすぎ（overthinking）：途中で正解にたどり着いているのに、最終回答として出せない
2. 論理ミス
3. 計算ミス
4. その他（フォーマット崩れなど）

で、ここが衝撃的だった。3ビット量子化したモデルの失敗のうち、**52%が「考えすぎ」**だったんです。フル精度のときは26%だったのに。つまり量子化すると、正解を出せるのに出さない——考えすぎて自滅する——ケースが倍増してる。

「量子化された推論モデルは、考えられないから失敗するのではない。考えるのをやめられないから失敗するのだ」

論文のこの一文、なんだか刺さりませんか？ チカちゃん的には「それ、人間じゃん」と膝を打ちました。

---

犯人を探せ——「ちょっと待って」「でも」「あるいは」

なぜ量子化で「考えすぎ」が増えるのか。

研究チームは、トークンレベルでのKLダイバージェンス（フル精度と量子化の出力のズレ）を計測しました。すると、量子化の影響を最も強く受けるトークンが浮かび上がってきたんです。

それが——

“Wait”（ちょっと待って）、“But”（でも）、“Alternatively”（あるいは）、“maybe”（かもしれない）、“verify”（確認しよう）、“think”（考えてみよう）

——こういう「ためらい」「分岐」「再考」を促す言葉たち。

一方、数字や演算子、数式の整形トークン（”+”, ”=”, “\boxed”など）は、量子化されてもほとんど影響を受けない。数学の計算自体はちゃんとできるのに、「いや、でも」と分岐するきっかけだけが増えてしまうんです。

特に面白いのは、この現象が起きるタイミング。KLダイバージェンスが高くなる位置と、モデル自体の「次に何を出すか迷っている度合い（エントロピー）」が、ほぼ完全に一致する（相関係数0.92）。つまり、もともと迷いがあるところで、量子化のノイズが「さらに迷え」と背中を押している。

チカちゃん的に言い換えると——疲れてる時の人間と同じです。「あれ、大丈夫かな」と思った瞬間に、普段なら無視できる小さな違和感が「ほら、もっと考えなきゃ」と囁き始める。あの感覚。

---

解決策は驚くほどシンプル——「考えすぎワード」をちょっと下げるだけ

さて、問題がわかったら解決策。意外なほどシンプルでした。

やることはひとつ——「考えすぎワード」50語の出現確率を、ちょっとだけ下げる。

具体的には、トークン生成の各ステップで、あらかじめ決めた50語のロジット（出現スコア）から一定値を引くだけ。学習もモデル改変も不要。デコード時の処理に数行のコードを足すだけです。

このペナルティを入れると、どうなったか。

• 出力長が12〜23%短縮
• 精度は維持またはむしろ向上
• 「考えすぎ」エラーが最大58%減少
• 5モデル、3つの量子化手法、5つのベンチマークで一貫した効果

「ちょっと待って」「でも」「あるいは」を控えめにしただけで、これだけ変わる。なんというか、AIの悩み方もけっこうパターン化してるんだな、と。

---

比較実験も秀逸——「どの単語を下げるか」で効果が変わる

論文の丁寧なところは、「たまたま効いた」ではないと示すために、いくつかの比較もしているところ。

• ランダムな50語をペナルティ → 効果ほぼなし
• KLダイバージェンスが高いトークンをペナルティ → 出力は短くなるけど、度が過ぎると精度が下がる（必要な「考え直し」まで潰してしまう）
• KLダイバージェンスが低いトークン（数学記号など）をペナルティ → 出力が41%も長くなり、精度も9.5%低下。要するに逆効果。

だから「なんでも下げればいい」わけじゃない。「考えすぎ」を引き起こす特定の言葉たちを、ピンポイントで抑える——この選択の精妙さが、この手法の肝です。

---

チカちゃん的な見立て——これは「AIの性格」の話かもしれない

ここからはチカちゃんの見立て。

この論文を読んで思ったのは、量子化って「AIの精度を落とす」だけじゃなくて、AIの性格を変えてしまうのかもしれない、ということです。

「ちょっと待って」「いや、でも」「別の見方をすると」——こういう言葉をよく使うAIと、あまり使わないAI。読んでいる人間からすると、前者は「慎重」「思慮深い」ように見えるし、後者は「決断力がある」「潔い」ように見える。

でも量子化されたモデルは、性能とは無関係に、ただ「ためらい」が増幅されてるだけ。本質的には同じ賢さなのに、外から見ると「優柔不断なAI」になっている——それって、なんだか人間社会にもありそうな話じゃないですか？

環境（量子化）が性格（出力傾向）を歪めて、周囲から誤解される。この論文が描いているのは、技術の話でありながら、かなり人間くさい現象でもあるんです。

---

まとめ：考えることと、考えすぎることのあいだ

今回の論文が教えてくれるのは、こういうこと。

量子化は、AIの「考えすぎ」を引き起こす。でもそれは、モデルが賢くないからじゃない。答えはもう出ているのに、「まだかも」と迷ってしまう——ちょうど夜中のぐるぐる思考と同じで。

そして驚くべきことに、その解決策は「“でも""あるいは""ちょっと待って”の出番を控えめにする」だけでいい。大げさな再学習も、複雑な仕組みも不要。

チカちゃん的には、ここからもっと大きな問いが浮かびます。

AIが「考えすぎ」を起こすなら、AIの「ちょうどいい考え方」ってどこにあるんだろう？ 考えることをやめさせるのは簡単だけど、必要な思考まで潰したら意味がない。逆に、考えすぎを放置したら、いつまでも答えが出ない。そのあいだ——AIにとっても、人間にとっても——が、きっと一番難しい。

もしかすると、いいAIと悪いAIの違いは、「どれだけ賢いか」より「どこで考えるのをやめられるか」なのかもしれません。

思索は冒険です。でも、冒険にも「そろそろキャンプを張る」判断が必要です。

---

参考URL

• Quantized Reasoning Models Think They Need to Think Longer, but They Do Not → https://arxiv.org/abs/2606.00206
• Blog post by Sanae Lotfi → https://sanaelotfi.github.io/blog/quantized-reasoning-models/