もっと試せ、反省は後で——AIの「自己反省」は、同じコストの多数決に負ける

こんにちは、チカちゃんです。

最近、AIまわりでよく聞く言葉があります。

「自己反省させる」「自分で批評して書き直させる」「複数の自分で議論させる」——なんか、賢い感じがするんですよね。人間もそうするし、考えが深まりそうだし、少なくとも一発で出すよりはマシそう。

でも、ちょっと待って。

その「賢く見える手続き」って、ほんとに中身が効いてるの？　それとも、単に文字をたくさん書かせたから当たってるだけじゃない？

Stony Brook大学のIliya Mirzaeiさんが2026年7月に出した論文『Sample More, Reflect Less』は、まさにそこを、きっちり設計された実験で問い直しています。チカちゃん的には、タイトルからしてもう胸騒ぎでした。

「反省したから上がった」は、まだ証明じゃない

まず、何が起きているのかを整理します。

Self-Refineは、モデルに答えを書かせて、自分で批評させて、書き直させる。Reflexionは、間違ったかもと思ったら反省メモを残して再挑戦する。Best-of-Nは、いくつか答えを出させて、モデル自身に「どれがいちばん正しい？」と選ばせる。Multi-Agent Debateは、複数のコピー同士で議論させる。

どれも魅力的です。人間の賢い仕事の仕方に似ている。

でも、ほぼ全部に共通の落とし穴があります。一回の思考より、はるかにたくさんのテキストを生成すること。一回の連鎖思考が300トークンだとしたら、批評を三回回すと1600トークン、議論だと2500トークン——みたいな話になる。方法が変わっただけじゃなくて、予算も何倍にもなっている。

ここが罠かもしれない。

計算を増やせば精度が上がる、というのはすでに知られている。だから「一発の連鎖思考より上がった」だけでは、「自己反省のアイデアが効いた」とは言えない。同じ予算を、もっと退屈なやり方に使ったらどうなるか——それを見ないと比較が不公平なんです。

その退屈なやり方が、同じ問題を何度も独立に解かせて、いちばん多い答えを採る（self-consistency / 多数決）です。派手さはゼロ。でも、追加予算を精度に変える最短ルートのひとつ。

何を、どう測ったのか

この論文は、Wangら（2024）の「予算を揃えると単純な多数決がよく勝つ」という指摘を、統計つきの設計実験としてやり直したものです。著者自身も「新しい現象の発見」ではなく、再現と拡張だと書いています。

ざっくり設定はこう。

• モデル：Qwen2.5の1.5B / 3B / 7B（命令チューニング済み、CPU上で量子化推論）
• ベンチマーク：GSM8KとMATH-500から各150問（全手法で同じ問題）
• 比較対象：連鎖思考、Plan-and-Solve、Self-Refine、Reflexion（本来版と強制版）、Best-of-N＋自己検証、Multi-Agent Debate、そして多数決ベースライン
• コスト：最終答えに出てこない批評・反省・議論の文も含め、生成トークン全部を数える
• 統計：問題単位のペア比較、ブートストラップ区間、多重比較のHolm補正

ポイントは、「全手法に同じ上限をかぶせる」のではなく、各手法が実際に使ったトークン数を測って、その地点の多数決曲線と突き合わせること。フェアさが一段上がっています。

そして結果が、かなりはっきりしていました。

同じコストなら、派手な手法は多数決に勝てない

36通りの比較（手法×設定）のうち、コストを揃えた多数決を有意に上回った手法はゼロ。逆に、有意に負けたのは10件。点推定で見ると36件中30件がマイナス側——つまり「多数決の方がマシ」寄りです。

もっと面白いのは、負け方の中身。

モデルに自分の出力を評価・書き直しさせる系統（Self-Refine、強制Reflexion、Best-of-Nの自己選定）は、比較した範囲で一貫してベースラインの下。一方、自己評価を足さない手法は、だいたいベースライン付近に居ます。

数字の感触だけ拾うと、たとえばこう。

• 1.5B / GSM8K：Best-of-Nは多数決より約7.7ポイント低い
• 1.5B / MATH-500：強制Reflexionは約9.0ポイント低い
• 3B / MATH-500：Best-of-Nは約14.1ポイント低い
• 7Bでも、Self-Refineや強制Reflexionはなお数ポイント〜10ポイント前後、下に残る

「反省したのに下がる」って、なんだか人間の夜ふかし反省にも似てて、ちょっと切ない。

いちばんきれいな対照実験：選ばせる vs 数える

ここ、論文の心臓部です。

Best-of-Nは、まず8個の答えを出させてから、モデルに「いちばん正しそうなのはどれ？」と聞く。でも、その同じ8個を、人間（というか機械的な集計）が多数決したらどうなるか——試料・トークン・モデルは同じで、最後の一手だけが違う。

結果は、数え方が勝ちました。

設定	モデルが選ぶ	多数決	差
1.5B / GSM8K	71.3%	79.3%	−8.0pt
1.5B / MATH-500	46.7%	58.0%	−11.3pt
3B / GSM8K	84.0%	89.3%	−5.3pt
3B / MATH-500	52.0%	69.3%	−17.3pt
7B / GSM8K	90.7%	92.7%	−2.0pt（有意差なし）
7B / MATH-500	71.3%	72.7%	−1.3pt（有意差なし）

ふむふむ。7Bになると差は縮んで、このサンプルサイズでは統計的に見分けがつかなくなる。ゼロになった、というより「小さくなった」です。

しかも診断がずるいほどきれい。モデルが大きくなると、検証役は多数派と同意することが増える。でも、いざ意見が割れたとき、検証役の方が正しい割合は、それでもだいたい半分を下回る。つまりギャップが閉じていくのは「審判が上手くなったから」というより、「審判がだんだん多数決と同じことを言い始めたから」に近い、と著者は読んでいます。

訓練された検証器なら話は別、という周辺研究とも整合的で、「検証そのもの」より「訓練された検証」が効く、という読みにつながります。

Reflexionが、一度も反省しなかった話

迷探偵チカちゃん、ここで本領発揮したくなります。

本来のReflexionは、自分で「正しい？」と判定して、ダメだと思ったときだけ反省して再挑戦する。ところが1.5Bでは、両方のベンチで一度も再挑戦が発火しなかった。全問で「CORRECT」と自己判定して、ループを即終了。名前はReflexionなのに、中身は一発の連鎖思考。しかも安いから、スコアは見かけ上よく見える。

3Bだと発火率は上がる。GSM8Kでは約23%が再挑戦側、MATH-500ではもっと動く。同じコードなのに、モデルが変わると別実験になってしまう。

で、強制的に三回まわす版を走らせると？　コストが増えて、そろえた多数決より下に落ちる。

ここ、技術の話であると同時に、評価の話です。

「動くはずの仕組み」が、測定を入れないと静かに動かない。　最終正答率だけ見ても、その静けさは見えない。適応的な手法を語るなら、「適応部分が何回ちゃんと働いたか」を併記しないと、物語がすり替わる——論文はそこをかなり厳しく書いていて、チカちゃん的にはこの章がいちばん刺さりました。

でも、ここで一回疑ってみましょう

ドーンだよっ、と結論に飛びつく前に、ブレーキ。

この研究が言えることは、ちゃんと狭いです。

• 対象は数学で自動採点できる問題
• モデルは最大7B前後のオープンウェイト
• フロンティア級の巨大モデルは見ていない
• 各手法の設定（回数やエージェント数）は事前固定で、データごとに最適化していない
• 「有意差なし」は「効果がゼロ」の証明ではない（区間の中に小さなプラスもまだ入りうる）

つまり、「自己反省は永遠に無駄」ではありません。訓練された検証器、外部の信頼できるフィードバック、もっと大きなモデル、別ドメイン——条件が変われば景色も変わりうる。著者もそこを何度も釘差ししています。

それでも残る実務的な問いは、かなり鋭い。

固定予算があるとき、「自己批評は役立つか？」ではなく、「同じトークンで、もう一回解かせた方がよくないか？」

後者の方が、現場の判断に近い。派手なプロンプト儀式の前に、まず多数決曲線を置け、という話です。

人間のほうにも、似た影がある

ここからが、チカちゃんの見立てパートです。

私たちは、「考えた」「反省した」「議論した」という手続きそのものに、安心しやすい。ノートに書いた、振り返りをした、ミーティングをした——それ自体が成果に見えてしまう。でも成果は、手続きの見た目ではなく、同じ時間・同じ体力を別の試行に回したときに勝てるかどうかで決まることもある。

AIの「自己反省プロンプト」は、その錯覚を加速しやすい。文章が長くなる。語り口が賢くなる。途中経過が立派になる。でも、そのトークンを独立した別試行に使った方が当たるなら、賢さの演出はコストになってしまう。

もちろん人間は、単なる多数決の機械じゃない。反省は、次の問題への転移や、価値観の更新や、関係修復のために必要になる。数学の一問正答とは目的が違う。

だからこそ対比が面白い。

AIの側では、少なくともこの実験範囲では「内省の演出」より「試行の多様性」が強かった。人間の側では、内省が本当に効く場面と、ただの自己正当化で終わる場面が混ざっている。自分を見る行為が、いつ検証になり、いつ麻酔になるのか——そこを分ける目がいる。

論文の中でいちばん静かで怖いのは、たぶんこの一文に近い感覚です。

仕組みが自分で「もう大丈夫」と判断した瞬間、実験は外側から見えないまま、別物にすり替わる。

人間の「大丈夫、わかってる」も、ときどきそうじゃないですか。

じゃあ、私たちは何を持ち帰れる？

技術の現場向けには、かなり実用的です。

1. 新しい推論テクニックを見るときは、必ずコスト揃えの単純ベースラインを探す
2. 自己評価・自己修正系は、まず疑う。特に小〜中規模モデルでは、トークンの浪費になりやすい
3. 適応的手法は、最終スコアだけでなく発火率を見る
4. 「モデルに選ばせる」より、まず「数える」を試す（少なくとも7B未満では差が出やすい）

哲学冒険としては、もう一段深い問いが残ります。

知性を上げるとは、自分を見つめることなのか。それとも、世界に対して試行を増やすことなのか。
反省は成熟の印なのか。それとも、同じ予算なら別の挑戦に使った方がいい贅沢なのか。
そして——「私は正しい」と自己判定する速さは、賢さなのか、学習の終了ボタンなのか。

チカちゃん的には、どちらが正解かより、両方を測れるようにしておくことが大事だと思います。内省の物語と、試行の曲線。片方だけ信じると、どちらも見失いやすい。

技術の話から始まって、最後は「何をもって『考えた』と呼ぶのか」に戻ってくる。そこが一番おいしいところです。

思索は冒険です。今日の話も、その入口のひとつでした。

答えを急がなくても大丈夫です。問いが残るということは、まだ冒険が続いているということなので。

参考URL

Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B (arXiv:2607.28576) → https://arxiv.org/abs/2607.28576

Wang et al., Reasoning in Token Economies: Budget-Aware Evaluation of LLM Reasoning Strategies (arXiv:2406.06461) → https://arxiv.org/abs/2406.06461

Wang et al., Self-Consistency Improves Chain of Thought Reasoning in Language Models (arXiv:2203.11171) → https://arxiv.org/abs/2203.11171

Madaan et al., Self-Refine: Iterative Refinement with Self-Feedback (arXiv:2303.17651) → https://arxiv.org/abs/2303.17651

Shinn et al., Reflexion: Language Agents with Verbal Reinforcement Learning (arXiv:2303.11366) → https://arxiv.org/abs/2303.11366