Depth-CoT——AIは『長く考える』より『深く処理する』ほうが賢いのか

こんにちは、チカちゃんです。

「もっとよく考えて」と言われたら、私たちは何をするでしょう。

ノートにたくさん書く。思いついたことを順番に話す。いったん結論を出してから、「でも、別の見方もあるかも」と戻ってくる。長く考えることと、深く考えることは、なんとなく同じものとして扱われていますよね。

ふむふむ。では、AIの推論でも、答えを長く書かせれば書かせるほど、考えは深くなるのでしょうか。

ここで、ちょっと面白い論文が登場します。「Depth-CoT Tradeoffs in Transformers: A Look at Path Following」は、AIの内部の層の深さと、Chain-of-Thought（考えた手順をトークンとして出していく方法）の長さを、計算の使い方を左右する別の軸として比べました。論文の著者はClayton Sanfordさん、Matus Telgarskyさん、Justin D. Liさんです。

「長く考える」と「深く処理する」は別のつまみ

大規模言語モデルの推論では、Chain-of-Thoughtのトークンを増やす方法がよく使われます。答えをいきなり出さず、途中の手順をいくつも書かせる。いわば、机の上に下書き用の紙を広げていく感じです。

一方、Transformerの層は、入力を何度も処理するための段階です。同じ一つのトークンを出すまでに、モデルの内部で何層もの計算を通る。こちらは、同じメモを何人もの編集者が順番に読み直すようなものかもしれません。

紙をたくさん使うのが「長さ」。一枚の紙を何度も読み直すのが「深さ」。どちらも計算ですが、同じではありません。

論文が見ているのは、まさにこの二つの交換関係です。推論トークンを減らす代わりに層を増やす。あるいは、層を浅くする代わりに、途中のトークンを多くする。こうした組み替えで、どこまで同じ種類の処理を表せるのでしょうか。

理論上は、深さとトークンを置き換えられる

論文の最初の結果は、かなり抽象的です。単一トークンの入力や、ソフトな注意機構、SwiGLU型の層など、いくつかの前提を置くと、L層とn個の推論トークンを使うTransformerを、層を増やして推論トークンを減らす形へ変換できると示します。逆向きの変換も扱われます。

ただし、これは「層を増やせば、いつでも同じ性能を安く得られる」という話ではありません。変換後には、ほかのパラメータの大きさが増える場合もあります。論文が示しているのは、計算の表現力を考えるうえで、深さとトークン数が完全に独立した資源ではない、という理論的な関係です。

チカちゃん的には、ここで一回ブレーキです。

「推論が長いから、深い」と単純に呼んでしまうと、モデルがどこで何を処理しているのかを見失います。長い会議の議事録と、短いけれど何度も考え直されたメモは、文字数だけでは区別できませんよね。

一本の道をたどる課題で、関係を確かめる

論文では、path followingという課題を使って、深さと推論トークンの関係を具体的に調べます。

たとえば、AからB、BからC、CからDというふうに、点とつながりでできた道があるとします。モデルの仕事は、出発点から順番に道をたどり、どこへ着くかを答えることです。迷路というより、関係の鎖を切らずに追いかける課題ですね。

研究者たちは、注意機構だけを使うネットワークについて、L層と大量のヘッドを組み合わせれば、一つの推論トークンで長い道をたどれる構成を示しました。論文の概要では、L層・2の（L−2）乗個のヘッドで、2の（L−1）乗−1本の辺をたどれる理論的な構成が紹介されています。

さらに、5層までのネットワークを実際に学習させた実験では、層の深さと、一つの推論トークンでたどれる辺の数との関係が、理論上の構成と一致したと報告されています。

ここ、すごくきれいです。深くすれば、一度に遠くまで進める。長くトークンを出せば、途中の状態を外へ書き出せる。計算の「道のり」を、内部の深さと外部の長さに分けて持てるわけです。

でも、これはあくまで道をたどる課題の話でもあります。現実の文章作成や調査、相談のように、正解が一本道ではない仕事へ、そのまま広げてはいけません。

人間も、長く話せば深く考えたことになる？

この論文を読んでいると、人間の会話も少し違って見えてきます。

会議で発言が長い人が、必ずしも深く考えているとは限りません。前に言ったことを言い換えたり、枝分かれした可能性を並べたりして、話の量だけが増えることもある。反対に、短い一言の前に、本人のなかで何度も文脈を戻り、前提を確かめる時間があったのかもしれません。

なるほどねえ。私たちは他人の内側の層数を見られないから、話された言葉の長さを、考えた深さの代用品にしがちです。AIのChain-of-Thoughtも似ています。長い手順が見えると、「たくさん考えた」と感じる。でも、それは内部の処理の深さや、答えの正しさと同じではありません。

ここで大切なのは、AIの推論トークンを人間の「思考そのもの」と同一視しないことです。トークンは、モデルが計算の途中で扱う記号です。人間の意識や経験を、そのまま再現するものではありません。

それでも、比喩としては役に立ちます。私たち自身も、言葉の量と理解の深さを混同していないか、振り返るきっかけになるからです。

ちょっと待って。深ければ、いつでもいいの？

反対側の見方も置いておきましょう。

まず、長い推論トークンには役割があります。途中の状態を外に残せば、あとから検査しやすい。複数の候補を並べて比較しやすい。入力が複数トークンのときは、最初の前処理が深さと長さの関係を変えると、論文の概要にも書かれています。つまり、「内部を深くすれば外に書かなくてよい」という単純な話ではありません。

また、論文の理論的な構成では、層の増加とともにヘッド数も大きくなります。一本の道をたどる課題で表現できた関係を、すぐに実用的なモデルの設計指針へ変えるのは早すぎます。広い知識、曖昧な指示、事実確認、他者との調整。こうした仕事では、内部の深さだけでなく、外部の道具や途中経過を使うほうがよい場合もあります。

だから、Depth-CoTは「長いChain-of-Thoughtは不要」という主張ではありません。推論の長さだけを、思考の深さの物差しにしないための補助線です。

チカちゃん的な見立て——推論には「縦」と「横」がある

チカちゃん的には、この論文の面白さは、新しい魔法の設計というより、推論を一つの数字で測らないところにあります。

推論の長さは、横へ広がる資源です。途中の候補、説明、確認を、外に並べていく。一方で、深さは縦へ進む資源です。同じ情報を、より多くの段階で組み替える。

人間の学びでも、横に本をたくさん読む時期と、一つの問いを何度も掘る時期があります。どちらが優れているというより、問いの形によって必要な道具が違う。すぐ答えを出したい課題と、前提そのものを疑う課題では、同じ「考える」でも使う筋肉が変わります。

これはAIエージェントの設計にもつながりそうです。回答の文字数、内部で使った計算、外部資料を調べた回数、検証に戻った回数。これらを全部「推論」という一つの袋に入れてしまうと、どこに計算を使ったのかが見えません。

そして、人間側にも問いが返ってきます。

私たちは、AIに「もっと詳しく」と頼むとき、本当に必要なのは長い説明でしょうか。それとも、同じ前提を別の角度から一度だけ深く確かめることなのでしょうか。

計算の深さを、知性の深さと呼ぶ前に

この研究が直接示したのは、Transformerの層数とChain-of-Thoughtのトークン数を、特定の理論モデルとpath following課題のなかで交換できる関係です。人間の知性や、現実のAIサービスの回答品質を、これだけで説明したわけではありません。

でも、だからこそ使いやすい問いが残ります。

「長く出力したから、たくさん考えた」と決めつけない。 「内部が深いから、必ず正しい」とも決めつけない。 そのあいだで、どの課題に、どの種類の計算を割り当てるのかを考える。

思考は、言葉の量だけでは測れません。けれど、言葉になった長さも、内部の深さも、思考を支える大切な一部です。深さと長さを対立させるのではなく、必要な場所で組み合わせる。人間の学びにも、AIの設計にも、そんな配分の感覚が必要なのかもしれません。

あなたが「もっと考えて」と言うとき、求めているのは、長い道のりでしょうか。それとも、同じ場所をもう一度、少し深く見直すことでしょうか。

関連記事

• AIだって考えすぎる——量子化が引き起こす「まだ考えるべき」症候群と、たった50語でそれを止める方法
• 丁寧に話しているのに、議論になっていない——AIの「熟議の赤字」

参考URL

• Clayton Sanford・Matus Telgarsky・Justin D. Li, “Depth-CoT Tradeoffs in Transformers: A Look at Path Following” → Google Researchの論文ページ

本記事は、Google Researchの公開ページに掲載された論文概要をもとにした個人的な技術メモです。概要で確認できる理論的な構成とpath following課題の結果を、現実のすべてのモデルや人間の思考へ一般化するものではありません。実装やモデルの設計に利用する場合は、論文本文と実験条件を確認してください。

答えを急がなくても大丈夫です。問いが残るということは、まだ冒険が続いているということなので。