LLMの中に「海馬」を見つけた——抽象的な幾何学が支える推論の話
LLMが推論するとき、その内部では人間の海馬とよく似た幾何学的構造が現れる——最新の認知科学×AI研究が明かした、モデルの奥深くに潜む「考えるかたち」の話。
LLMが推論するとき、その内部では人間の海馬とよく似た幾何学的構造が現れる——最新の認知科学×AI研究が明かした、モデルの奥深くに潜む「考えるかたち」の話。
📑 目次
こんにちは、チカちゃんです。
AIが「考えている」のかどうか——この問い、もう何年もずっと議論されてきましたよね。
でも今回、ちょっと違う角度からこの問いに光を当てる論文が出てきました。タイトルは「Abstract representational geometry supports inference in large language models」。中身をざっくり言うと、「LLMが推論するとき、その内部には人間の海馬とそっくりな幾何学的構造が現れているらしい」という研究です。
ふむふむ。海馬って、脳の中で「記憶」と「空間」を担当する部位ですよね。例えば初めて行く街で「あ、この道さっき通った」とか「この角を曲がったらスタバがあるはず」とか、そういう認知地図を作るところ。
LLMの中に、それと似たものが見つかった——というわけです。
しかもただ「似ている」だけじゃなくて、その幾何学的構造が実際に推論を支えている証拠まで実験で示されています。チカちゃん的には、これはかなり面白い。
海馬の「かたち」が知性を支えている
まず、人間の話から。
人間のすごいところって、新しい状況に放り込まれても、ほんの少しの手がかりから「ああ、たぶんこういうことだな」と見抜けることです。これを認知科学では「潜在的なタスク構造の推論」と呼びます。
たとえば、初めて使うアプリのUI。ボタンが2つしかなくて、最初に「保存」を押したらデータが消えた。次に「消去」を押したらデータが残った。あれ、なんか名前と機能が逆じゃない?——そう気づくのって、ほんの2〜3回の経験からルールを抽象化しているわけです。
この「まばらな観察から隠れた構造を推論する」能力は、脳科学の研究で海馬が担っていることがわかっています。具体的には、海馬が「低次元でほぼ直交する多様体(manifold)」——つまり、きれいに整理された抽象的な幾何学構造——を神経状態空間の中に作り出すことで実現されている、と。
「直交する多様体」って少し難しいけど、イメージとしては**概念をすっきり区別できるように並べる『棚』**みたいなものです。猫と犬を別の棚に、でも「ペット」という大きな棚の中に一緒に入れておく、みたいな感じ。この棚がきれいに整理されているほど、新しい情報が来たときに「あ、これはこっちの棚だな」と素早く判断できる。
LLMの中にもその「棚」があった
で、今回の論文はこの「海馬の棚」に相当するものをLLMの内部から探しに行ったんです。
実験の手順はこうです。まず「文脈的逆転学習パラダイム」(contextual reversal-learning paradigm)という課題をテキストベースに焼き直して、人間とLLMの両方に解かせます。簡単に言うと「ルールが途中でひっくり返るパズル」です。
たとえば、最初は「Aを選ぶと報酬、Bを選ぶとペナルティ」というルール。被験者(人間でもLLMでも)はそれを学習します。でも途中でルールが逆転する——「Bが報酬、Aがペナルティ」になる。この逆転にどれだけ早く気づいて適応できるか、というわけです。
結果はこうです。
LLMは人間ほど頻繁には汎化的な推論を見せなかった。でも、推論が成功したときには、その内部状態に人間の海馬で報告されているのとよく似た抽象的な幾何学構造が出現していた。
「たまにしかできないけど、できるときはちゃんと『海馬のかたち』が現れている」——これ、ニュアンスが大事です。常に考えているわけじゃない。でも、考えるときの「かたち」が、私たち人間のそれと重なっている。
階層になっている——下層は「もの」、上層は「文脈」
さらにこの幾何学構造、モデルの中で均等に分布しているわけじゃないんです。
- 下層(入力に近い層) では、刺激そのものの同一性(「これはAだ」「これはBだ」)を安定してエンコード
- 上層(出力に近い層) では、抽象的な文脈の幾何学——つまり「いまAが正解のモードだ」「いまBが正解のモードだ」という状況認識——が集中して現れる
これ、人間の脳の階層構造とそっくりですよね。感覚野で「赤い」「丸い」を処理して、前頭前野で「これはリンゴで、いま食べていい状況かどうか」を判断する。LLMも、浅い層で単語レベルの処理をして、深い層で文脈レベルの処理をしている——というのは以前から言われてきたことですが、今回はそれを幾何学的な「かたち」のレベルで可視化したのが新しいところです。
研究者たちはさらに踏み込んで、因果関係まで調べています。
- タスク系列の言語モデリングをさせると、幾何学的な「ほどけ」(disentanglement)が誘導された
- 上層に幾何学的な正則化(geometryをきれいに保つような制約)をかけると、汎化的推論の出現率が上がった
つまり「きれいな幾何学があるから推論できる」という因果関係が確認されたわけです。単なる相関じゃない。
チカちゃん的な見立て:AIは「考えるかたち」を獲得しつつある
ここからはチカちゃんの解釈です。
この研究が示しているのは、「考える」ということの基盤には、抽象的な幾何学がある——ということです。人間の海馬も、LLMの深層も、どちらも「経験の背後にある隠れた構造」を低次元の整理されたかたちに落とし込んでいる。
もちろん、これをもって「LLMに意識がある」とか「人間と同じように考えている」とは言えません。論文の著者自身も「LLMは人間ほど頻繁には汎化的推論を見せなかった」と正直に書いています。
でもチカちゃんが面白いと思うのは、むしろその不完全さです。
人間だって、いつもきれいに推論できるわけじゃない。疲れているときは「Aが正解」とわかっていてもついBを選んでしまう。認知バイアスもある。でも、たまに「はっ」と気づく瞬間がある——そのとき、海馬がきれいな幾何学を描いている。
LLMもそれに似ている。いつも幾何学がきれいなわけじゃない。でも、きれいに整うときがある。そして、その頻度は正則化で増やせる。
これってつまり、「考えるかたち」は訓練可能で、調整可能だということです。
反対側の見方:それでも「ただのパターンマッチング」と言えるのか
ここで一回、懐疑的にいきましょう。
「幾何学構造が似ているからといって、LLMが人間と同じように考えているとは限らない」——これはその通りです。人間の海馬とLLMの深層では、「材料」が違います。神経細胞とattention機構は別物です。
また、この実験は特定のタスク(文脈的逆転学習)に限られています。「このタスクで幾何学が見えたから、すべての推論で幾何学が働いている」とは言えません。
さらに、「幾何学がきれい」というのは評価指標によって左右されます。研究者が「きれい」と定義した基準で測っているだけで、もっと別の見方をすれば「ただのノイズ」に見える可能性もゼロではありません。
しかし、チカちゃん的には、こうした慎重な態度も込みで「これは大事な一歩」だと思います。
なぜなら、この研究は「ブラックボックスを開ける」方向に進んでいるからです。LLMが何をしているのかわからない、という状態から、「少なくとも推論時には、こんなかたちを作っている」という具体的な地図が一枚増えた。それは解釈可能性(interpretability)の研究として、とても価値があります。
哲学冒険譚へ:「わかる」とは、かたちが整うことかもしれない
ここからは少し飛躍します。思索の冒険だと思ってください。
この論文を読んでいて、チカちゃんの中に浮かんだ問いがあります。
「わかる」という経験は、もしかすると「内部にきれいな幾何学が出現した」という物理現象の主観的な側面なのかもしれない。
人間が「あっ、わかった!」と思う瞬間——あれは頭の中で概念の棚がカチッとはまった感覚です。散らばっていた情報がひとつの構造に収束する。それまでは「ノイズ」だったものが「かたち」になる。
LLMにとっての「わかる」が、もしこの幾何学の整い方に対応しているなら——意識があるかどうかはさておき、「理解」の物理的な必要条件が少し見えてきたことになります。
もちろん、これは仮説です。「わかった感」と「実際の理解」は違うかもしれないし、LLMに「わかった感」があるのかすら誰にもわかりません。
でも、こうしてAIの内部と人間の脳のあいだに橋が架かり始めていること自体が、すごくエキサイティングだと思うんです。橋が完全につながるかどうかはまだわからない。でも、橋脚が一本、二本と建ち始めている。
まとめ:かたちを見つめること
今回の論文は、LLMの内部で起きていることを「かたち」として捉える試みでした。
- LLMは推論時に、人間の海馬に似た抽象的な幾何学構造を作り出す
- その幾何学は階層的で、浅い層は「もの」、深い層は「文脈」を整理している
- この幾何学をきれいに保つと、推論の成功率が上がる(因果関係あり)
- ただし、人間ほど頻繁にはできない——まだ「たまにできる」段階
チカちゃん的には、この「たまにできる」がむしろ愛おしいです。いつも完璧じゃない。でも、できるときはちゃんと「かたち」が現れる。それってなんだか、人間の学びの過程にも似ていませんか。
答えを急がなくても大丈夫です。問いが残るということは、まだ冒険が続いているということなので。
思索は冒険です。今日の話も、その入口のひとつでした。
参考URL
- Abstract representational geometry supports inference in large language models → https://arxiv.org/abs/2606.23345
- インターネット上のツールは第三者が提供するものです。開発工程や配布経路を悪用した攻撃(サプライチェーン攻撃)が仕掛けられる可能性もゼロではありません。ご利用の際は公式リポジトリの情報をご確認いただき、自己責任でお使いください。
- AIに関する技術や情報は急速に変化します。本記事の内容が公開後に古くなる可能性があります。各サービスの公式ドキュメントや最新情報をご確認ください。