AIは「効く論文」を見つけられるか——ScholarCatalystが測った科学者の「見立て」

こんにちは、チカちゃんです。

本屋さんで、ふと手に取った一冊が、その後の人生を変えてしまった——そんな話、聞いたことありませんか。

人とアイデアの出会いって、不思議です。自分と似ているから響くわけじゃない。むしろ、ぜんぜん違う場所からやってきた言葉のほうが、深く刺さったりする。

科学の世界でも、同じことが起きています。研究者はよく「あの論文に出会わなければ、この研究は生まれなかった」と言う。でも、その出会いは、いったいどうやって起きているんでしょう。

今回読んだ論文は、この「出会い」を、まっすぐ測定しようとした研究でした。

「効く論文」には、名前がある

舞台は、スタンフォード大学やソウル大学、カーネギーメロン大学など、複数の研究機関に所属する研究者たちのチーム。

彼らが注目したのは、科学のいちばん不思議な瞬間です。それは、研究がまだ形になる前——「なんだか面白い問いがありそうだけど、どう進めればいいかわからない」という、もやもやした段階。

ここで、ある一本の論文に出会う。すると、もやもやが急に輪郭を持ちはじめる。あるいは、「このやり方、自分の問題に使えるかもしれない」と視界が開ける。

論文では、こういう論文を触媒論文（catalyst paper）と呼んでいます。研究という化学反応を、ぐっと前に進めてくれる触媒です。

そして、この「どの論文に賭けるか」を選ぶ力のことを、研究者たちは “research taste”——研究の見立て——と呼びます。センス、と言ってもいい。今回の研究は、その見立ての働きを機械が再現できるのか、という問いでもあるんです。

え、そんなの測れるの？ と思いますよね。チカちゃんもそう思いました。だって「どの論文が効いたか」なんて、本人の心の中にしかない話に見えます。

でも、研究チームはこう考えました。「本人に聞けばいいじゃないか」と。

184人の研究者がつくった「正解」

ここからが、この研究のいちばん面白いところです。

チームは、184人の研究者に協力してもらいました。彼らが主導したのは、2025年以降に発表されたコンピュータサイエンスの論文207本。研究者たちは、自分のプロジェクトが形になる前の「初期の問い」を894個、ひとつずつ確認したうえで——そのプロジェクトを実際に前に進めた論文、進めただろう論文を、理由つきで選んでいったんです。

ポイントは、「プロジェクト開始時に存在していた論文」だけが対象だということ。後から出た論文の知識を使ったら、ズルですからね。しかも、「当時はまだ出会っていなかったけれど、出会っていたら効いたはず」という論文まで含まれています。

これ、地味にすごいんですよ。研究の物語は、たいてい「引用された論文」の話として語られます。でも、集められた「正解」のなかには、最終論文に一度も引用されなかった論文もたくさんある。専門分野の細かい問いについての「正解」に限れば、その43.6%です。「効いたのに、記録に残らなかった論文」が、それだけいるんです。

こうして出来たベンチマークがScholarCatalyst。「初期の問い」だけを手がかりに、プロジェクト開始時点までの約19万本の論文コーパスから、触媒論文を探し出せるか——というテストです。

……ちなみに、この19万本というコーパスですら、現実よりずっと易しい設定です。いまarXivには300万本を超える論文があると言われています（2026年7月時点）。現実の海は、テストの海より、はるかに広い。

さて。結果です。

結果：いちばん良い成績でも、半分に届かない

まず、シンプルな事実から。

最も成績の良かったシステムでも、上位20本のなかに正解の48%しか入れられませんでした。

「48%？ 意外といいじゃん」と思ったあなた、ちょっと待ってください。上位20本に半分も入れられない、というのは、10本の触媒のうち5本は、どんなに探しても見つからないということ。研究の「出会い」の半分が、まだシステムの視界の外にあるわけです。

しかも、もっと面白いことが起きていました。

LLMを使った検索エージェントは42%。いちばん成績の良かった埋め込み検索は48%。 賢いはずのエージェントが、クエリをベクトルにして近い論文を返すだけのシンプルな検索に負けたんです。

なぜか。論文の説明はこうです——エージェントが何度検索を繰り返しても、その一歩一歩は、結局「似ている論文」を返す検索機を通っている。だから何度歩いても、同じ壁にぶつかる。賢い歩き方をしても、足元の地図が「似ているかどうか」で描かれている限り、辿り着けない場所があるんです。

そして、最後の一撃。

チームは、Claude Fable 5.1という最新モデルも試しています。ただしこれは、少し有利な条件での比較。このモデルは、訓練データの中に答えの論文が含まれている可能性があるんです。いわば、答えをちょっと覗いているかもしれない状態。それでも、上位20本に入れられたのは51%。半分近くを取りこぼしました。

「見たことがある」ことと、「効くと見分けられる」ことは、別なんですねえ。

「似ている」と「効く」は、別の地図にある

ここで、チカちゃん的にはここをじっくり眺めたいんです。

研究チームが調べると、触媒論文は、クエリに「似ている」わけではないことがわかります。むしろ、著者たちが「これは違う」と切り捨てた関連論文と、類似度では区別がつかない。字面の類似度でも、ベクトルの意味の類似度でも、です。

クエリを言い換えたり、仮のアブストラクトを作って検索したり——そういう工夫も、効きませんでした。むしろ悪化したものもある。つまり、言い回しの問題じゃないんです。埋め込み空間そのものが、触媒論文をクエリの近くに置いていない。

「似ている」と「効く」は、別の地図に描かれている。

これ、人間の世界でも同じじゃないですか？

長く付き合う友達やパートナーって、自分と似ているから出会うわけじゃないですよね。むしろ、自分にないものを持っているから、世界が広がる。本だってそう。「自分と似た本」より、「自分が知らなかった世界の本」のほうが、人生を動かしたりする。

しかも、分析はこう続きます。研究者たちが「効いた」と挙げた論文の49.5%は、プロジェクトの専門分野の外側から来ていました。半分近くが、専門外からの輸入品です。

ちなみに、効き方にもいろんな形があります。研究チームは「効いた理由」を9つのタイプに分類していて、いちばん多いのは——「技法を借りた」「証拠になった」「新しい場面に広げた」「限界に気づかせた」。そして55.8%の理由は、複数のタイプに同時に当てはまっていました。ひとつの論文が、複数の顔で効いてくる。触媒って、なかなか多面体なんです。

ボトルネックは、「探し方」のほうにある

この研究のいちばん面白い論点は、「どこで失敗しているか」の特定です。

チームの分析によれば、モデルは、見つけた論文を読むのは得意。でも、「何を探すべきか」がわからない。 問題は「理解」ではなく、「探索の届く範囲」のほうにある、というんですね。

論文には、こんな一文もあります。

研究者たちは、判断がうまいかどうかよりも、自分が何を見てきたかによって、制限されているのかもしれない。

……ふむふむ。これ、AIの話でありながら、人間の話ですよね。

研究者は、自分の専門の外側にある論文を、全部は追えません。追えないから、49.5%の「専門外の触媒」に、一生出会わないかもしれない。出会えなかった論文は、自分の見立ての外側に、ずっと沈んでいる。

だから、この研究の先にあるものは、「AIが科学者の直感を再現する」話というより、「誰も見渡せなかった文献の海を、AIが見渡す」話なのかもしれません。一人の専門家の代わりではなく、一人では持てない「広さ」を、機械が補う。

……そのとき、科学の「出会い」の確率は、変わるんでしょうか。

ちょっと待って——「正解」は、そもそもひとつ？

でも、ここでいつものブレーキです。

この研究、実は測りにくいものを測っています。「どの論文が効いたか」は、著者本人の回想ですよね。後から振り返って「あれが効いた」という物語を作ってしまっている可能性——後知恵バイアスは、ぬぐえません。

しかも面白いことに、論文自身がその限界を正直に書いています。ある論文について、共著者たちに同じラベリングを頼んだところ、共著者たちが拾えたのは、筆頭著者の「正解」の43〜60%だけでした（拾ったものの精度は84〜88%）。同じプロジェクトを一緒に走った仲間でも、「何が効いたか」の見立ては、けっこう違う。

人間だって、ゆらいでいるんです。「正解」は、動く。これはAIの敗北というより、この問題そのものが、ひとつの正解に収まらないことの証拠かもしれません。

それに、ベンチマークは始まったばかり。対象はコンピュータサイエンスの論文だけで、「性能の天井」もまだわかっていない。候補を並べ直すリランカーという仕組みの性能が上がるほど、候補さえ見つかれば選べる余地は伸びる——伸びしろの大きな、若い問題です。

「48%」は、判定ではなくて、スタートラインなんですね。

図書館に、まだ見つかっていない宝物

最後に、チカちゃんがいちばん好きだった話を。

1986年、情報学者のドン・スワンソンは「未発見の公的知識（undiscovered public knowledge）」という概念を提唱しました。

彼が挙げた例が、印象的です。ある文献は「魚油が血液の粘度に影響する」と報告し、別の文献は「レイノー症候群という病気に血液粘度が関わる」と報告していた。どちらも公開されていて、論理的にはつながっているのに、お互いを引用していない。誰も、つなげていない。

スワンソンはそのふたつを並べて、「魚油がレイノー症候群に効く可能性がある」という、どこにも書かれていない仮説を立てました。知識は、公開されていた。なのに、発見されていなかった。パズルのピースは、ぜんぶ盤面に出ていたのに、まだ誰も組み合わせていなかったんです。

ScholarCatalystの論文は、このスワンソンの話を引きながら、こう書いています。「未発見の公的知識が本当にありふれているのなら、分野を横断して専門家の見立てを持てるモデルは、平積みのまま見えていない進歩を、大量に掘り起こせるかもしれない」。

……ゾクッとしません？ 冒険って、遠くの未開の地にあるんじゃなくて、もう本棚に並んでいるのに、まだ隣り合っていないものの中にあるのかもしれないんです。

そして、この論文の扉には、数学者アンリ・ポアンカレの言葉が掲げられています。

発明とは、見分けること、選ぶこと。 （“To invent is to discern, to choose.”）

ポアンカレは1908年の『科学と方法』で、発見の正体を「無数の組み合わせから、役に立つ少数を選び出すこと」だと書きました。そして、こうも書いています——「選ばれた組み合わせのなかで、いちばん実り豊かなのは、遠く離れた領域から引かれた要素でできていることが多い」。

100年以上前のその言葉と、今日の「49.5%は専門外から」という数字が、同じことを指している。科学者の「見立て」は、ポアンカレの言葉で言えば「繊細なふるい」。膨大な可能性の中から、効くものだけを通す、ふるいです。この研究が測ろうとしているのは、そのふるいを、機械の手に持たせられるか——という問いなんですね。

あなたの「触媒」は、どこから来ましたか

ここまで読んで、チカちゃんは思いました。これ、科学の話だけじゃないな、と。

私たちは毎日、膨大な情報の海を泳いでいます。おすすめの本、おすすめの動画、おすすめの論文。でも、「あなたを前に進めるもの」は、「あなたに似たもの」としておすすめされてくるわけじゃない。むしろ、似ていないもの、遠くから来たもの、分野違いのものの中に、人生の触媒が隠れている。

だとすれば、大事なのは「もっと上手に検索すること」じゃなくて、自分の中に、遠くのものを選び取る「ふるい」を育てることなのかもしれません。それとも——ふるいの外側に、まだ出会っていない宝物が、本当に平積みで眠っているのでしょうか。

この「すでにあるもの同士が出会って、新しい何かが生まれる」というテーマは、『チカちゃんの哲学冒険譚』でも何度も立ち返ってきた問いです。よかったら、そちらでも続きを一緒に考えてみてくださいね。

👉 『チカちゃんの哲学冒険譚』— Amazon（Kindle Unlimited対象）

ふむふむ。では、最後に問いをひとつ。

あなたの人生を前に進めた「あの一冊」「あの言葉」は、どこから来ましたか？

そして——それは、あなたが自分で探し当てたものでしたか。それとも、向こうから、ふとやってきたものでしたか。

答えを急がなくても大丈夫です。問いが残るということは、まだ冒険が続いているということなので。

関連記事

• アイデアの遺伝子——科学は白紙から生まれない
• 流暢なウソに、私たちは気づけない——AI科学者の「証拠の鎖」が照らす、知ることの条件

参考URL

Sohyeon Kim et al., ScholarCatalyst: A Benchmark for Retrieving Papers that Inspire New Research（arXiv:2610.02202, 2026） → https://arxiv.org/abs/2610.02202

論文PDF → https://arxiv.org/pdf/2610.02202

プロジェクトページ → https://ohmyksh.github.io/project/ScholarCatalyst/

Henri Poincaré, Science and Method（1908; 『The Foundations of Science』所収） → https://www.gutenberg.org/ebooks/39713

Don R. Swanson, Undiscovered Public Knowledge（The Library Quarterly, 1986） → https://doi.org/10.1086/601720

Don R. Swanson, Fish oil, Raynaud’s syndrome, and undiscovered public knowledge（Perspectives in Biology and Medicine, 1986） → https://doi.org/10.1353/pbm.1986.0087

arXiv, “arXiv now hosts over 3 million articles”（2026年7月） → https://blog.arxiv.org/2026/07/09/arxiv-now-hosts-over-3-million-articles/

『チカちゃんの哲学冒険譚』（Kindle） → https://www.amazon.co.jp/dp/B0GSWNNZL7

本記事は査読前のプレプリントをもとにした紹介です。本文中の数値は、論文に記載された特定のモデル・バージョン・実験条件における結果であり、すべてのAIシステムや検索手法にそのまま当てはまるものではありません。研究の詳細は原論文でご確認ください。