Deep Reviewは査読を代替できるか：PATの検証範囲を読む

Deep ReviewとPATの関係

Google Researchが2026年10月14日に公開したDeep Reviewは、長い技術文書を分割し、論理の整合性、数式、実験設計、根拠との対応を調べるエージェント型のレビューシステムである。出発点は、論文投稿前に著者へ非公開の助言を返したPaper Assistant Tool（PAT）だった。

ここで区別したいのは、6月の論文が説明するPATと、10月の公開サービスが同じ評価条件ではないことだ。論文の誤り検出実験はGemini 3.1 Proを使い、STOC・ICML試行はGemini 2.5 Deep Thinkの発展版を使った。一方、公開発表はGemini 4 Argon対応を掲げる。製品が新しくなったからといって、論文の89.7%を現在の全機能へそのまま移すことはできない。

一回のLLM呼び出しで終えない理由

論文全体を一度だけモデルへ渡す方法は簡単だが、証明、実験、関連研究が同居する長文では、検証に使える推論量が足りなくなりやすい。独立した呼び出しを増やすPass@kも、見つける件数と同時に誤警告を増やし、同じ節ばかりを重複して読むおそれがある。

PATは、文書を論理的なまとまりへ分け、情報密度に応じて計算量を配り、担当エージェントが並列に検証し、最後に統合エージェントが重複除去と外部根拠の確認を行う。各担当は対象部分へ集中するが、節をまたぐ矛盾を追えるよう全文にもアクセスする。10月の説明では、この流れが「分割、適応的な予算配分、並列検証、全体統合と根拠確認」の四段階として整理された。

89.7%が示す範囲

定量評価には、撤回や訂正につながった既知の誤りを集めたSPOTが使われた。ただし全データではない。著者らは数学・計算機科学のうち「数式／証明」の誤りへ絞り、26論文、29件を評価した。図の重複など、SPOTで多いマルチモーダルな誤りは対象外である。

PATと単発呼び出しとの差は34.5パーセントポイントである。論文要旨の「34% improvement」を、元の55.2%に対する相対改善率と読み替えてはいけない。また採点はLLMを使った後に著者の一人が監査しており、外部の独立再現ではない。狭い誤り種別で深い検証が効く証拠にはなるが、一般的な論文品質や採否判断の精度を示す数字ではない。

著者アンケートをどう読むか

STOCとICMLの試行では合計4,700件超の投稿がPATを利用した。論文の表では、STOC 124人、ICML 733人の回答を比較し、再利用意向97.0%／92.1%、明瞭さの改善85.1%／87.0%を報告する。ICMLでは35.4%が「修正に1時間超を要する理論上の問題を指摘された」、31%が新しい実験を行ったと答えた。

ただし、これらは利用者の自己申告であり、修正前後の論文を第三者が採点した効果量ではない。さらにICML公式回顧は回答869件、フィードバックを「Very / Mostly helpful」とした割合73.3%と記す一方、論文表はICML 733人、90.7%とする。設問や集計対象の違いは公開資料だけでは確定できないため、数字を混ぜず出典と分母を併記する必要がある。

公開版で変わった点

10月の発表では、STOC、ICML、NeurIPS、ICLRを通じて16,000件超の投稿に使われたとされ、対象は論文からPDFやプレーンテキストの技術文書へ広がった。公開版は論理整合性の確認、事実の根拠確認、既存研究との比較を行い、高次の価値判断は人に残すという位置づけである。

データの扱いは利用場面ごとに確認が要る。NeurIPS試行では推論専用で学習に使わず、PDFとフィードバックを試行後7日以内に削除する方針だった。10月の一般向け説明では、学習やモデル改善には使わない一方、利用者への表示目的で文書を1年間保存すると記す。会議試行の説明を、公開サービスへそのまま当てはめてはいけない。

PDF解析にも制約がある。NeurIPSの案内では、大きなPDFは画像や図表が除かれ、極端な場合は処理が失敗し得るとされた。数式や図が重要な論文では、AIの「問題なし」が単に対象を読めていなかった結果ではないかを確かめる必要がある。

研究者が使うときの確認手順

Deep Reviewを「自動査読者」として一回通すより、指摘を検証可能な作業単位へ戻す方が安全である。まず指摘ごとに対象ページと主張を固定し、数式、実験条件、関連研究、表現上の提案を分ける。次に、原稿と一次資料で真偽を確認し、採用、却下、保留の理由を残す。最後に、人間の共同著者または分野の専門家が、研究上の新規性、重要性、倫理、データの妥当性を判断する。

現時点で最も根拠が強い用途は、著者が投稿前に技術的な弱点を探すRole 1である。査読者の補助、独立したAI査読、全面自動化へ進むほど、誤警告、見逃し、画一化、機密性、計算資源へのアクセス格差が採否へ直結する。PATの研究は可能性を示したが、人間の責任を外す根拠にはなっていない。

この記事の限界

• GGWSはDeep Reviewを用いて独自の論文評価実験を行っていない
• 公開版のGemini 4 Argonに対するSPOT再評価値は確認できない
• アンケートの回答者は利用者全体の無作為標本ではなく、自己選択の影響が残る
• 論文とICML回顧で回答数・有用性割合が異なる理由は、公開資料だけでは確定できない