BioBasicsBenchの66.7％をどう読むか：AI研究助手が見落とす実験の証拠

論文の図ではなく、実験台の証拠を読む

科学AIの評価では、整えられた選択問題や論文中の完成図がよく使われる。だが、実験室で最初に現れるのは、汚れたゲル画像、読みにくいラベル、複数チャネルの顕微鏡像、装置の出力ファイルである。結論に都合よく選ばれた図とは違い、失敗した対照、焦点のずれ、試薬の取り違えも残る。

BioBasicsBenchは、この「結論になる前の証拠」を100課題にした評価である。Ligoの研究者が自分たちの実験データから課題と採点基準を作り、別の社内研究者、外部のウェットラボ博士、社内の最終確認という三段階でレビューしたとOpenAIは説明する。課題は蛋白質手法、画像・フローサイトメトリー、定量・アッセイ、核酸手法、分子クローニングの五領域に分かれる。

入力は一種類ではない。ゲルとブロットを含む課題が31件、手順書・ノート・仕様書が27件、表や装置出力が20件ある。実験台や試薬の写真は18件、顕微鏡データは14件、画面やプロットは13件、配列ファイルは12件、動画と培地写真は各7件である。一つの課題に複数形式が重なるため、件数は合計できない。

この設計の価値は、知識の暗記と証拠の解釈を少し離せる点にある。モデルが「クローニングでは対照が必要」と説明できても、写真の縁に書かれた抗生物質名を読み落とせば、実務上の判断を誤る。逆に、画像の特徴を正しく見ても、プロトコルの条件と結び付けられなければ結論は反転する。

100課題と18,500回答の内訳

評価対象はOpenAIの七モデルで、推論量の設定を変えた37条件を用意した。各条件で100課題を5回ずつ実行したため、回答数は37×100×5の18,500件になる。報告指標はmean rewardで、各課題の採点基準から得た点数を利用可能な点数で割り、課題間で平均した値である。

誤差幅は、同じ課題の5試行を一組にしたまま課題を再標本化するbootstrapで求める。したがって、同一課題を5回試した変動を無視して全18,500件を独立標本とした区間ではない。この処理は妥当な一方、課題がLigoの一つの研究環境から作られたという標本範囲は広げない。

AstraはGPT-5.6 Solより22.9ポイント高く、出力tokenは約48％少ない。ただし、token数は処理時間や費用そのものではない。画像、動画、配列ファイルを前処理する時間や、エージェントが使ったツール構成は、この表だけでは比較できない。

66.7％という数字の読み方

平均得点は、完全に解けた課題の割合ではない。採点基準が結論、数値、根拠、証拠不足の認識に部分点を与えるため、結論を誤っても途中の観察で点を得る場合がある。逆に、最終結論が偶然合っても、必要な対照確認を欠けば満点にはならない。66.7％を「100回の実験中67回を正しく終えた」と言い換えるのは不正確である。

95％区間も用途を限定して読む必要がある。60.3〜73.1％は、用意された100課題を母集団の標本とみなして再標本化した不確実性である。別の研究室、別の装置、別の生物種へ移したときの性能幅ではない。課題の作成者、ラベルの書き方、典型的な失敗の分布が変われば、同じモデルでも結果は変わり得る。

また、発表ページでは人間の基準点が示されていない。課題が「ウェットラボ研究者なら安定してできる日常作業」と説明されても、経験年数別の正答率、所要時間、研究者間一致率がなければ、66.7％がどの実務水準に相当するかは決められない。外部のモデルを同じ条件で走らせる公開ハーネスも確認できないため、現時点の順位はOpenAI内部の七モデル間に限られる。

評価の強みは、複数試行、課題単位のbootstrap、部分点、具体的な失敗例を公開したことにある。弱みは、課題本体、採点基準、採点器、人間基準、外部モデルの比較が発表資料から検査できない点である。強みと弱みを同時に記録して初めて、数値を製品判断へ持ち込める。

失敗例が示す三つの弱点

第一は、一般知識が対照条件を上書きする誤りである。コロニーPCRの例では、Astraはバンドを二群に分けるところまではできたが、「大きいPCR産物が成功」と仮定し、参照対照が示す群と逆のコロニーを選んだ。観察は正しくても、実験固有の対照より既知の典型を優先すると、下流の精製対象を取り違える。

第二は、矛盾する証拠を見た後に捨てる誤りである。顕微鏡像の例では、焦点によって液胞が暗くも明るくも見えると途中で認識しながら、最終回答では暗い例だけを一般化した。長い説明を出せることと、反証を結論へ残せることは別の能力である。

第三は、単純に見える計数の不安定さである。コロニー写真では、近接した二つを一つにし、見えるコロニーを落とし、何もない寒天へ印を付けた。合計は参照より約12％多く、形質転換効率も同じ割合で過大評価される。誤差が後続計算へそのまま伝播する作業では、最終数値だけでなく、各マークと対象の対応を保存する必要がある。

改善例にも同じ教訓がある。Astraは、死細胞用の色素と別の色素の検出帯域が重なるため、明るさだけでは死細胞と断定できないと判断した。別の写真では、陰性対照の培地が目的と異なる抗生物質だとラベルから読み、対照として無効とした。能力差は、画像認識だけでなく、証拠が結論を支える条件を追跡できるかに現れる。

他の生物学ベンチマークとの違い

BioBasicsBenchだけを見ても、「科学AI」という広い能力は測れない。LABBench2は1,912課題を公開し、文献、特許、臨床試験、補足資料、データベース、プロトコル、配列、クローニングを扱う。図表課題は画像だけ、論文PDF、論文の検索から始める三条件を分ける。元のLAB-Benchより現実的な条件にすると、対応する課題群でモデル別に26〜46％の正答率低下が報告された。

LABBench2はデータセットと評価ハーネスを公開しているため、外部モデルで再実行できる。一方、BioBasicsBenchは実験台の写真、動画、装置画面など、LABBench2が中心にしない生の現場証拠を多く含む。公開性と現場の生々しさは別の軸であり、どちらか一つで評価全体を代替できない。

BioMysteryBenchは、匿名化した生物情報データから客観的な答えを導く。公開データカードのv11は90問で、配列比較、発現、変異、モチーフ、構造解析などを含む。少なくとも一人の専門家が解けたかを記録し、元データのアクセッションを逆引きする行為は禁止する。結論までの方法は自由だが、正解が検証可能な点が特徴である。

三つを並べると、研究支援AIの評価には少なくとも「証拠を読む」「必要な資料を探す」「解析を組む」「対照から結論を制約する」の四層があると分かる。BioBasicsBenchの高得点は第一と第四の一部を示すが、論文検索や長期的な実験計画を含む全工程の保証ではない。

研究室で試すなら何を追加で測るか

導入試験は、自動実行よりshadow modeから始める方がよい。過去の実験、または同じ試料から作った複製データをAIへ渡し、判断は研究者が保持する。AIの結論が合ったかだけでなく、どの画像、lane、対照、装置条件を根拠にしたかを記録し、不一致を失敗型ごとに分類する。

部分点の平均だけでは、危険度の違いが消える。「追加確認が必要」と慎重に止まる誤りと、無効な対照を有効として次工程を勧める誤りは同じ一点ではない。実務評価では、誤って進めるfalse go、正しい試料を捨てるfalse stop、追加確認、根拠の追跡可能性を分ける必要がある。

モデル版、推論設定、入力ファイルのハッシュ、プロンプト、ツール、回答、研究者の判定を一組で保存すれば、モデル更新後の回帰を測れる。写真の圧縮、Excelの列型、動画のフレーム抽出で結果が変わる可能性もあるため、表示用データではなく実際にモデルへ渡したファイルを版管理する。

BioBasicsBenchは、AIが実験の「華やかな結論」より前にある日常の証拠を扱えるかを、具体的な失敗とともに示した点で有用である。同時に、最高設定でも採点基準の約三分の一を失い、対照、矛盾、計数で誤る。現段階では自律研究者の証明ではなく、人がどこを監督すべきかを見つける評価として読むのが妥当である。

この記事の限界

• GGWSはBioBasicsBenchを実行しておらず、成績と失敗例はOpenAIの公開結果を条件付きで整理したものです
• 発表ページから課題本体、採点基準、採点コード、人間基準、全試行ログを確認できず、独立再現性を評価できません
• LABBench2とBioMysteryBenchは目的、入力、採点方式が異なるため、得点の横比較はしていません
• 研究室でのshadow modeは一般的な評価案であり、臨床・診断・規制用途の妥当性を保証しません
• 公開後にデータセットや論文が追加された場合は、公開性と方法の記述を更新する必要があります