ベンチマークの記憶をどう見抜くか——Benchleakingと評価の点検手順
試験問題の記憶を調べた新論文を基に、一致判定と採点の条件を整理。100問の算例、EvalPlusとの比較、研究用モデルの点検手順を示します。
プレプリント全文・付録、EvalPlus論文、公式評価資料を照合 / 採点表はGGWSの架空例
新しい報告が調べたもの
研究用のモデルを選ぶとき、公開試験で高得点を取った理由を知りたい。初めての問題にも対応できるのか、以前に接した問題を再現できるのか。この問いは、データ解析コードや論文処理の機能を評価する際にも関わる。
Qinらの「Benchleaking Is Accelerating」は、4種類のベースモデルを20のベンチマークで調べたプレプリントである。入力に含まれない別の試験問題と参照解答が、生成の続きに現れるかを確認した。厳しい一致条件の下で、ERNIE-5.5-Flash-BaseのHumanEvalでは96.3%の問題が検出された。これは重複を除いた問題数の割合である。[1・第3節、表4]
検出用の生成では停止条件を外し、通常の採点は別の実行で行う。一致判定は質問全文、選択肢などの付随情報、参照解答を対象とする。大文字・小文字と空白は正規化し、言い換えや動作が同じ別コードは一致に含めない。付録は、未検出でも接触の可能性が残ること、近縁の問題を入力から導ける例があることも示す。[1・付録A、D、F]
読者が最初に確認したいのは、判定に使った入力と出力の組である。入力に既に含まれた問題が再掲されていれば、追加の説明が要る。検索結果やツール出力に問題が現れていた場合も、その経路を記録する。短い一致文字列だけを見て判断すると、こうした条件を見落としやすい。
この報告を読む前提として、ベースモデルは追加の対話調整を施す前のモデルを指す。試験結果を普段使うチャット製品へ当てはめる際には、モデルの版、調整、検索機能、実行環境の対応を確かめる必要がある。
証拠と確認方法を対応させる
「汚染」という言葉で一括りにすると、次の作業が決まらない。学習資料との重複、未提示の問題の再現、仕様変更後の失敗、テスト不足には、それぞれ確認できる範囲がある。以下は評価を読むためにGGWSがまとめた点検表である。
| 観察 | 確認する記録 | 判断時に残る問い |
|---|---|---|
| 学習資料に評価問題の文字列がある | 資料の版、照合範囲、重複箇所 | 一般的な定型表現だけが一致していないか |
| 未提示の問題と解答を生成した | 入力全文、ツール出力、生成全文 | 入力や関連資料から導ける内容か |
| 仕様を変えた課題で失敗した | 変更箇所、正解、採点器、失敗ログ | 変更後の課題や採点に曖昧さがないか |
| 追加の入力でコードが失敗した | 許容入力、期待値、実行結果 | 正解実装と入力の条件は整合するか |
学習コーパスを扱える場合には、文字列の照合が調査の入口になる。EleutherAIの公式資料は、学習資料と評価項目のn-gramを照合し、重複した項目を記録する手順を説明している。その資料では13語の連続列を用い、対象項目を除いた評価値も扱う。[2・Background、Implementation]
この手順を外部APIだけで使おうとすると、照合対象となる学習資料を用意できるかが問題になる。アクセスできるデータと、モデルが実際に学習したデータの対応が必要だからだ。手元の資料で重複が見つからなかった場合は、調べた範囲を添えて結果を残す。
一方、課題を少し変えたときの失敗は、製品の適用範囲を調べる材料になる。たとえば出力ファイル名の指定を変え、指示に追従できるかを見る。変更後の正解も一緒に修正し、同じ予算で比較する。採点器だけが古いままだと、正しい出力を不合格にしてしまう。
分母を変えると、補正値も変わる
Benchleaking論文のAnti-Hackスコアは、検出した項目の得点をゼロにし、元の問題数を分母に残す。[1・第3.2節、付録F.3]
その集計を、100問の架空例で確かめる。通常の正解は80問、一致が見つかった問題は20問とする。その20問の内訳が正解18問、誤答2問なら、一致が見つからなかった80問では62問正解している。ここでは正誤を各1点・0点で扱う。
| 区分 | 問題数 | 正解 | 誤答 |
|---|---|---|---|
| 一致が見つかった項目 | 20 | 18 | 2 |
| 一致が見つからなかった項目 | 80 | 62 | 18 |
| 合計 | 100 | 80 | 20 |
- 通常の正解率は80÷100=80%。
- 一致項目をゼロ点にすると、62÷100=62%。
- 一致項目を集計から外すと、62÷80=77.5%。
62%と77.5%は、同じ内訳から計算できる。前者は元の全問題に対して認めた得点を示し、後者は残った問題群に条件を絞った正解率を示す。報告に「補正後」とだけ書くと、どちらの計算か判別できない。分子、分母、除外規則の三つを並べると読み違いを減らせる。
80%から62%への差は18ポイントとなる。一致が見つかった20問のうち、もともと誤答だった2問には得点がなかった。このため、一致問題の割合20%をそのまま元の正解率から引く計算は内訳と合わない。
実際の用途への適性を判断するには、検出項目の難しさも知りたい。簡単な問題が多く外れた場合と、難しい問題が多く外れた場合では、残った集合の意味が変わる。複数モデルで残る問題が違うときは、共通する問題での結果を併記し、その件数と内容も確認する。
この算例は、得点の計算方法を確かめるためのものだ。各モデルが初見の仕事で成功する確率を、この計算だけで推定することはできない。利用判断には、新しい課題での観察を追加する。
追加テストで確かめるコードの挙動
コード生成を研究に使うなら、問題への接触に加えて、出力したプログラムの挙動も調べたい。EvalPlusは既存のコード課題にテスト入力を増やし、候補実装と参照実装の結果を照合する研究である。入力の事前条件を使って無効なテストを除き、参照実装の誤りも検討している。[3・第2節、第3節、付録A]
具体例として、論文の識別子を重複除去する小さな関数を考える。「先頭と末尾の空白を除き、同じ文字列を一件にまとめ、最初の出現順を保つ」と仕様を決める。空文字列の扱いと大文字・小文字の区別も先に決めれば、入力と期待値の組を手で作れる。
たとえば入力が「A」「 B 」「A」なら、期待する出力は「A」「B」となる。全件同じ、重複なし、一件のみ、空のリストという場合も試す。これは本記事の説明例であり、現実のDOIの正規化規則には別途対応が必要になる。
この追加確認で失敗したときは、まず仕様と入力の条件を見直す。大文字・小文字を区別する仕様なのに、採点側だけで小文字化すれば、候補実装に責任のない不一致が生じる。参照実装にも同じ入力を与え、手計算した期待値との対応を残しておきたい。
EvalPlusの公式リポジトリには、参照解答や入力条件を修正した履歴がある。追試ではデータセット名に加えて、版や取得時点を記録する。生成したコードを実行する際は、研究データや認証情報を置かない隔離環境を用意する。同リポジトリはDockerによる評価手順も示している。[4・更新履歴、Quick Start]
ここで調べられるのは、追加した入力に対して仕様を満たしたかである。問題への接触を調べる記録と、挙動を調べる記録を対応付けると、採用を見送った理由を具体的に説明できる。
研究用モデルを比較する点検手順
小規模な研究チームでは、大きな公開試験の追試だけで評価予算を使い切る場合がある。以下は、利用する機能に絞って追加確認を設計するためのGGWSの案である。論文の実験を再現した手順としては扱わない。
- 予定する用途を一つ選ぶ。例として、表の集計、識別子の整形、指定形式での抽出など、結果を確認できる機能を選ぶ。
- 入力条件、期待する出力、許容する誤差、時間制限を先に書く。曖昧なケースは採点前に人が確認する。
- モデルの識別子、プロンプト、検索やツールの利用、試行数、出力上限を保存する。比較の途中で設定を変えたら別条件に分ける。
- 用途に沿った未使用の課題を用意し、原課題と仕様を変えた課題の対応を残す。正解と採点器を双方で確認する。
- 生成結果を保存し、成功、仕様違反、実行エラー、時間切れを項目ごとに集計する。返答がなかった試行も記録に含める。
- 疑わしい一致が出た場合は、入力、検索結果、ツール出力まで戻って調査する。公開試験との一致と、実用上の正しさをそれぞれ記録する。
試験を作ったモデルをそのまま採点にも使うと、同じ解釈の誤りが残ることがある。計算可能な期待値は小さなプログラムや手計算で確かめ、自由記述は確認担当者と判定基準を決めておく。自動判定に迷いがある項目は、根拠を添えて保留にする。
評価に使った課題を何度も見ながらプロンプトを直すと、その課題への適合が進む。改善用と最後の確認用をあらかじめ分け、確認用を見た後の変更を記録する。実際の運用で見つかった失敗は、次の版の評価課題として追加できる。
採用判断まで残す記録
| 記録 | 残す内容 | 後から答えたい問い |
|---|---|---|
| 課題と採点の版 | 入力、期待値、採点器の識別情報 | 同じ問題と条件を比較したか |
| 実行条件 | モデル、指示、ツール、出力上限、試行数 | 設定の変更が結果へ影響したか |
| 項目ごとの結果 | 生成物、正誤、失敗理由、一致の根拠 | 合計点の差はどの項目から生じたか |
| 集計規則 | ゼロ点化・除外の扱い、分子と分母 | 補正後の値はどの集合を表すか |
| 採用範囲 | 通過した用途、未確認の入力条件 | 次の利用でも確認結果を使えるか |
判断を一度で確定させる必要はない。「この形式の表なら使える」「この文字列の扱いは再確認する」という粒度で範囲を残せる。モデルや採点器が更新されたときは、同じ保存済み出力を再採点した結果と、新しく生成した結果を分ける。これで、採点の変更とモデルの変更を追いやすくなる。
公開スコアから候補を絞った後は、自分の用途で生じた失敗まで読みたい。とくに研究の結論へ直接影響する処理では、集計表から元の出力へ戻れる記録が役立つ。照合の範囲と採点の分母がわかれば、点数の読み方について他の担当者とも議論できる。
この記事の限界
- Benchleaking論文は2026年11月16日版のプレプリントです。モデル内部の学習資料をGGWSが調査したものではありません。
- 本文は一致検出、集計、コード評価に焦点を絞っています。新論文の全モデルの優劣や、提供企業の意図は評価していません。
- 算例と研究チーム向けの点検案はGGWSによる説明です。モデル推論や論文実験の追試は実施していません。
- 入力の形式や課題の難しさが変われば、確認すべき条件も増えます。少数の課題の結果を利用範囲全体へ広げる際には追加評価が必要です。
参考資料・出典
- Qin et al. — Benchleaking Is Accelerating(2026年11月16日、v1)
- EleutherAI — lm-evaluation-harnessのDecontamination資料
- Liu et al. — Is Your Code Generated by ChatGPT Really Correct?(EvalPlus、v3)
- EvalPlus公式コード・データ・更新履歴
資料確認日:2026年11月17日。新論文の方法・表4・付録A、D、F、EvalPlusの方法・実験・付録、公式資料を照合しました。論文掲載のBenchleakingコードURLは確認時に取得できなかったため、追試済みとは扱っていません。
更新・訂正履歴
2026年11月17日:初版公開。一致検出の条件、集計方法の算例、研究用モデルの点検案を掲載しました。