基礎知識2026.09.163分で読む

AIの正答率90％を読む前に、分母を確認する

平均値だけでは見えない、評価セットの偏り。

GGWS公開：2026年9月16日

評価の読み方 / 数値は説明用の仮定／基礎資料確認：2026年9月

90％は、何問中の何問か

「正答率90％」だけでは、評価に使った問題が分かりません。10問中9問なのか、1,000問中900問なのか。答えられなかった質問や時間切れを分母に含むのか。まず、問題数と採点方法を確認すると、比較表の読み方が変わります。

ここで扱う数値はすべて説明用に作った仮定です。特定のモデルの実測値ではありません。以下では、簡単な質問90問と、条件の読み分けが必要な質問10問からなる、計100問を考えます。

モデルAは簡単な質問に90問、難しい質問に0問正解したとします。全体では90％です。モデルBは簡単な質問に80問、難しい質問に8問正解したとします。全体では88％となり、合計だけならAが上位です。

しかし、利用者が主に難しい質問をするなら、見るべき成績はAの0/10とBの8/10です。これはBがいつでも優れていることを示しません。評価セットの構成と、実際に使う質問の構成が違えば、合計点から導く選択も変わるという説明です。

一回の回答と、何度も回答してよいものを選んだ結果を同じ列で比較していないかも確認します。再試行、外部検索、コード実行を許したか、制限時間をそろえたかを記録します。対象の課題が同じでも、利用できる情報や計算量が違えば、成績差の意味は変わります。

また、少数の問題で起きた差は、すぐ一般化しないようにします。同じ問題で両方が誤ったのか、一方だけが誤ったのかを見ます。今回の100問の例なら、集計表の後ろに質問別の結果を残すことで、改善した部分と後退した部分を追えるようになります。

当サイトで勧める記録は五つです。モデルと版、課題の内訳、正解判定の方法をまず残します。さらに、試行と費用の条件、失敗例も加えます。値が載っていない項目は空欄のまま「不明」と記し、別の報告の値で埋めないようにします。

参考例として「Lost in the Middle」は、長い入力を扱うモデルを情報の位置という条件から評価した研究です。[1] 本記事の架空計算は同論文の結果ではありません。大きな総合点を、目的に即した条件ごとの問いへ分けるという読み方につなげてください。

本文の架空例で、簡単な質問と難しい質問を同じ割合で使うと仮定します。Aの各群の正答率は100％と0％なので、半分ずつ重みを付けた値は50％です。Bは80/90と8/10で、同じ重みなら約84.4％になります。元の90％対88％とは順位が逆になります。

これは本番成績の予測ではありません。同じ少数の例から得た率を、そのまま未知の質問へ一般化できないためです。重み付けは利用場面とのずれを見る道具として使い、最後は実際に多い質問と、失敗すると困る質問の両方を集めて確認します。

資料確認日：2026年9月16日。参照先の内容・提供条件は変更される場合があります。

2026年9月16日：記事固有の図解と確認例を追加。初回公開日は変更していません。

2026年9月16日：日本語表現を見直し、長い説明と命令形を減らしました。内容上の結論は変更していません。

GGWS

個人運営のAI研究メディア。一次資料に基づく解説と、確認可能な手順を大切にしています。