AIタイムホライズンを統計的に読み直す

タイムホライズンは直接測定値ではない

50%タイムホライズンは、AIが50%の確率で解けるソフトウェア課題について、人間の完了時間を単位に表した推定値である。時計でAIの作業時間を測った値ではない。元データは228課題、79の課題ファミリー、26種類のAIからなり、人間時間は成功した専門家の所要時間を幾何平均して作る。

各AIの成功確率曲線を推定し、成功率が50%になる人間時間を逆算する。したがって、課題の選び方、人間時間の測り方、成功曲線のモデルが変われば、同じ実行結果でもホライズンは変わり得る。

直線をスプラインへ置き換える

Model 2が反復実行の相関を入れる理由は実データにある。独立を仮定したbaselineなら、同じAI・課題の反復結果がすべて一致する組は約60%と予測されるが、実際は83%だった。同じ組での反復は完全に独立な情報ではないため、相関を無視すると試行回数の多い組を過度に重く扱う。

評価には5-fold交差検証と、log score、Brier score、50%・80%付近のelementary scoreを用い、重み付けも3通り試す。著者らのModel 1とModel 2は、共有傾きbaselineより報告された12指標すべてで良かった。

2〜30分の平坦部が意味すること

当てはめた「人間時間からAI難易度への変換」は、約2〜30分でほぼ平坦になり、その外側ではおおむね線形に近い。したがって3分から30分への10倍と、30分から5時間への10倍は、AI難易度上で同じ距離ではない。

これは「短い課題は意味がない」という結論ではない。時間だけでは、この帯域の課題間の難しさを十分に予測できないという診断である。課題ファミリーや固有の難しさを併読し、ホライズンの点推定だけで能力差を説明しないことが大切になる。

進歩曲線と混同しない

この論文のモデル学習にAIの公開日は使われていない。著者らは既存のホライズン推定を改善したが、時間とともにAI能力が指数的に伸びたかを検定した研究ではない。Model 2の潜在能力を既存のMETR値へ線形に合わせるとR²=0.996で近かったことも、能力進歩の因果説明ではない。

新しいモデルの値を読むときは、点推定、区間、成功曲線、時間から難易度への変換図をセットで見る。課題群が長時間側へ広がれば、現在のスプライン形状も再推定が必要になる。

この記事の限界

• GGWSでは公開データから統計モデルを再推定していない
• 228課題はソフトウェア中心で、一般的な職務能力全体を表さない
• 非線形モデルも課題選定とIRTの仮定に依存する