KaliBench：Kali Linux上のCLI操作を細かく測るベンチマーク

8,504件になるまで

KaliBenchは自然言語の指示をKali LinuxのCLIコマンドへ変換する能力を測る。出発点はKali Linuxリポジトリにある2,372ツールの文書で、各ツールの長短オプションと別名を構造化した。Qwen3-Maxでツールごとに10〜13件の候補を作り、最初は約27,700組を得ている。

候補はLLMによる意味照合、サンドボックス端末での実行、人による確認を通し、重複除去後に8,504組となる。内訳は評価5,000件、学習3,504件で、1,642ツール、23能力次元、5段階のセキュリティ工程を含む。「AIが作った8,504件」ではなく、文書・実行・人手の三段階で絞ったデータである。

実行せずに何を採点するか

採点はツール選択、オプション、位置引数、構文などを分ける。別名を正規化したうえで、生成したコマンドを実行せずに決定的な報酬を返せるため、実環境へ危険な操作を投げずにSFTやRLVRへ利用できる。ただし「文字列が構造上正しい」と「実際の対象環境で意図どおり安全に動く」は別である。

未回答を除いた精度だけを見ると、拒否や欠落の多いモデルを過大評価する。論文が全5,000問の値も併記した点は、セキュリティ領域の比較で特に重要である。

モデル規模より引数構築が難しい

24構成のopen-weightモデルでは、主な詰まりどころはツール名の選択より引数の構築だった。フラグ、値、順番の一部が違うだけでコマンド全体が不正解になるため、知識問題の正答率とは違う弱点が見える。

8BのRedSage系へSFTとGRPOを組み合わせると、三つの評価モードの平均Total Scoreは7.5ポイント改善し、最終構成は79.2となった。685BのDeepSeek-V3.2との差は1.0ポイントだった。一方で、GRPOを加えた構成はヒント付き設定のツール選択を一部悪化させており、総合点の改善が全項目の改善を意味しない。

安全性と更新ドリフト

このベンチマークは攻撃能力の実行評価ではなく、文書化されたCLIの組み立て評価である。公開モデルの利用規約や安全制約により回答率も変わる。比較時は、正答率、回答率、採点対象のコマンド範囲を一緒に残す必要がある。

もう一つの問題はバージョン差である。Kali Linuxのマニュアルはフラグの追加・廃止・改名で変わる。論文も、文書内の矛盾や歴史的な表記差により決定的な正規化が近似になると認めている。データセットの版とKaliの版を固定しなければ、後日の再評価で意味が変わる。

この記事の限界

• GGWSではコマンドを実環境で再実行していない
• ベンチマーク成績は実運用の安全性や侵入能力を保証しない
• ツール文書の更新により正解集合が変化する可能性がある