AIの小さな検証で残す記録：結果をもう一度確かめるために
成功した回答だけを保存すると、比較は難しくなる。
検証の設計 / 作業手順の提案：2026年9月
最初に、何を改善したいかを固定する
AIの設定を変えると、以前よりよくなったように感じても、その理由を説明できないことがあります。質問も資料も設定も同時に変わっていれば、原因を切り分けられません。最初に「根拠のない日付を答える失敗を減らす」など、観察可能な目的を決めます。
本記事は、当サイトが提案する小規模な検証の記録方法です。特定のモデルで再現実験を行った結果ではありません。公開サービスは内部の状態が変わることもあるため、記録があっても全く同じ応答を保証できるわけではありません。
入力と出力を一組で保存する
一つの記録に、質問本文と渡した資料の版をそろえます。モデルやサービスの識別情報、確認できる設定、実行日時、出力全文も残します。機密情報を含む場合は、保存場所と閲覧権限を先に決めてください。共有用の記録には、実データを含まない別の説明例を用意する方法もあります。
文書検索を使うなら、最終回答だけでなく、検索で取得した文書や箇所も残します。RAGの原論文は外部の検索結果を生成に利用する構成を扱っています。[1] そのような仕組みでは、生成モデルが同じでも渡す資料が変われば比較条件も変わります。
採点ルールを、回答を見る前に書く
たとえば規程の問い合わせなら、「対象年度が一致する」「期限が資料と一致する」「根拠への参照がある」「資料にない場合は保留する」といった項目を先に決めます。見栄えのよい回答が出てから評価項目を追加すると、その回答に都合のよい採点になりやすくなります。
回答できないケースや時間切れも記録から外さないようにします。再試行した場合は回数を残し、最初の回答と選び直した回答を区別します。速さを測るなら、測定の始点と終点も決めておくと、別の人が後から値の意味を理解しやすくなります。
変更は一つずつ、失敗例は次の確認へ
まず同じ質問と資料で基準となる結果を残し、一つの設定を変えて比較します。改善が見えたら、設定を決める際に使っていない質問でも確かめます。少数の手元の例だけに合わせた変更が、別の入力では悪化する可能性があるためです。
記録の末尾には「変更した項目」「改善した例」「悪化した例」「未確認の条件」を書きます。成功した回答のスクリーンショット一枚より、この四項目のほうが次の作業を決める助けになります。検証を重ねるたびに、失敗の種類を少しずつ整理していくのが現実的です。
公開してよい記録と、内部だけの記録を分ける
配布するCSVは入力や出力を記録する枠を用意したもので、データを外部へ送信する機能はありません。ただし、自分でメールや共有フォルダーへ置けば、その内容は共有先に渡ります。患者情報、未公開の研究、利用者のメールアドレスなどは、そのまま例として配布しないようにします。
記録は「実行日時と版」「変更した一条件」「失敗を含む出力」「事前の判定基準」が一組になるようにします。公開用には架空の入力で同じ問題を説明できる小例を別に作り、実験結果とは区別します。配布シートにも、実行していない例を実測と取り違えない表示を入れました。
小規模検証の記録シート
入力、設定、出力、採点基準、失敗と次の変更を保存するための記録表です。
CSVをダウンロード無料・登録不要。UTF-8形式／架空の記入例1行付き。データを送信する機能はありません。
参考資料・出典
- Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- NeurIPS Proceedings — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Stanford CRFM — HELM GitHub repository
- HELM — Holistic Evaluation of Language Models
資料確認日：2026年9月16日。参照先の内容・提供条件は変更される場合があります。
更新・訂正履歴
2026年9月16日：記事固有の図解と確認例を追加。初回公開日は変更していません。
2026年9月16日：日本語表現を見直し、長い説明と命令形を減らしました。内容上の結論は変更していません。