LoRAとRAGはどう違う？更新したいものから選ぶ
文書の追加と、モデルの振る舞いの調整を分けて考える。
仕組みを比較 / 基礎文献：2020年・2021年
まず、変更する場所が違う
LoRAの原論文は、学習済みモデルの重みを固定し、低ランクの行列を使って学習するパラメータを抑える方法を提案しています。[1] モデルを特定の課題へ適応させるための学習方法であり、単に外部文書を渡すこととは異なります。
RAGは、外部から検索した情報を生成に利用する考え方です。[2] 「新しい資料にアクセスさせたい」のか、「特定の形式や課題での振る舞いを調整したい」のかを分けると、両者の役割を整理しやすくなります。どちらも正確さを自動的に保証する仕組みではありません。
大学の規程が更新されたら
次は説明用の想定です。大学の申請期限が変わり、案内システムが古い日付を答えているとします。検索対象に新しい規程が入っていないなら、最初に直すべきなのは資料の取り込みと版の管理です。回答の文体を追加学習しても、参照する規程が古いという原因は残ります。
逆に、正しい資料を取得しているのに、回答を指定した項目に整理できない場合は、指示文と出力形式の設計から試せます。それでも繰り返し失敗し、十分な学習例を用意できるなら、学習による適応を検討する余地があります。問題を観察せずに学習を始めると、不要な費用と確認作業を増やしかねません。
組み合わせる場合も、評価は分ける
LoRAによる適応と検索を併用する設計も考えられます。その場合、資料の取得が改善したのか、回答の形式が改善したのかを別々に見ます。一度に両方を変えて総合点だけを見ると、どちらが効果を生んだかが分かりません。
たとえば同じ質問と同じ文書を使い、適応前後のモデルを比較します。その後、モデルを固定して検索の設定を比較します。これは当サイトが提案する切り分け方です。個別の製品にそのまま使える設定値ではなく、原因を一つずつ調べるための順序です。
小さく始めるための確認事項
準備する資料には、更新頻度、利用権限、削除や差し替えの必要性を書き添えます。毎週変わる資料と、変化の少ない書式のルールでは、管理すべきものが違います。学習データに機密情報が混ざる場合は、学習の可否と、モデルや成果物の共有範囲も確認します。
最終的には、質問ごとの根拠一致と形式の正しさで判断します。待ち時間や維持作業も見ます。名前が新しい技術を先に選ぶより、どの失敗を減らすための変更なのかを一文で説明できる状態にすることが、導入を進める土台になります。
LoRAの行列を、数だけで考える小例
単一の4,096×4,096の重み行列を考えます。要素数は16,777,216です。ランク8の二つの行列で更新分を表す説明例なら、4,096×8＋8×4,096＝65,536要素になります。これは元の行列の約0.39％です。式から求めた数であり、特定モデルのメモリや料金を実測した値ではありません。
この比率は、そのままモデル全体の費用削減率として使えません。対象とする層、残しておく元の重み、勾配や最適化に使う状態などが別にあるためです。RAGの費用とも同じ基準では比較できません。どこが減り、何が残るかを区別するための計算です。
参考資料・出典
- Hu et al. — LoRA: Low-Rank Adaptation of Large Language Models
- Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Microsoft Research — LoRA: Low-Rank Adaptation of Large Language Models
- Microsoft — LoRA implementation repository
- NeurIPS Proceedings — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
資料確認日：2026年9月16日。参照先の内容・提供条件は変更される場合があります。
更新・訂正履歴
2026年9月16日：記事固有の図解と確認例を追加。初回公開日は変更していません。
2026年9月16日：日本語表現を見直し、長い説明と命令形を減らしました。内容上の結論は変更していません。