長い文脈を入れれば正確になる？「Lost in the Middle」から考える
入力できる量と、根拠を使える能力の違い。
論文を読む / 2023年公開の研究
この研究が問い直したこと
「Lost in the Middle」は、長い入力中の関連情報が置かれる位置によって、評価対象モデルの成績が変わることを示した研究です。調べられた課題では、関連情報が中央にある場合に性能が下がる傾向が報告されました。[1]
ここから直ちに「今の長文モデルはすべて中央を読めない」と結論することはできません。発表時のモデル、入力、課題による結果です。ただし、受け付ける文脈長だけでは、必要な根拠を使えるか判断できないという評価上の問いは残ります。
論文十本を一度に渡す前に決めること
たとえば、複数の論文で使われたデータ分割を比較したいとします。最初に必要なのは、一般的な要約ではなく「どのデータを、どんな単位で、どの比率に分けたか」という確認項目です。質問が曖昧なまま大量の文章を渡すと、流暢な全体像が返っても、比較に必要な条件が抜ける場合があります。
各論文から根拠となる節を先に取り出します。論文名、節番号、記載内容を対にしてから比較すると、確認の場所が明確になります。これは精度を保証する手法ではありませんが、答えが誤っていたときに、取得した根拠と比較の推論を切り分けられます。
自分の資料で位置の影響を確かめる
小さな検証を設計するなら、必要な記述が先頭・中央・末尾にある三つの入力を用意します。質問、正解、無関係な文章の量はできるだけそろえます。一つの質問だけでは偶然の影響が大きいため、異なる資料と質問でも繰り返し、失敗した例を保存します。
結果の文章が自然かどうかだけでは採点できません。「資料にある条件を正しく答えたか」「別の論文の結果を混ぜていないか」「根拠がないときに保留できたか」を個別に見ると、用途に合った比較になります。ここで示しているのは検証案で、当サイトが実測した成績ではありません。
長文入力と検索を組み合わせる判断
関連する段落を探しやすい資料なら、検索で候補を絞る方法が考えられます。一方、文書全体の構成や離れた部分の関係が重要なら、狭く切り出すことで必要な情報を失う場合もあります。文脈長と検索のどちらか一方を選ぶのではなく、質問の性質と確認可能性から組み合わせを考えます。
モデル名に加えて、利用した版と入力の長さを記録します。資料の配置と出力の制限も残します。将来別のモデルに変えたときにも、同じ材料で比較をやり直せます。
手元で試すための、条件をそろえた質問セット
説明用に「架空の会議Aは10月12日、会議Bは10月19日」と書いた根拠文を用意し、「会議Aは何日か」と質問します。同じ根拠文を先頭・中央・末尾へ置き換え、残りの文章と質問は変えません。固有名詞や日付まで変えると、位置以外の難しさも変わってしまいます。
最初の三条件を記録した後で、文書の長さや似た記述を追加する条件を一つずつ増やします。結果には正答・誤答だけでなく、会議Bの日付へ取り違えたか、本文にない日付を作ったかを残します。この設計は提案であり、当サイトで長文モデルの性能を測定した結果ではありません。
| 条件 | 根拠の位置 | 固定する内容 |
|---|---|---|
| P1 | 先頭 | 質問・根拠文・ほかの文書 |
| P2 | 中央 | 質問・根拠文・ほかの文書 |
| P3 | 末尾 | 質問・根拠文・ほかの文書 |
参考資料・出典
- Liu et al. — Lost in the Middle: How Language Models Use Long Contexts
- ACL Anthology — Lost in the Middle: How Language Models Use Long Contexts
- TACL / MIT Press — Lost in the Middle
- HELM — Holistic Evaluation of Language Models
資料確認日：2026年9月16日。参照先の内容・提供条件は変更される場合があります。
更新・訂正履歴
2026年9月16日：記事固有の図解と確認例を追加。初回公開日は変更していません。
2026年9月16日：日本語表現を見直し、長い説明と命令形を減らしました。内容上の結論は変更していません。