LLMは「睡眠」で忘れにくくなるのか：Sleep Frameworkを読む

LLMが新しい知識を残しにくい理由

通常の大規模言語モデルは、会話中の情報を文脈として利用できる。しかし、そのセッションが終われば、情報はモデルの重みへ自動では残らない。反対に、新しいデータで重みを繰り返し更新すると、以前できた課題の性能が落ちる「破局的忘却」が起こり得る。新しい知識を覚える柔軟性と、古い能力を守る安定性が衝突する。

Sleep Frameworkは、この衝突を「覚醒」と「睡眠」の周期に分けて扱う。覚醒中は入力を短期記憶へ取り込み、睡眠中は新しい入力を止め、短期記憶の要点を長期パラメータへ移す。名称は生物学から借りた比喩であり、人の睡眠と同じ仕組みだと示した研究ではない。

提案の土台はHopeと呼ばれる多段階の記憶アーキテクチャである。更新頻度の高い層から低い層までを並べ、情報を長く残す層ほどゆっくり更新する。そのため、一般的なTransformerへ「睡眠ボタン」を追加する話ではなく、学習時から記憶階層と更新周期を設計する方式として読む必要がある。

Sleep Frameworkの二段階

第一段階はMemory Consolidationである。モデルは、あらかじめ用意した低ランクのMixture-of-Experts領域を順に有効化し、更新頻度の高い短期側から、低頻度の長期側へ知識を蒸留する。教師は小さく有効化された現在のモデル、学生は新しい容量を開いた大きいモデルである。古い重みを直接書き換え続ける代わりに、新しい容量へ情報を移すことで干渉を減らす。

蒸留には、学生自身が生成する系列上で教師分布を学ぶon-policy distillationと、教師が作った続きへ意味的に近づける模倣学習を組み合わせる。統合が終わると、高頻度側の一時的な領域をリセットし、次の入力に備える。容量を増やすこと自体が忘却を解決するのではなく、どの知識をどの層へ移すかが中心になる。

第二段階のDreamingでは、モデルが練習用の合成データを作る。通常とは異なる専門家もランダムに選び、候補の勾配を調べ、改善に寄与しそうな例を残す。選んだ例でLoRA微調整を試し、下流課題の成績が上がった生成へ報酬を与える。自動で夢を見るというより、「自己生成した練習問題を評価し、役立つものだけで学ぶ」工程に近い。

数値が示した改善幅

数理推論ではQwen3-8Bを使い、各問題を16回生成した平均値を報告する。Sleepは三つのベンチマークで最良だったが、改善幅は一様ではない。AIME 2024では基盤モデルから5.4ポイント伸びた一方、AIME 2025では0.9ポイントである。SFTが一部の指標を下げる結果もあり、「学習回数を増やせばよい」わけではないことが分かる。

新事実の取り込みはSQuAD由来の文章で評価された。200文章を一度に継続事前学習し、対応する974問へ文脈なしで答える条件では、四段階記憶のSleepが46.2、比較対象のSEALが43.2だった。Dreamingを外すと36.2まで下がるため、この実験では合成練習が差の大部分を担う。ただし、46.2は正答の半数未満であり、知識更新が解決したとは言えない。

少数例の抽象推理にはLlama 3.2 1BとARCを使う。学習用11課題、評価用8課題へ絞り、各睡眠周期で1課題あたり60個のDreamを作り、そのうち45個を棄却する。評価時にも未知課題ごとに5個のDreamを別々に適用した。成功率はSleepが80%、SEALが72.5%、test-time trainingが10%、ICLが0%だった。

80%だけを見ると大きな差に見えるが、評価対象は8課題である。さらに「標準条件で解けない課題」を除いた部分集合を使うため、ARC全体への一般化や統計的な安定性は分からない。この結果はDreamingの可能性を示す小規模な概念実証であり、汎用的な抽象推理能力の獲得を証明するものではない。

クラス増分学習では、CLINC、Banking77、DBpediaを順に学ぶ条件でもHopeが比較手法を上回ったと報告される。これは新しい分類群を覚えながら以前の分類を保つ試験であり、一般知識を自由に更新する評価とは異なる。論文の図は傾向を示すが、本文表に全数値が掲載されていないため、本稿ではグラフから値を読み取って掲載していない。

1000万tokenをどう読むか

公式解説は「1000万tokenまで長文知識を保持」と紹介する。根拠はBABILongで、短い推論課題に必要な事実を大量の文章へ埋め、入力が長くなっても取り出せるかを測るベンチマークである。論文の補足によれば、Hopeは約100万tokenまではTitansやARMTと同程度で、それを超えても1000万tokenまで安定した。

ここには重要な条件がある。比較された小型モデルは、すべてBABILongの公式手順で微調整されている。補足は、Hopeを含む全小型モデルが微調整なしでは大幅に性能を落とすとも記す。したがって、1000万tokenは任意の文書をそのまま読み、幅広い質問へ答えられる汎用コンテキスト長ではない。特定課題へ学習した記憶機構が、合成された長文内の必要情報を保持できた結果である。

BABILong自体は20種類の推論課題を含むが、実世界の長文には、表、図、曖昧な記述、矛盾する版、引用関係が混在する。長い入力での検索能力と、研究論文全体を正しく理解する能力は分けて評価しなければならない。

RAGや微調整との違い

Sleepは、RAGを不要にする代替手段というより、知識をどこに置くかが異なる。外部記憶は出典の差し替えや削除が容易で、誤りを戻しやすい。重みへの統合は、毎回検索せずに技能や抽象化を残せる可能性がある一方、学習コストとロールバックの難しさが増す。更新頻度、監査性、必要な再現性に応じて使い分けるべきである。

変わりやすい法令、価格、在庫、論文の最新版は、出典を確認できる外部記憶が向く。反復する技能や多くの経験に共通する規則は、重みへ統合する価値があるかもしれない。実務では、まずRAGと評価ログで更新の必要性を確かめ、頻繁に再利用される知識だけを学習候補へ進める方が監査しやすい。

実運用へ移す前の判断

この研究は、継続学習を単発の再学習ではなく、入力、統合、評価、回復を含む周期として設計する視点を与える。一方、論文はプレプリントで、公開コードへのリンクは確認できない。モデル全体の生涯コスト、同じ条件での壁時計時間、保存容量、安全性、誤った自己評価が繰り返された場合の挙動も、運用判断に十分な形では示されていない。

特にDreamingの報酬は、下流課題の成績が上がったかどうかで決まる。正解を自動判定できる数学や合成課題では扱いやすいが、事実の新しさ、説明の妥当性、価値判断が混ざる現場では評価器そのものが誤る。誤った基準で選別を繰り返せば、モデルが自分の誤りを強化するおそれがある。統合前の候補重みを隔離し、人が承認できる評価項目を別に持つ必要がある。

容量面でも、睡眠のたびに低ランク専門家を有効化する設計は無制限には続けられない。論文は一時的な高頻度パラメータをリセットするが、長期側へ追加した容量の整理や、古くなった知識だけを安全に消す方法までは確立していない。長期運用では、追加量の上限、統合周期、廃棄条件を一つの性能指標とともに記録する必要がある。

次に必要なのは、公開実装と第三者の追試、より自然な長期タスク、複数周期をまたぐ忘却の測定である。現段階の結論は「LLMが眠れば自律的に賢くなる」ではない。追加容量、蒸留、合成練習、評価を一つの周期へ組み込み、特定の評価条件で通常の微調整やSEALを上回った、という範囲に置くのが妥当である。

この記事の限界

• GGWSはSleep Frameworkを実装・再現しておらず、数値は著者らの報告を条件付きで整理したものです
• 原論文はプレプリントで、公開コードと独立した再現結果を確認できません
• OpenReviewの初期投稿版とarXiv v2には差分があり、本稿は新しいarXiv v2を数値の基準にしました
• 計算資源、学習時間、容量増加、安全性を含む本番運用の比較は不足しています
• 睡眠との対応は設計上の比喩であり、神経科学的な同等性を示すものではありません