GitHub Radar

這篇是 Google Research 的 Ali Behrouz 與 Vahab Mirrokni 介紹「sleep framework」的部落格文章（論文 arXiv 2606.03979，致謝中另列 Cornell 的 Farnoosh Hashemi 與 Google／USC 的 Adel Javanmard 為共同作者）。文章指出，部署後的 LLM 大致是靜態的，有固定的知識截止點，而兩種常見解法各有問題：持續更新參數會造成災難性遺忘，學新任務會讓舊任務退化；in-context learning 只把資訊留在 context window 內，對話結束就消失。作者提出讓 LLM 進入「主動互動」與「離線記憶整合」交替的週期，宣稱能讓模型持續吸收事實、保留長達 10M token 的長脈絡知識並提升推理能力。

清醒期與睡眠期

框架拋棄訓練與推論的嚴格切分，定義兩種狀態：清醒期，模型處理輸入，把暫時資訊存進快速的短期記憶；睡眠期，模型停止處理新輸入，進行記憶整合與自我改進。文章強調神經科學用語只是比喻，框架在固定架構與人類定義的訓練規則下運作。睡眠時模型會解鎖預先配置的 Mixture-of-Experts（MoE）記憶區塊，並用自生成的練習範例更新權重。

記憶整合

這一階段比照 NREM 慢波睡眠，有三個機制。參數擴展與連續記憶階層：模型在睡眠期增加容量，透過 MoE 與 Hope 架構，把新解鎖的低秩 expert 併入穩定、低頻的記憶區塊，不干擾舊參數。知識播種（向上蒸餾）：把高頻層裡的短期記憶搬進新的長期參數，使用 Generalized Knowledge Distillation（GKD）結合基於 RL 的模仿學習，包含 on-policy 蒸餾（學生在自己取樣的序列上學習教師分佈的 token 級回饋）與 learning to imitate（學生補完教師生成文字的前綴時，依語意與絕對相似度——Levenshtein 距離——給獎勵）。突觸修剪：整合完成後重置暫時的高頻參數以釋出容量。

做夢與自我改進

這一階段比照 REM 睡眠，跑一個自主自我改進迴圈：生成合成資料時讓 MoE router 隨機啟用非常規的 expert，混合不同領域以挖出潛在模式；模型生成合成樣本（「夢」），再用基於梯度的資料篩選留下最可能提升整體能力的樣本；最後對評分最高的夢樣本做監督式微調，並檢查下游表現是否改善。

理論基礎

知識播種被框定為低秩壓縮問題：模型保留一組精簡的方向，同時保住自身 on-policy 行為與目標函數獎勵的語意特性；on-policy 蒸餾縮小訓練與推論的落差，語意獎勵讓意義優先於 token 機率匹配；參數擴展則提供不覆蓋舊知識的儲存容量。做夢部分，隨機 expert 啟用拓寬合成生成時探索的梯度方向，梯度篩選留住最有資訊量的更新，作者主張兩者合起來形成更平衡、條件更好的最佳化地形，讓精煉更穩定。

結果

持續翻譯（未見過的語言 Manchu 與 Kalamang）：多階段評測中表現下降「接近零」，ICL、Cartridges 與 SFT 在序列學習中都出現嚴重災難性遺忘。長脈絡（BABILong）：近乎完美地擴展到 10M token，藉由睡眠期把長脈絡資訊壓進參數記憶，勝過 GPT-4 與 Titans。事實知識（SQuAD 與持續預訓練 CPT）：單任務 48.9%、CPT 46.2%，勝過基礎模型、SFT 與 SEAL，且未損及既有表徵。數學推理：AIME 24 79.2%、AIME 25 69.0%、HMMT 25 46.1%，勝過 SFT、GRPO 與 on-policy self-distillation（OPSD），但文中沒給基線的確切分數。

結論與缺口

作者把睡眠範式視為通往自主、持續學習系統的路徑：交替主動學習與離線整合，讓 LLM 保留短期記憶、把技能轉成長期參數並在不遺忘的情況下自我改進。文章沒有獨立的侷限段落，也缺少判斷結果所需的細節：多數比較（尤其數學推理）的基線分數、睡眠週期的算力與效率成本、參數擴展如何擴張、模型大小與評測設定；「接近零」的遺忘也只是定性描述。這些需要回頭查論文。