2026/10/30 · Weekly Radar
LangChain 用 111 份合成保險文件實測：把文件先編成附引用的 OpenWiki，跨文件問題準確率從 0.10 拉到 0.52，再加一層 cite／supersedes 型別邊的證據圖，準確率再升 27%、成本再降 58%；簡單查詢則完全沒幫助。
這是 Eugene Liu 於 2026 年 10 月 28 日在 LangChain 部落格發表的實驗文，探討如何用「編譯好的 wiki」加上「證據圖」作為 agent 的持久記憶，並以實測數據說明何時值得、何時不值得。
在政策、手冊、wiki、工單與程式碼之間工作的 agent，不只要找到相關段落，還要判斷哪些規則適用、什麼改過、來源之間如何互相影響。沒有持久記憶時，agent 每個問題都要重建這些理解，既貴又容易出錯，在條款常互相修訂與取代的銀行與保險業尤其困難。
一般 RAG 只撈出零散片段，留給 agent 自行拼湊關係。OpenWiki 是建在 Deep Agents 上的開源 CLI，把原始資料合成為互相連結、附引用的頁面，最初是為了讓 coding agent 不必每次重新認識架構。每條 wiki 陳述都對應一個 claim，連到來源行與其雜湊；來源變動時雜湊改變，不需呼叫模型就能標出受影響的 claim，只有被標記的才交給模型確認、修改或撤回。
語料為 111 份長篇合成保險文件，含過期版本、矛盾、間接引用鏈與超長文件；由一份 972 條事實的帳本控制事實出現位置、文件互引與版本變化。同一個檢索 agent、模型與指令下比較兩種條件：只用關鍵字搜尋原文（Search），以及額外可讀 OpenWiki（Wiki）。題目為 80 題簡單查詢與 50 題需跨文件追依賴的關聯題，每題問三次。指標包括依帳本評分的準確率、跨次引用證據的 Jaccard 重疊（一致性，作者強調只衡量來源穩定度而非正確性）、成本與延遲。
111 份文件編成約原大小十分之一的 wiki，花費 $4.15，之後每新增一份約 $0.09（不計入後續數字）。簡單查詢兩者相近：準確率 0.84 對 0.83，每個正確答案成本 $0.020 對 $0.021，延遲從 9 秒升到 12 秒。關聯題準確率從 0.10 升到 0.52，約五倍；每個正確答案成本從約 $0.55 降到 $0.19。但關聯題的引用重疊只有 0.25，作者認為在關鍵業務上，可重現、可稽核的證據和平均準確率一樣重要。
建構分兩步：先以確定性流程把每份文件切成有唯一 ID 的段落，讓 claim 能連到精確段落；再用型別邊連接段落、claim 與 wiki 頁面，包括 cite（claim 到段落）、supersedes（新文件到舊文件）與 refers_to（章節到其他文件）。部分邊來自文件中的確定性引用，其餘直接由 wiki 既有引用轉成，不需額外模型呼叫。整張圖不到一秒建好，解析了測試庫中所有明確交叉引用。作者定位它是證據導航層，而非完整的組織知識模型，也不同於靠模型抽取實體的重型知識圖譜流程。agent 用 locate（把問題詞對應到起始節點）與 expand（展開節點、沿單一邊型自動追多跳，遇分岔時由 agent 選擇）兩個工具走圖，作者承認這與 Microsoft GraphRAG 等系統相似。
加入證據圖後，準確率相對提升 27%（未給絕對值）、引用一致性翻倍、答題時間中位數減少 40%、每個正確答案成本降低 58%。
最適合反覆進行的跨來源推理；簡單查詢時搜尋一樣準又更快，建置與維護成本在企業規模下可能得不償失。作者認為只要重用夠多，例如多個 agent 反覆回答同一批分散來源的問題，省下的重建成本就能抵銷建置成本。下一步是更動態地建 wiki，只保留跨來源問題需要的脈絡，並把 claim 與型別邊延伸為語意、情節與程序性記憶的基礎。
回答成本未含編譯與更新成本；一致性不等於正確性；語料為合成資料，結果來自單一 agent 與 130 題；圖邊依賴模型產生的引用是否正確，且只涵蓋明確引用。
難得一篇記憶架構文肯老實寫「簡單查詢用不到」——只是語料是自己合成的，考題也是自己出的，主場作答、自己改考卷。