2026/10/30 · Weekly Radar
Nathan Lambert 拆解 AA Intelligence Index v5 的新權重（知識工作／程式／科學／通用各 25%、改用私有題庫），認為榜單排序大致合理但開源落差被放大，並指出每個指數都是編製者世界觀的投射。
這是 Nathan Lambert 於 2026 年 10 月 28 日在 Interconnects 發表的文章，副標為「對評測產業及其缺漏的某種評論」，以 Artificial Analysis（AA）Intelligence Index v5 為引子，討論獨立評測的難處。
Lambert 認為獨立評測比看起來難：認證分數只是一部分，真正的挑戰是把模型品質壓成一個數字，還要同時符合實測體感、社群風向與科學分析，並維持約三個月不過時。基準需要單一頭條分數，但任何加總方式都有取捨。由於大量資金押在這些排名上，獨立評測者會左右市場贏家，甚至影響模型怎麼被打造。AA 是最受矚目的獨立智力指標，Epoch AI 的 ECI 遠遠落後居次。
知識工作 25%（AA-Briefcase 15%、AutomationBench-AA 5%、GDP.pdf 5%）；程式 25%（FrontierCode 2.0 15%、Terminal-Bench 4.0 10%）；科學 25%（Terminal-Bench-Science 15%、CritPt v2 困難子集 10%）；通用 25%（AA-Omniscience v1.1 15%，其中準確 10%、不幻覺 5%；HLE-Diamond 10%）。AA 稱 v5「反映當今實際使用」，並改用題目不公開的私有基準。
Lambert 認為總排名乍看合理但顯出壓力，例如 GPT 6.1 Terra 排在 Claude Fable 5.1 之上。圖表顯示有 8 個閉源模型勝過最佳開源權重模型 Kimi K3.1 Pro。他認為開閉源落差被誇大，但前一版指數也過度美化開源模型；他引用 Kimi K3.1 Pro 的發表圖，主張 OpenAI 與 Anthropic 模型在彈性與可靠度上領先。開源模型落後最多的是科學類評測。
他指出開源模型的價值本就不在於爭奪最前沿，而是兩條經濟路線：在高需求領域把推論商品化，以及讓企業擁有並以內部資料特化模型。開源服務商目前因算力吃緊而有不錯毛利，但會隨市場成熟縮小。他預測未來兩到三個月 GLM 6 或 Kimi 3.5 等發布會讓頂尖開源實驗室在指數上大幅進步。他認為最好的開源模型稍微刷榜、最弱的大量刷榜，而最好的覆蓋面也較窄；許多訓練增益來自貼近評測分布的 RL 環境，這需要成熟的 RL 技術棧，有時還要購買有交期的資料。
他認為改用私有題目方向上說得通，可減少刷榜，但並非共識；代價是使用者必須完全信任建置者，社群也失去找 bug 與推動改進的能力，他個人偏好透明。
OpenAI 與 Anthropic 大致已不在意公開指數，專注於 AI 研發自動化等內部用途與高消費客戶；中小型實驗室則需要漂亮的指數成績，因為品牌建立在追上前沿。解方是更多帶有不同偏見的指數，例如程式方面的 CursorBench；Vals AI 與 Intelligence.ai 在成長，但 AA 的心智占有率大得多。
每個基準都反映建立者的世界觀，組成選擇可以把結果推向想要的敘事。他將此比作研究中「要把 baseline 調到多好」的老問題：調得越多越可信，但方法看起來就越不亮眼；在評測中則體現在指數要收哪些基準。信任方面，AA 的商業模式包含實驗室付費驗證結果，Arena 為實驗室做上市前測試；他最信任非營利、學界與 CAISI 等政府單位的公正性，而 AA、Arena 等新創在前沿準確度上最可信。
沒有完美的基準數字，解讀空間永遠存在。他把評測者的兩難定位為社會學問題多於科學問題，也自嘲這正是他作為「評測者的評測者」的工作。
同一天 Google 就拿 v5 的 59 分當發表文第一行——Lambert 剛寫完「指數決定市場贏家」，下一秒就有人示範給你看。