2026/10/30 · Weekly Radar
Ai2 用 ICLR 2026 審稿意見建出新穎度評測基準，發現 LLM「新穎度評審」極不穩定：改一句 prompt 就讓 GPT-5.4 從 93.5% 掉到 40.9%，專門打造的評估器還輸給簡單 prompt 的 Claude Opus 4.6。
這篇是 Ai2 在 Hugging Face 部落格發表的研究介紹（由 Kyle Wiggers 代表 Ai2 撰文，對應論文 Old Ideas, Novel Problems，arXiv 2610.02022）。Ai2 釋出論文、基準、資料集、程式碼，以及一條可自動建出新評測集的流水線，用來測試「新穎度評審」——也就是判斷一個研究點子相對於既有文獻是否新穎的 LLM。Ai2 指出，各團隊在模型、prompt、格式、推理預算與檢索系統上各選各的，沒有標準方法，而且這些評審通常只在人寫的論文上驗證過，沒測過 AI 生成的點子。主要發現有三：設定上的小改動會造成截然不同的判決，某個實驗中改寫 prompt 讓 pairwise 準確率變動超過 50 個百分點；檢索與加大推理並不穩定有幫助；兩個專門打造的新穎度評估器表現不如一個簡單 prompt 的 Claude Opus 4.6 基線。
資料來源是 ICLR 2026 審稿意見。作者從審稿文字中挖出對原創性的明確評論，而不是拿錄取與否當新穎度的代理。高新穎度池為 154 個人類點子，取自各研究領域前 10%、審稿人稱讚新穎且無人質疑的已錄取論文；低新穎度池為 145 個點子，取自後 10%、審稿人提出原創性疑慮且無人稱讚的被拒論文。人工標註者在 50 個案例中有 47 個同意抽出的新穎度訊號極性，不一致的案例都不會改變審稿人的歸類。Human-Only 設定用兩個人類池測評審；Human+Generated 設定把 154 個高新穎度人類點子各配一個簡單 LLM 生成器產出的點子，生成器只拿到研究領域與「提出新穎點子」的指示，沒有搜尋、工具、迭代或回饋。作者把生成點子視為推定較不新穎，但這是弱標籤。專家複查了 30 組（偏重最強評審答錯的案例），30 組都偏好人類點子，認為沒有任何生成點子是新穎的；作者也把兩類點子改寫成共同結構，排除寫作風格成為線索。
受測評審包括 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6，分 pointwise（絕對評分）與 pairwise（選出較新穎者）兩種格式；一次只變動一個因素：prompt、推理預算、相關論文存取、點子格式、匯總判決數，以及用哪個模型生成 AI 點子。
prompt 措辭影響最大。GPT-5.4 在 Human+Generated 上，若 prompt 說明「審稿人認為每組中恰好一個點子新穎」，準確率 93.5%；改用較簡單的「哪個點子新穎」只剩 40.9%，低於隨機，超過一半的組別判決翻轉。兩種 prompt 下選中審稿人稱讚之人類點子的準確率分別為：Claude Opus 4.6 100.0% 對 72.7%、GPT-5.2 81.8% 對 76.0%、Claude Opus 4.5 92.2% 對 58.4%、GPT-5.1 79.2% 對 56.5%、GPT-5.4 93.5% 對 40.9%、Claude Sonnet 4.5 60.4% 對 36.4%。同樣的 prompt 變動在 Human-Only 上平均只移動約 7 點，但 Claude Opus 4.6 仍變動 21 點。沒有哪個 prompt 永遠最好：拿掉「別把瑣碎或漸進的工作當新穎」的警告，對某些評審有幫助、對另一些有害。
比較兩個 AI 生成器時（Claude Opus 4.5 對 Claude Sonnet 4.5、GPT-5.4 對 GPT-5.1），視 prompt 變動不同，各評審平均有約四分之一到三分之一的判決改變，作者認為這顯示 prompt 選擇會左右對不同 ideation 系統的比較。
更多搜尋與推理不一定有用：一個 agentic 評審（GPT-5.6 Sol、extra-high 推理、限 arXiv 的迭代搜尋）macro-F1 0.78，而 Claude Opus 4.6 搭配標準檢索五篇摘要達 0.89，agentic 設定每次判決的成本約高 10 倍。專門打造的評估器準確度更低、更貴：簡單的 Claude Opus 4.6 prompt、低推理、三次投票多數決，macro-F1 0.854、總成本 $2.59；Idea Novelty Checker（文獻檢索加重排序，Claude Opus 4.6）0.642、$30.66；Sakana AI 的 AI Scientist 評估器（迭代 Semantic Scholar 搜尋，Claude Opus 4.6）0.772、$82.05。
作者結論是 LLM 新穎度評估仍是開放問題：在人類論文上看似可靠的評審未必能遷移到 AI 生成的點子；對一個模型有幫助的 prompt 可能傷害另一個；更多算力也不保證結果一致。建議的方向包括：在評審實際要評的點子上測試、量測跨 prompt 與跨模型的敏感度、改善納入既有文獻的方式，以及建立隨文獻演進的基準。
AI 生成點子是弱標籤；專家複查只有 30 組且偏重最強評審答錯的案例；資料來自 ICLR 2026 審稿，未必能推廣到其他領域；標籤依賴本身就主觀的審稿意見。
花 $82.05 跑 Sakana AI Scientist 評估器，成績輸給 $2.59 的三次投票。「AI 科學家」流水線最該先自動化的，是檢查自己的評審有沒有在擲硬幣。