GitHub Radar

這篇是 Anthropic Alignment 團隊（Amaç Herdağdelen、Hailey Joren、Alex Tamkin）的研究：當 AI agent 替專家做分析時，專家是否仍掌握關鍵判斷，還是會順從 agent？作者指出，決定量什麼、如何解讀模糊證據、下一步做什麼，這些判斷常常不只一個合理答案。

研究設計

從預先篩選的人才庫招募 61 位專業分析師，皆經常使用 Python 或 R、通過因果推論知識測驗、有觀察性因果分析實務經驗。其中 11 人選擇不用 agent，除另註明外不計入，剩 50 人。任務是替虛構的 Greenfields 農業合作社判斷：一個自願付費、約 40% 會員參加的輔導計畫該補助擴大還是停辦。董事會只在生產力提升約 3–4% 時擴大，但沒定義生產力怎麼量。

任務有四個開放的分析決策，各有兩個合理選項：結果指標（每公頃產量或每單位營運成本產量）、比較方法（差異中的差異或統計調整後的直接比較）、涵蓋範圍（只看參加農場或全體會員）、權重（每個農場等權或大農加權）。最終建議為推行、停辦或延長一年（算作不推行）。

操弄方式：以擲硬幣暗中決定每位分析師的 agent 在每個決策上偏向哪個選項。agent 被要求為其傾向提出最強的誠實論證，證據決定性地反對時要改變想法，且絕不誤導。環境是網頁版 VS Code 中的 Claude Code，跑 Claude Opus 4.8、High effort。任務時間中位數 65 分鐘；50 人中 65% 具碩博士學位或六年以上經驗，48 位填問卷者中 90% 自評熟練或專家。另由一個 AI 模型從提交內容與程式碼記錄每人的選擇，與問卷答案不一致時由作者裁定。

結果

整體而言，分析師的選擇有 86% 與 agent 的傾向一致，而若 agent 毫無影響應約為 50%。分決策看：結果指標 92%、比較方法 82%、涵蓋範圍 81%、權重 90%。最終建議方面，agent 偏向推行時 54% 建議推行，偏向另一邊時為 36%；作者認為效果較弱是因為建議大多取決於估計值是否跨過 3–4% 門檻。只用四個傾向，統計模型就能預測 82% 的建議，而一律猜最常見答案只有 61%。

事前偏好：38 個案例中分析師在 agent 發言前已有偏好。agent 不同意時他們有 60% 改變主意，agent 同意時只有 6%，差距 54 個百分點（95% 信賴區間 24 至 82），作者提醒這個估計不精確，也未必是因果。誰比較會順從：測了經驗、自評專業、學歷、測驗分數、AI 信任度、AI 使用頻率、認知需求、開放心態、性別、年齡等 10 項特徵，只有年齡顯著，且經多重比較校正後消失；多數人大部分時候都跟著 agent，可解釋的變異很少。

擁有感：52% 認為最終建議比較是自己的而非 agent 的，但兩群人受 agent 影響的程度相近（約 65 對 79 點，差異在誤差範圍內）。在 0–100 量表上，四個決策全跟著 agent 的人信心平均 71，其餘為 73。解釋方面，77% 在至少一題任務後回答中複述 agent 的論點，有時一字不差，但只有 15% 把功勞歸給 agent；48 人中有 6 人猜到研究和 AI 影響有關，沒有人懷疑 agent 的偏好被操弄。

不用 AI 的對照：11 位不用 agent 的分析師中有 6 人（55%）犯了嚴重方法錯誤，使用 agent 的 50 人中只有 3 人（6%）；不用 agent 組耗時中位數 90 分鐘對 65 分鐘。作者強調兩組不可比，不用 agent 組經驗較少。圖表標註了 agent 偏 B 與偏 A 時選擇 A 的比例：結果指標 0% 對 82%、比較方法 28% 對 92%、涵蓋範圍 38% 對 100%、權重 22% 對 100%、建議 36% 對 54%。

侷限

作者刻意讓 agent 的偏好強烈且明說，真實 agent 的傾向可能較弱；在沒有指定傾向時，Claude Opus 4.8 在 123 次執行中有 112 次做出相同的五個選擇。研究範圍很窄：一個一小時任務、一個領域（分析師不熟的農業）、一個模型，真實專家熟悉自己的領域，也可能透過訪談或利害關係人對話收斂選項。效果是平均值，且未在傾向出現前記錄偏好，無法衡量個人層級的影響；也沒量測分析師偏好的強度，沒有強烈意見的人自然更會順從。

意涵

個人能動性：專家可能失去對自己工作的掌握，作者將此連結到「disempowerment」——作品仍署專家之名，關鍵決策卻反映 agent 的先驗。科學共識：若許多團隊順從共享偏好的模型，他們的一致就不是獨立的，表面共識可能只是一個模型的偏見。AI 安全研究：human-in-the-loop 監督假設人類提供獨立檢查；作者也指出，沒有被指定傾向的 agent 自身偏好較弱，有時還會反駁使用者。偵測困難：錯誤檢查與標準答案抓不到判斷上的順從，因為不論選哪個選項，成果看起來都合理。

未來方向包括：在日常情境量測順從；設計會為每個選項提出最佳論證、或先詢問專家意見的 agent（同時承認決定要提出哪些決策本身就是判斷）；以及由機構決定哪些決策需要人的獨立判斷並保護做這些判斷所需的技能。結語是：人與 AI 的分工也許沒有唯一正解，但有了對的工具，這個分工可以是人主動選擇，而不是不知不覺地漂流過去。