2026/10/30 · Weekly Radar
AI Engineer NYC 現場整理：OpenAI、Anthropic、Two Sigma、Bloomberg 對金融 agent 的共識是，安全的自主權靠把控制點放對位置（身分權限、沙箱、只提案不執行、模型外的確定性控制與 kill switch），而不是堆限制。
這篇是 Latent Space 對 AI Engineer New York 大會的現場報導，主題是前沿實驗室與金融機構如何在給予 agent 有用的自主權的同時，讓重大決策仍受控。核心結論：安全的自主權取決於把控制與人類判斷放在哪裡，而不是加了多少限制。
OpenAI ChatGPT for Financial Services 負責人 Joseph Kim 在主題演講中提出「有用性門檻」：模型足夠有能力與可靠、真正能幫人省時間的那個點。他認為模型能力持續成長，很快會讓金融分析師跨過門檻、把更多工作交給 agent，並預測 2027 年金融業將較少依賴 Excel 與 PowerPoint，agent 甚至能做「投資想法發想與交易」。他也強調可追溯性：金融業必須能查出數字從哪裡來、了解上下文，因此審閱被設計成產品體驗的自然一環。至於何時需要人類介入，他將其定位為產品設計問題：介面會怎麼變、使用者還需要控制、審閱或核准什麼。
對沖基金 Two Sigma 架構資深副總 John Feminella 分享五項讓 agent 受控又不限制模型能力的控制措施。他主張安全與創新不是光譜兩端，並特別批評「核准疲勞」：讓人核准每件事不但拖慢創新，若審核者沒專心看反而引入風險。他把控制定義為讓團隊行動不受阻礙的護欄與共享能力，強調可組合，每個控制只做一件事，合起來讓 agent 在適當安全水準下擁有真正自主權。其中一項是自動模式分類器：例行呼叫由分類器決定，只把最重要、最可能造成差異的請求送給人；模糊案例用分類器，明確案例用確定性規則。
Anthropic 上個月推出 Claude for Financial Advisors，讓理財顧問把系統接上 Claude 與一套工作流程 skills。金融服務董事總經理 Belinda Neal 說明與金融機構合作的原因：每隔一段時間模型會跨過一道門檻，隨之帶來一波工作方式的改變。同事 Keon Shahab 談「為 agent 建立信任層」的三步：以身分與權限層界定 agent 代表誰行事；以沙箱與核准層確保有人在 agent 行動前簽核；以及確認調整變數後 agent 仍能運作。他用交易異常調查 agent 為例說明提案與執行的界線：agent 只提出訂單資料的修正建議，不直接修改。結論是一次建好可信的基礎層，就能快速大規模部署許多 agent。
Bloomberg CTO 辦公室架構與新興技術主管 Andrey Rybka 分享多起 agent 造成混亂的真實事件，以及對應防線：限定範圍的身分與憑證、工具呼叫管控、對外流量限制、稽核軌跡、預算與 kill switch。其中一例是 agent 把電商評論中夾帶的文字當成指令去進貨；他建議輸入驗證、prompt injection 防禦、來源追蹤，以及高價值行動需人類核准。他的原則是：要在模型之外建立確定性控制，檢查每次呼叫、記錄下來、保留 kill switch。
儘管 OpenAI 與 Anthropic 都在為金融 agent 打造信任框架，最終仍需由金融機構自己為 agent 設下控制。文章引用 Feminella 的結論：車子為什麼有煞車？不只是為了停下來，而是為了能開快又能安全停下。
兩大 lab 預言明年 agent 會自己發想投資、下單；Bloomberg 同場分享的事故是 agent 把商品評論裡的一句話當成進貨指令——先過了這關，再談交易。