GitHub Radar

這是 Latent Space 播客的一集（署名新任共同主持人 Basil Chatha，訪問者為 Vibhu），來賓是 Modal CEO Erik Bernhardsson，在 Modal 完成 D 輪前後錄製。兩年前 Erik 在節目上描述過他的 serverless AI 基礎設施願景：開發者不必配置叢集、也不必為閒置資源付費。自 50 億美元估值的 C 輪以來，Modal 的年化營收突破 10 億美元，以 160 億美元估值完成 7.5 億美元 D 輪，累計啟動近 30 億個 sandbox。這集聚焦在成長背後的基礎設施與經濟學，以及為什麼算力需求很少和容量合約的形狀吻合。

GPU 需求不是長方形

典型的容量合約是在固定期間內提供固定數量的 GPU，畫在時間軸上就是一個長方形；但真實工作負載會成長、會在一天內起伏。照尖峰採購會浪費硬體，買少了又會錯過需求。Modal 的賭注是一種期限轉換：匯集數千客戶的需求，在底層鎖定容量，讓每個客戶需要時再取用。Erik 的說法是：「總需求越平滑，這個池子就越有用。」節目把它和 SF Compute 的 Evan Conrad 對照：Evan 讓容量可以交易，Erik 則把容量切成更小、更有彈性的片段。風險在另一頭：用今天的價格鎖定容量，價格下跌時就會被高價供給套牢。Erik 不認為短期會崩，但坦言「我其實更擔心價格崩盤」。

Sandbox 的故事

Modal 在 2023 年推出 sandbox，因為 Erik 和共同創辦人 Akshat Bubna 意識到語言模型會生成程式碼，這些程式碼需要地方執行。初期採用不多，團隊甚至討論過要不要砍掉這個產品；後來是 coding agent、背景 agent（例如 Ramp）、vibe coding 公司（例如 Lovable）和強化學習 lab 帶動成長。現在 sandbox 約占營收三分之一，Erik 說推出時完全沒料到。agent 會反覆建立環境、執行程式、檢查結果、重試，所以啟動和還原的延遲直接成為產品體驗的一部分。Modal 用 GPU 緩衝池、自製檔案系統、process checkpoint 和 GPU 記憶體快照來縮短新模型副本上線所需的工作。

公司起源

Erik 在 Spotify 待了約七年，打造音樂推薦系統（相關藝人、Discover Weekly、大量矩陣分解），也開源了工作流框架 Luigi；之後在 Better.com 擔任約五年 CTO，把技術團隊從幾個人帶到數百人。2021 年左右開始醞釀 Modal，長期自掏腰包、一段時間不支薪，2022 年初拿到種子輪。Stable Diffusion 是第一個大型用例：營收從 2022 年 11 月每月約 100 美元，到隔月約 2,000 美元，再到 2023 年 1 月約 30,000 美元；2023 年初大部分營收來自紐約客戶 Mage，之後逐漸分散，Suno 是後來的大客戶。成長主要靠 Erik 本人大量發文和寫部落格。

為什麼重造工具

Erik 的論點是每個技術世代都會長出新的工具需求：Kubernetes 和 Docker 是為穩定、低使用率、CPU 便宜的工作負載而生，GPU、大模型和突發需求需要不同的工具。因此 Modal 自己做了檔案系統、CPU/GPU 快照、autoscaler、排程器和容量管理工具，並且很早就決定多區域部署，把容量當成單一全球池，Erik 認為這是影響最大的早期決策之一。Modal 最近達到約四到五個九的可用性。

GPU 從哪來、租還是買

早期主要用 AWS、GCP 的 spot 與 on-demand 容量，另外很早就加入 Oracle 取得 A100、H100 的價格優勢；跨多區域匯集讓可被搶占的 spot 容量變得可行。近來供給吃緊，Modal 現在和約 25 家雲端合作，很多合約要求三年以上期限和可觀的預付款。公司有約 4 人的全職採購小組負責聯絡和審核 neocloud，約 10 人的團隊處理裸機維運（網路、壞硬碟、GPU 掉線），並用私下的「Modal Max」評分表追蹤供應商的回應與修復速度；也會拼湊像亞美尼亞 32 個節點、印尼 128 個節點這種大買家看不上的容量。目前硬體全部用租的，Erik 認為「軟體公司一般不適合擁有硬資產」，但不排除合資或結構化融資。

價格、稀缺與風險

Erik 認為 GPU 容量沒有真正被壟斷，Nvidia 每月出貨數十萬顆；長期來看硬體價格會下跌，目前的價格飆升可能只是暫時的，只是時間點不確定。稀缺讓 Modal 能收比較高的價格，長期預約等於持有 GPU 多頭部位；稀缺租金主要流向 Nvidia 和 neocloud 等容量擁有者。他提醒在高點進場、接著遇上需求或價格崩跌可能非常慘烈，並把激進囤容量比作 Hunt 兄弟失敗的白銀壟斷，同時強調 Modal 的擴張速度和需求成長相符。他預言「非 Nvidia 加速器之年」已經好幾年，認為 2027 年也許終於會到來，提到 TPU、Cerebras、Groq，以及 Nvidia 做 prefill、Cerebras 做 decode 的混合架構，但軟體仍是主要障礙。

產品與策略

Modal Functions 在 2021 年推出，2023 年達到產品市場契合，約占三分之二營收，主要是推論；Sandboxes 約占三分之一，並新增完整 VM 以支援需要完整 Linux 相容性的工作負載。未來方向包括中小型訓練（研究者、計算生技、推薦團隊）、批次工作（有客戶在幾天內轉錄了約 5,000 年份的音訊）、語音等低延遲工作負載，以及 SFT、RL 等後訓練。Sandbox 的下一步是 fork、快照、恢復、live migration，以及把 agent、harness 和 sandbox 分離；他設想長時間運行的 agent 大部分時間在休眠，需要時在約 100 毫秒內啟動短命 sandbox，讓每個測試都能在自己的 sandbox 裡跑。

安全、開發者體驗與組織

Anthropic 的 managed agents 提供自帶 sandbox 的 Modal 整合。關於 Hugging Face 事件，Erik 說是部署在 Modal 上的應用程式被攻破，平台本身沒有被入侵，Modal 正在研究更安全的預設值，也用 agent 在內部嘗試找 sandbox 逃逸漏洞，到目前沒有發現。好的開發者體驗和 agent 體驗高度重疊：清楚的文件、具描述性的錯誤訊息、快速的回饋迴圈。基礎設施正從 YAML 轉向命令式 SDK，但訓練資料讓棄用功能變得困難，因為 agent 會一直寫出舊語法，所以 Modal 對移除功能變得更保守，也在內部測試 agent 會不會推薦 Modal。FDE 團隊今年從約 4 人擴編到約 24 人，目標是把每次 FDE 支援轉化成產品功能。公司沒有大型 PM 團隊；經理與 IC 地位平等；code review 是選擇性的，Erik 認為 review 常被用來逃避責任，因此改投資在 CI/CD、測試、限流和解耦。公司已超過 200 人，年底預計約 250 人，明年希望成長 2.5 到 3 倍，可能到約 700 人。他堅持多租戶、認為 on-prem 是逐漸過時的模式，BYOC 可以做但價格很高；目前現金最好的用途是預付容量。結尾他說，比起預測精確需求，打造下一批基本元件更重要，並看好訓練、快速工作、agent 和低延遲工作負載。