GitHub Radar

Sebastian Raschka 在 Ahead of AI 發布一套完整的推理模型影片課程：8 支影片、超過 11 小時，以 Python 與 PyTorch 從頭實作評估、inference-time scaling、強化學習與蒸餾，作為他的書《Build a Reasoning Model (From Scratch)》的配套講座，也是去年「Coding LLMs from the Ground Up」課程的續集（但不必先看前作）。他指出如今幾乎所有新一代 LLM 都是推理模型或提供推理模式，因此推理模型仍然非常重要。

LLM、推理模型與 agent 的關係

他用引擎比喻說明：推理模型是在一般 LLM 之上，透過可驗證獎勵的強化學習（RLVR）加上選用的推理期擴展技巧進行更多後訓練，使其能解更難的問題，傳統上以數學與程式為主但能力可泛化。推理模型是 agent harness 裡的引擎，harness 則是包在模型外的軟體框架，負責精細的 context 管理與工具存取，用來處理更大的程式任務、訂旅行等助理型工作。agent 可以用一般 LLM 或推理模型，但後者能力更強而更常見，所以理解推理模型仍是理解現代 LLM agent 的關鍵。

範圍與前置條件

課程以一個小型預訓練 Qwen3 模型為基礎，跳過預訓練、聚焦於評估、推理期擴展、強化學習與蒸餾。建議熟悉 Python 與 PyTorch；前期的文字生成與評估可在 CPU 上跑，後期訓練最好有 GPU。他建議讀一章書、跟著影片寫程式、再做習題；另外也推薦他在 LinkedIn Learning 約 90 分鐘的概念課作為預習。

八支影片內容

第 1 支：動機與環境設定，說明 LLM、推理模型與 agent harness 的關係，用 uv 安裝依賴、選擇硬體、檢查 CUDA 或 Apple Silicon 支援、透過 VS Code 使用遠端 GPU 與排錯。

第 2 支：載入 Qwen3 0.6B 預訓練權重，講解 tokenize 與 decode、tensor 形狀、logits 與 next-token 預測，實作 greedy decoding 與串流生成、處理結束符號、量測生成速度，再加入 KV cache 與 torch.compile 並比較不同硬體效能。

第 3 支：一步步打造數學答案 verifier，包含擷取最終答案、正規化與判斷數學等價，用它在 MATH-500 上評估 base model 並比較 base 與推理模型；這個 verifier 之後還會成為 RLVR 的獎勵訊號。

第 4 支：推理期擴展之一，實作 temperature scaling、multinomial sampling 與 top-p filtering 產生多樣答案，再以 self-consistency 多數決合併，並評估 MATH-500 準確率與額外推理算力的取捨。

第 5 支：推理期擴展之二，實作評分函式來比較同一 prompt 的多個答案並打破 self-consistency 的平手，包括簡單的啟發式評分、token 與序列 log probability（為數值穩定使用 log 機率），以及讓模型批評並修改答案的 self-refinement 迴圈，並在 MATH-500 上評估其效益。

第 6 支：強化學習，實作簡化版 GRPO 來做 RLVR：產生推理軌跡並討論答案長度與解題能力的關係，比較 RLHF 與 RLVR，把 verifier 分數轉成獎勵與相對 advantage，計算序列 log probability 與簡化的 GRPO loss，組裝含紀錄與 checkpoint 的訓練迴圈，並檢查訓練穩定性與記憶體需求。

第 7 支：深入分析訓練過程，加入 entropy 與 advantage 統計、clipped policy ratio、KL loss 項與格式獎勵等指標；實作 policy loss 的 clipping 並分析效果，加入 KL 項並討論 reward hacking 與簡化 KL 公式的侷限，實作以答案正確為條件的格式獎勵，並在 MATH-500 上比較 checkpoint、延伸介紹更多 GRPO 研究。

第 8 支：蒸餾，比較 soft 與 hard、on-policy 與 off-policy 等蒸餾方式，用 DeepSeek R1 為 MATH 資料集生成教師答案，準備 tokenize 與訓練/驗證/測試切分的資料集，計算答案 token 的 log probability 與 cross-entropy loss，實作監督式訓練並追蹤損失，最後在 MATH-500 上評估蒸餾後的模型，作為以強化學習之外培養推理能力的替代路線。

結語

他鼓勵觀眾邊看邊停下來做小實驗，例如調整取樣設定、檢查失敗答案或嘗試習題中的變體；完整的文字解說、圖表與習題則在書中（Manning 與 Amazon 有售，紙本為彩色印刷）。他表示自己正短暫休息，下個月會帶著新一輪 LLM 研究整理回歸。