GitHub Radar

這是 Dharma-AI 團隊（作者包括 Bernardo França de Aguiar、Gabriel Pimenta de Freitas Cardoso、Bruno Duarte、Francisco de Almeida Rocha Alves 等）在 2026 年 10 月 21 日發表於 Hugging Face blog 的文章。核心主張：以每個 token 的成本而非出現頻率來重建小模型的 tokenizer，在一個正式上線的作文批改系統中把實測推論成本降低 77%，而基礎模型、資料與訓練配方完全不變。

背景與動機

該系統是一個葡萄牙文作文自動評分器，建立在 Qwen3-4B 上，輸出 JSON 格式的評估，包含每個能力項的分數與評語。原本的 tokenizer 有 151,669 個條目，是為多語言多領域設計的；對單一語言、單一格式的任務，這帶來兩種成本：一是碎片化，重複出現的領域文字（例如 JSON 外殼與能力項名稱）用了過多 token；二是冗餘，每生成一個 token，模型都要對整個詞表打分，其中許多條目根本用不到。文章把 tokenizer 視為可以在訓練前就調整的成本槓桿。

成本模型

生成比讀取昂貴：在該評分器的實測情境中，生成一個 token 的成本是讀取一個 token 的 7.4 倍（作者提醒此比例隨硬體、batch size 與 context 長度而變）。LM head 約占 Qwen3-4B 參數的 10%，詞表的每一列在每個 decode 步驟都必須被讀取，所以沒用到的條目仍然有成本。最終輸出層從約 152,000 列縮小到約 65,000 列。

既有方法的不足

參考方法包括 Fast Vocabulary Transfer（FVT）、Multi-Word Tokenization（MWT）與原地 BPE 擴充。它們都依頻率而非成本挑 token，而且只處理單一層次：要嘛是子詞切分，要嘛是片語合併。

VocabX 方法

第一，成本加權選擇：每個省下的 token 依其出現的欄位（system prompt、使用者訊息或回應）加權，回應中的節省權重更高。第二，在同一準則下處理兩層：子詞層重建領域詞彙的切分方式；多詞層為重複片段建立 macro token，範圍從短語到整行 JSON，每層各有預算。第三，五種 miner 搜尋重複片段：長詞、整行、短語、句子與標點密集結構；少了其中任何一個，評分器上的 token 縮減會掉 55.6 個百分點，其中結構 miner 平均貢獻最大，單看程式碼就占 17.5 點。第四，抽樣修正：在樣本上量測會漏掉罕見候選，例如在 5 萬份文件中出現 37 次的片語，在 400 份的樣本中只有約 26% 的機率出現；合約領域只有 16.6% 的候選會出現在這種樣本裡。VocabX 精確計算全語料的節省量，只對未覆蓋的部分做估計，光這一項就讓合約的 token 縮減在相同預算下從 44.7% 提升到 52.8%。

評分器結果

七個評分器版本使用相同的基礎模型、資料、配方與 seed，只差在 tokenizer，各自在 RTX 5090 上以 vLLM 跑 500 個請求，成本由實測執行時間計算。平均回應長度從 350 降到 101 token，成本降低 77.0%，綜合評分（評分準確度加上篩出離題或違規作文的準確度）從 0.703 升到 0.810。中途有一次修正：第一版把每個分數和其 JSON 結構融合成一個 macro token，分數只有 0.689（低於原本上線版本），成本降幅 73.3%；讓分數擁有自己的 token 後，每個回應多了 2 個 token，但分數升到 0.810，成本也達到最佳的 77.0%。

跨領域與跨模型泛化

在五個公開領域（合約、醫學論文、科學論文、新聞、Python 程式碼）與三個模型家族（Qwen3、Llama-3.1、Gemma-3）的 15 種組合中，VocabX 的壓縮率全部勝過最強參考方法，差距 1.2 到 9.3 點；剪枝版 VocabX 在估計推論成本上也全數領先，平均差距分別為 10.2（Qwen3）、7.5（Llama-3.1）與 13.6（Gemma-3）點。以合約為例，剪枝版 VocabX 用 113,426 個條目達到 62.6% 的 token 縮減，最佳的原地 BPE 則需 207,803 個條目才達到 61.8%。

侷限

論文仍在審稿中，數字可能變動，完整表格與被捨棄的實驗尚未公開。7.4 倍的生成／讀取比只適用於該實測情境與硬體；77% 來自單一評分器、單一 GPU 與單一服務堆疊。跨模型比較中的推論成本是估計值而非實測。成本準則沒有直接納入 LM head 每列的成本，而是以預算間接控制詞表大小。當被壓縮的片段承載模型的關鍵決策時，壓縮會傷害品質，融合分數的版本就是例證。作者的結論是：專門化可以從詞表開始，而不只是資料與權重。