LLM 數學微調：合成資料的生成、驗證與評估重點

要讓語言模型更擅長數學推理，訓練資料通常比「再多餵一些題目」更重要。人工標註的數學題與完整解法昂貴且有限，因此研究者常用合成資料擴充訓練集：把既有問題改寫成新變體、依規則產生題目、由較強模型提出候選解法，或將問題轉成可由程式與形式化系統驗證的表示。

但合成資料不是把模型輸出大量存檔就完成了。若題意、答案或推理步驟有錯，錯誤會被放大；若新題目和測試集過度相似，分數也可能高估真正的泛化能力。合成資料真正的價值，取決於生成方式、篩選與驗證流程，以及最終如何評估。

合成資料在數學微調中扮演什麼角色？

數學題很適合做部分自動驗證：有些題目能用計算器、程式、單元測試或符號工具檢查最終答案；部分幾何與定理問題則可以由形式化證明系統檢驗。這讓研究者能建立比純人工標註更大量、變化更多的候選資料，再從中篩掉不一致或無法驗證的樣本。

MetaMath 是一個代表性例子：研究以不同角度改寫數學問題，建立 MetaMathQA 資料集並微調模型，於特定數學基準上比較成果。它展示了問題重寫可作為資料擴充手段，但不表示任何自動改寫資料都具有相同品質或可直接遷移到其他領域。MetaMath：Bootstrap Your Own Mathematical Questions for LLMs

常見的合成資料來源

從已驗證題目建立變體

先從可信的題目與答案出發，替換數值、物件、敘事順序或條件表達，再保留原本可驗證的關係。這種方法的優點是答案可由原始公式或程式重算；風險則是變體看似不同，實際上只是在背誦同一種模板。

規則或程式生成

對於算術、組合或形式化題型，系統可以先生成隱藏的方程式、樹狀結構或證明目標，再反向產生題面。因為生成器知道答案與約束，較容易做精確檢查。不過，題面是否自然、是否涵蓋真實問題的歧義，仍需額外評估。

教師模型產生候選解法

較強的模型可以提出多種解法、提示或改寫，但這些內容只應被視為候選。理想流程是將每個候選送進可執行的驗證器、與獨立解法交叉比對，或請人工抽樣審查，而不是因為教師模型聲稱答案正確就直接用來訓練學生模型。

神經模型與符號引擎共同產生資料

在幾何等可形式化的場景，語言模型可協助提出候選構造或步驟，符號引擎再依規則推導與驗證。AlphaGeometry 的研究將神經語言模型與符號演繹引擎結合，並以大量合成資料訓練；這提供了一種可驗證生成的方向，但其設計與評估條件屬於特定幾何問題，不能直接推論到所有自然語言數學題。Google DeepMind：AlphaGeometry

資料品質比數量更難也更重要

合成資料的常見陷阱是「每一筆都格式完整，但很多筆都在教同一種錯誤或捷徑」。一個高品質資料流程至少應分開檢查以下幾件事：

• 正確性：最終答案是否能被獨立計算、執行或形式化驗證？
• 推理一致性：中間步驟是否支持答案，還是只在最後碰巧得到正確數字？
• 多樣性：題型、數字範圍、敘事、解題策略與難度是否足以涵蓋目標任務？
• 去重與隔離：是否與訓練集、驗證集或公開評測資料重複或近似到足以造成洩漏？
• 來源與授權：種子資料、教師輸出與衍生資料是否符合使用權、隱私與資料治理要求？

LIMO 的研究提出高品質、精選範例可能比大量未篩選資料更有效的觀點；這是針對其實驗中的數學推理設定，而非「少量資料必定優於大量資料」的普遍定律。對實務團隊而言，較可取的解讀是：先投資在可驗證、具代表性的資料與評估，再決定是否擴大生成規模。LIMO：Less is More for Reasoning

如何驗證合成的數學資料？

先驗證可以機械檢查的部分

若題目可轉成程式或方程式，應重新執行計算；若答案包含單位、範圍或格式，也要一併檢查。這一步能快速淘汰一部分幻覺、抄錯數字與不一致的候選，但不能保證原始題意被正確理解。

讓不同機制互相制衡

不要只用同一個模型同時出題、解題與評分。較好的設計是讓資料生成器、執行驗證器、重複偵測工具與人工抽樣各自扮演不同角色。對形式化數學，定理證明器能提供較強的檢查，但把自然語言證明正確轉成形式語言本身也可能出錯，因此仍需追蹤失敗原因與覆核樣本。

保留未見測試與壓力測試

把部分題型、難度與來源完全留在訓練流程之外，並以改變條件順序、替換數值、加入不相關訊息或製造資訊不足的方式測試模型。若模型只在原本模板上進步，卻在這些變化下失效，代表資料可能在教格式，而非可遷移的推理能力。

微調後還要看什麼？

除了基準分數，團隊應檢查模型是否更常要求補充資訊、是否能清楚區分已知與未知、是否在無法驗證時停止下結論，以及在不同語言與真實敘述下的穩定性。數學基準多半是假設題目完整且有唯一答案；現實工作中的資料可能缺欄位、單位不清楚或彼此矛盾，這些情況不應用「猜一個答案」來掩蓋。

若模型結果會影響教育、財務、科學或工程決策，還需要由具領域知識的人員獨立覆核。模型微調可以改善特定任務的表現，卻不會取消專業責任或驗證需求。

結語：合成資料是受控實驗材料，不是捷徑

合成資料能為 LLM 的數學推理提供更豐富的練習與可驗證的回饋，特別是在題目可由規則、程式或形式化工具檢查時。但有效的流程不是「生成越多越好」，而是讓每一筆資料都可追溯其來源、驗證方式與適用範圍，並用真正隔離的測試確認它帶來的是泛化能力，而不是資料洩漏或格式記憶。

提醒：本文為模型訓練與資料品質的教育性說明；研究中的模型、資料集、分數與實驗條件不構成任何產品效能保證。