樣本外測試是什麼:把歷史資料分成調參數用的樣本內,和最後才驗證用的樣本外

樣本外測試怎麼做?訓練期、測試期與滾動驗證這 4 點一次看懂

一段十年的歷史資料,如果十年全拿來調參數,就沒有任何一天能用來檢驗那組參數。

樣本外測試是什麼:把歷史資料分成調參數用的樣本內,和最後才驗證用的樣本外

很多人以為回測就是「用全部資料跑一次,看績效」。其實那樣做只能告訴你,這組規則有多貼合過去,沒辦法告訴你它在新資料上會怎樣。樣本外測試的做法是:先把一段資料藏起來,只用剩下的資料設計和調整規則,最後才拿藏起來的那段驗證。進一步的滾動驗證(也稱前進分析,walk-forward analysis)則是讓這個流程在不同年份反覆進行。本文用年份切分的例子說明做法與常見錯誤。本文為回測方法說明,不構成投資建議。

樣本內和樣本外是什麼?先分清楚兩種資料的用途

名稱用途可以拿來調參數嗎
樣本內(訓練期)設計規則、挑選參數可以
樣本外(測試期)檢驗規則在沒看過的資料上的表現不可以

樣本外資料只能看一次。 看完結果覺得不好,回頭改參數再測一次,這段資料就已經被拿來調參數,變成樣本內了。這是最常見、也最容易不自覺犯的錯。

一次切分怎麼切?時間順序不能打亂

最基本的做法是依時間先後切成兩段。假設有 2016 到 2025 年共 10 年的日資料:

區段年份用途
樣本內2016–2022(7 年)設計規則、調參數
樣本外2023–2025(3 年)最後驗證一次

有兩個原則要守住:

  1. 樣本外必須在樣本內之後:交易規則只能用過去預測未來,切分也要維持這個方向。
  2. 不能隨機打亂日期:一般機器學習常把資料隨機分成訓練集和測試集,但時間序列這樣做,會讓訓練資料裡混進測試期之後的日子,等於另一種未來函數。scikit-learn 的 TimeSeriesSplit 就是依時間先後切分,不會打亂順序。

滾動驗證怎麼做?用 3 年調參數、1 年驗證,往前推進

一次切分只驗證了一段期間,結果可能剛好碰上適合或不適合的行情。滾動驗證把流程重複做好幾輪:

輪次樣本內(調參數)樣本外(驗證)
第 1 輪2016–20182019
第 2 輪2017–20192020
第 3 輪2018–20202021
第 4 輪2019–20212022
第 5 輪2020–20222023
第 6 輪2021–20232024
第 7 輪2022–20242025

每一輪都只用前 3 年挑參數,再用下一年驗證。最後把 7 個驗證年的結果接起來,就是一段「每一天都沒被拿來調參數」的樣本外紀錄。

滾動驗證示意:每一輪用 3 年資料調參數、下一年驗證,共 7 輪往前推進

滾動驗證看的不是某一年特別好,而是各年之間是否穩定。 如果 7 個驗證年裡只有 1 年表現好、其他年都不好,那一年很可能只是運氣。

樣本外測試最常見的 4 個錯誤

  1. 看完樣本外再回頭調參數:重複幾次之後,樣本外就變成樣本內,失去驗證意義。
  2. 樣本外太短:只留 3 個月、交易 5 次,結果好壞都很難下結論。
  3. 只做一次切分就下結論:一段樣本外可能剛好碰到特殊行情,滾動驗證能降低這個問題。
  4. 樣本外結果好就當成未來保證:樣本外通過只代表「比較可信」,市場結構改變後,規則仍可能失效。

用 AI 寫回測時,可以直接要求它「依時間先後切分、不要打亂順序,並把每一輪的參數與驗證結果分開列出」,再自己檢查程式中的切分日期是否正確。

常見問題

樣本內和樣本外的比例要多少?

沒有固定標準。常見做法是讓樣本外至少涵蓋足夠的交易次數與不同市況;滾動驗證則要確保每一輪的樣本內資料夠調參數、樣本外資料夠評估。

滾動驗證和一次切分哪個比較好?

滾動驗證能在多個期間反覆檢驗,較不容易被單一行情誤導,但計算量較大。兩者都要遵守「依時間先後切分」與「樣本外不回頭調參數」的原則。

可以用隨機抽樣的方式切分資料嗎?

交易資料是時間序列,隨機切分會讓訓練資料混進測試期之後的日子,形成未來函數,一般不建議。應依時間先後切分。

樣本外測試通過,就可以實際下單了嗎?

樣本外測試只是回測的一個檢查步驟,不代表未來會獲利。實際交易前仍要評估交易成本、部位大小與停損,並了解期貨的槓桿風險。

風險揭露

本文的年份切分表為示意,不是任何策略的實際回測結果,也不代表任何策略的獲利能力。回測與樣本外測試只能檢驗規則在過去資料上的表現,不保證未來結果。期貨與選擇權具高度槓桿,可能產生超過原始保證金的損失;程式交易另有程式錯誤與系統異常等風險。本文不構成投資建議,亦不推薦任何策略或工具。

官方教育資源

機構資源
臺灣期貨交易所(TAIFEX)期貨及選擇權數位學習網期貨與選擇權基礎教材
證券暨期貨市場發展基金會(證基會)投資人教育與宣導
金融智慧網(金管會)金融知識與風險意識
中華民國期貨業商業同業公會期貨業資訊與投資人專區
證券投資人及期貨交易人保護中心(投保中心)爭議調處與投資人保護

延伸閱讀

參考資料

延伸閱讀|相關文章

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *