本文的第一部分提到不同人如何看待回溯測試，現在讓我們看看如何分辨好與壞的回溯測試。
先驗證 才相信
據我所知，目前只有一項關於回溯測試預測性的研究真正稱得上是全面 — 由兩位備受尊敬的研究員R. David McLean及Jeffrey Pontiff耗盡心力完成的《Does Academic Research Destroy Stock Return Predictability? 》(學術研究是否摧毀了股票回報的可預測性？)論文中，二人複製及測試了曾於其他研究出現關於預測超額回報的82種股票特性。一如領航(Vanguard)的研究，二人觀察這些股票特性在「過去」及「現在」對超額回報的影響。如果這些特性只對回溯測試的樣本有效，即代表有兩個可能性：一是有效市場的套戥令回報優勢隨時間消失，二是從測試中觀察到的所謂模式不過是窺探數據的產物。為了區分原因，二人將樣本「現在」的回報數據分為「論文出版前」及「論文出版後」兩組。由於完成論文需時可能長達數年，造成超額回報的特性應至少可在回溯測試後一段時間內仍發揮影響力。因此，如果特性的預測能力在撰寫論文的階段就完全退去，那麼我們就可以將特性失效歸咎於窺探數據。如果特性在論文出版後才失效，那就很大機會是套戥所為了。
有趣的是，在82種特性中，他們只能成功複製出72種特性的結果。成功複製的結果當中，特性影響力應要因為統計偏差平均下調10%，而論文出版後，特性的影響力平均減少25%，換句話說，股票特性對實時表現的影響力比回溯測試的結果約低35%。不過，我們並不能對此數字照單全收。因為樣本很可能過度代表了被引用得最多和最令人難忘的股票特性，造成幸存者偏見(survivorship bias)。
以社會科學的標準來看，這結果理想得惹人可疑。即使是生物醫學研究的兩大複製實驗，研究員亦發現大部分結果不能被複製。我以為金融研究，尤其是關於回溯測試的複製成果理應更差。
儘管如此，研究指出曾通過學術論文驗證的回溯股票策略，質素會比沒通過嚴格標準或由有利益衝突團體所推廣的回溯股票策略好(如指數和ETF發行商)。雖然我仍對許多學術文獻抱有懷疑，我還是相信學者有能力率先辨認出市場規律，例如是規模、價值和動能。90年代中期，學術研究發現並確認這3個為利好股價因素，而隨後的20年，它們的確持續為股票帶來額外回報。以下是區分回溯測試好與壞的5個因素，大概以重要性由高至低排序。
1. 有經濟觀支持 ─ 你能以堅實的證據為基礎解釋有關策略嗎？
2. 學術來源的可信性 ─ 是誰在促成有關的回溯測試？他們有沒有動機窺探數據或撒謊？
3. 簡單和透明的方法 ─ 複雜的模型的成效往往不如簡單實際的樣本測試。
4. 樣本大小 ─ 在進行回溯測試的研究時，學者會期望有至少數十年的樣本數據。樣本數據的質和量愈好，回溯測試的質素也愈好。
5. 最後是成效大小和統計學意義 ─ 許多分析員會尋求回報高及有顯著統計成效的結果以確定研究命題。雖然統計和經濟成效重要，但它們並無助預測研究的有效性。任何人都可以通過窺探甚至整理數據而得出顯著的統計結果。
然而這還未夠。最理想的情況，是曾有多位持懷疑態度的獨立研究員就此進行了嚴謹的研究，而且得到正面的結論。這要求無疑不易達到，但為了得到罕有的真相，這是必要的舉措。
作者Samuel Lee為Morningstar ETF策略師兼Morningstar ETFInvestor編輯
Morningstar
