最簡單的評估點位預測有效性的方法就是將歷史實際值對樣本外預測值進行迴歸。假設有一個交易模型預測股票未來的價格水平。用股票實際價格對預測價格進行迴歸可以用於評估預測模型的有效程度。
點位預測的精度還可以通過比較預測值與實際值來進行評估。對預測值進行比較的方法包括:
均方誤差(mean squared error, MSE)
平均絕對偏差(mean absolute deviation, MAD)
平均絕對百分比誤趨(mean absolute perentage error, MAPE)
分佈的表現(distributional performance)
家積精度曲線(cumulative accuracy profiling)
更進一步,還可以在不對稱的情形下考慮模型的精確度。比如,負的預測誤差的MSE是否大於正的預測誤差的MSE?若是,則模型對實際僚有低估的傾向。需要進行微調以解決預測精度的不對稱問題。類似地,我們還可以對誤差按照不同市場因素進行分類,以對預測誤差進行更爲仔細的考察:
對誤差進行度量時的市場波動率
誤差的大小
產生預測信號時對計算機性能的利用率等其他各種可能的因素
進行這些操作是爲了確定系統會在什麼樣的情況下頻繁出錯,並對導致錯誤的問題進行修正。