问题
不少产品都在兜售同一个想法:预测市场公开每一笔交易,有些交易者持续盈利,那就跟着他们做即可。这个想法很容易用回测检验,也同样容易检验错。只要混入一点未来信息,或者把同一事件下五十个相关市场当成五十个独立观测,结果就会看起来漂亮,却毫无意义。
面向谁
所有把判断建立在回测之上的人:即将上线的策略、供应商的过往业绩、一个好到让人不好意思质疑的数字。
它做什么
一个用 Python 写的确定性研究内核(约 3,500 行,由 103 个测试保障),在 370 个市场、134,000 笔真实交易和 46 个独立事件上进行检验。结论是:不存在可测量的优势。被复制策略选中的交易在 0.95 价格带之上每股收益为 +0.0200,而完全不涉及任何交易者、直接买入同一价格带的收益是 +0.0211。
关键决策
- 从结构上杜绝信息泄漏:在每个信号时点,交易者的水平只用当时已经结算的市场来计算,绝不使用其后发生的事情。
- 按事件聚类的自助法置信区间,使同一事件内五十个相关市场只算作一个观测,而不是五十个。
- 对照真实盘口模拟成交,计入手续费、滑点与部分成交,而不是假设每笔订单都以中间价成交。
- 公布的是否定结果而非好看的结果;有一个策略被标为 INCONCLUSIVE,因为出问题的是测量本身,而不是模型。
我学到了什么
我在自己的方法论里找出四个错误,每一个都已经制造过一个自信的假阳性——其中一个策略在 36 笔交易上胜率 100%,相对于机械入场的真实优势却只有 0.8%。按胜率给交易者排序找不到能力,只能找出那些用 98 美分买近乎确定之事的人。一个自信的错误答案,比没有答案更昂贵。
下一步走向
把泄漏检查与聚类检查做成一套可以对准他人回测的验证台,让同样的严格标准适用于并非我写的策略。
仅停留在纸面 — 没有实盘交易,也没有真实资金,这是刻意设计。