技术分析的三大假设之一是“历史会重演”，绝大多数CTA策略的产生都离不开对品种的历史表现的评价，因为我们所采用的指标本来就源自于各种统计论断。期货投资进入量化时代以后，对交易策略的历史验证格外被关注。事实上，在进行策略开发时，我们也的确总体上遵循了“思想提炼—策略实现—历史回溯评估—参数优化”的基本过程。历史数据的重要性不仅体现在交易策略研究过程中，在投资人选择过程中也发挥了至关重要的作用。很难想象一个没有良好过往业绩的投资经理会被赋予重任。但是，仅有良好的历史数据就够了吗？
历史数据在多种交易策略的评价中并不适用，例如事件驱动的交易策略，或者基于基本面分析的全球宏观对冲策略等，每个策略形成时所考虑的市场环境有可能差别很大，简单套用往往是自取灭亡。即便是在研发与数据统计关系极大的模型的过程中，历史数据回溯的结果也可能隐含着陷阱。以程序化交易的策略开发为例，我们的模型本质是一系列特定的交易规则，而这些规则来自于对历史行情的发掘或者过往交易经验的积累，经过程序对行情的过滤与简化之后，最终形成交易指令，用于捕捉“假定存在”的行情特征。
但在实践过程中，我们经常看到模型的钝化速度远高于我们的预期，一个在过去四年的历史数据中表现非常出色的交易系统可能在上线之后连续数个月都持续亏损，原因何在？在给定的一段时间的历史数据条件下，我们可以尝试用计算机不断组合并优化参数的方式从许多指标中选择一组结果最优的指标组合来构建交易系统，但实盘上线之后的结果总是令人大跌眼镜，这又是为何？因为市场在变化，不仅行情在不停波动，市场的参与者结构、交易指令形式、资金成本构成都在变化。用机械方式拼凑的指标组合往往在逻辑上站不住脚，他们只是在遍历指标组合的过程中形成的一个对历史数据极端适用的场景，而越是这样极端的场景在未来越是难以完整复制。
目前国内没有具有权威性的CTA投资业绩跟踪与评价系统，无法解决CTA在提供历史业绩时的选择性展示问题，因此出资方除了要对业绩记录进行仔细分析，还应该关心其盈利路径是否合乎逻辑，以评价该业绩记录的可持续性。同时，也应该分析其交易逻辑与资金的风险承受能力是否匹配，例如，为一笔最大回辙耐受不超过10%的资金选择了回辙达到30%的交易策略，就会导致该策略实际产生的收益曲线完全走样。当然，对资金方来说，最根本的解决方案是从产品设计与风控措施上去把控，而非简单看着CTA的过往业绩下注。
因此，无论是在评价具体的投资策略还是评估投资团队的过程中，逻辑上具备健壮性的重要性应该远高于统计结果，对于资产管理人或者选择投资团队的出资方来说，过于迷恋历史数据并不明智。有时候很难简单用好或者不好来评价投资策略或投资团队，每一个策略都有适用的市场环境，每一个团队都有明显的风险收益属性，评估人基于不同的资金要求有可能产生完全不同的评估结论，而我们关心的应该是适合或者不适合。
