摘要
✦本篇报告为“因子方法论”系列报告第二篇。本文中,东吴金工详细梳理了两类学术界较为前沿的协方差矩阵估计方案。并讨论了其在两个常见案例中的应用。
✦第一类协方差估计方案为对协方差矩阵非对角线元素做稀疏化(将部分元素压缩到0),该类估计称为稀疏矩阵估计类。第二类协方差矩阵的基本思想为,通过调整样本协方差矩阵的特征值,达到优化估计精度的目的,该类估计称为旋转不变估计类,包括基于仿真模拟的特征值压缩估计,线性压缩估计,以及基于随机矩阵理论的非线性压缩估计。
✦针对处理矩阵种类的不同,本文也对比了两类方案的估计效果:方案一直接对样本协方差矩阵做稀疏化或旋转不变估计;方案二则对样本相关系数矩阵做稀疏化或旋转不变估计,而后在相关系数矩阵上乘以各变量的样本标准差,得到协方差矩阵的估计。
✦实证案例一对比了在风险模型中,使用不同方法估计因子收益率协方差矩阵的表现。数值模拟结果显示:对这种因子间收益波动差别很大的情形,使用方案二(相比方案一)更能提高协方差矩阵的估计精度;随着估计使用的样本量增长,各复杂方法相对简单样本协方差矩阵的精度提升幅度逐渐缩小。在实证结果中,各方法下的估计精度并未像预期中一样,随样本量增长而提升,这是由于随着估计所用样本量提高,回看窗口变长,导致估计结果相对于市场变化反应更加迟钝。基于实证结论,我们建议,使用回看窗口126天的方案二下的线性压缩方法去估计因子收益协方差阵。
✦实证案例二中,本文对比了以最大化复合因子ICIR为优化目标时,各估计方案下的最优复合因子的表现。共选取5个基本面因子与4个情绪面因子纳入因子池。除各种估计方法外,本文还尝试使用不同频率,不同回看时长的因子IC序列作为协方差估计的样本,回看时长及数据频率包括季度(63天、13周),半年(126天、26周、6个月),一年(252天、52周、12个月)。结果显示,回看窗口内样本数量越少(月频),复杂估计方法所得到的ICIR比简单的样本协方差矩阵估计下得到的ICIR提高越多。但当回看IC频率较低(月频)时,复杂的估计方法也不能构成对因子等权配置的绝对优势。随着回看频率提升到周频或日频,几乎所有方法都开始大幅跑赢因子等权配置情形。综合实证结论,我们建议使用方案一,回看窗口26周,并配合线性压缩估计或非线性压缩估计去估计IC序列协方差矩阵,该方案下,复合因子年化ICIR高达5.7-5.9,相比于因子等权配置下的ICIR,提升幅度达到30-35%的水平。
✦ 风险提示:本报告所有的结论均使用历史数据回测得到,模型在未来存在失效风险。
✦ 更多交流,欢迎联系东吴金工陈实,微信:13585560489(注明机构+姓名)
前言
本文为东吴金工“因子方法论”专题报告系列第二篇,在本篇报告中,我们将为读者阐述学术界较为前沿的协方差矩阵估计方法,并且在两个不同的情境下比较不同协方差估计方法的优势与劣势。
本文在第二部分与第三部分中将详细介绍两类学术界最前沿的协方差矩阵估计方案,第一类估计尝试将协方差矩阵做稀疏化处理,第二类则采用调整样本协方差矩阵特征值的方法达到优化估计的目的。两类方法在学术界各自拥有大量的研究文献,为使内容尽量简洁,我们只引用其中最经典的文献,将大树的躯干绘出,而对该方向有兴趣的读者,可以通过进一步的文献阅读,补全其它枝叶。
稀疏化矩阵估计方法介绍
本文介绍的第一类方法为稀疏化矩阵估计方法,其背后的逻辑可以简述为:在庞大的协方差矩阵中,假设某些变量对之间的相关系数为0,,将其中一部分非对角线元素固定在0,减小了需要估计的参数的个数,达到降维的目的,从而减小了协方差矩阵估计误差的累积。
将矩阵稀疏化的方法包括硬阈值法(Hard Thresholding)和软阈值法(Soft Thresholding)。其原理相似。
硬阈值法可以参考Bickel等[2]。该方法在操作上相当简单,可以概括为: 在样本协方差矩阵的基础上,保留矩阵的对角线元素,将非对角线元素与特定的阈值w对比,若该元素的绝对值大于w,则保留,若该元素的绝对值小于w,则直接将该元素压缩到0。若以公式表达,可以写成如下形式:
在硬阈值法中,凡是绝对值超过阈值w的协方差矩阵的非对角元素,都没有被额外处理。
而在软阈值方法中,对于每个非对角线元素,即便大小超过了对应阈值,也应做相应的处理,例如线性软阈值:每个非对角线元素与阈值w对比,若绝对值大于w,则保留其正负号,同时,将其绝对值缩小w;若绝对值小于等于w,则直接将该非对角线元素压缩至0。若以公式表达,可以写成如下形式:
Rothman等[3]证明,真实协方差矩阵满足特定稀疏性条件时,软阈值法同样能收敛到真实的协方差矩阵。
上述线性软阈值处理有一个数学表达上的优点,如Xue等[4]所述,该估计正好是如下凸优化问题的解:
W矩阵内的元素可以取样本协方差阵对应元素的倒数,以使得协方差阵中绝对值较小的值被更快压缩到0,而绝对值较大的值可以有较小幅度的压缩。Liu等[5]在模拟实证中,也验证了加权惩罚方法相对于原始方法的优越性。
在稀疏矩阵方法中,只有一个参数是需要人为控制的,那就是惩罚系数w。关于惩罚系数的选择,我们借鉴了交叉验证(Cross-Validation)的方法,参照Bickel等[6],将N个样本拆分成为大小为N/log(N)的测试集,以及长度为N(1-1/log(N))的训练集,通过遍历的方法,挑选出能使得估计协方差矩阵与测试集协方差矩阵的Frobenius距离最小的w,作为模型的输入w。
旋转不变估计方法介绍
本文所要介绍的另外一类估计可以称为旋转不变估计类(Rotation-InvariantEstimation),该类方法也可以被称为压缩估计类。首先,我们介绍旋转不变估计的含义。
旋转不变估计类的介绍
接下来,我们要介绍的旋转不变估计类主要有三类,这三类均极具代表意义。他们分别是:Menchero等[8]提出的样本特征值调整方案;Ledoit等[9]提出的线性压缩估计;Ledoit等[10][11]提出的基于随机矩阵Marčenko-Pastur方程的非线性压缩估计方法。
基于模拟的特征值调整——BootstrapLike方法
首先,我们介绍Menchero等[8]所提出的样本特征值调整方案,其调整思路类似于统计学中的bootstrap的思想,尝试通过模拟的方式发掘样本协方差矩阵特征值对于真实协方差矩阵特征值估计的偏离水平,然后在样本协方差矩阵的特征值上反向修正,得到真实协方差矩阵特征值的估计。
为了使纠偏系数估计更加准确,Mechero等[8]重复多次模拟,然后将各次的纠偏系数取平均,得到了最终的纠偏系数。本文只介绍了该方法的核心思想,具体操作细节,读者可以参考原始文献。该方法在Barra文档USE4中也有使用,相比于原始文档,在USE4中的估计方法有微小改动。
该方法的思想类似于统计学中自助抽样法(bootstrap),因此,在本文中,我们称之为BootstrapLike方法。
将样本协方差特征值向单位矩阵压缩的方法——LWLinear方法
第二种旋转不变估计为线性压缩估计类,我们只取其中的代表性的成果,由Ledoit等[9]提出的线性压缩估计。
该方法的具体思想为:将样本协方差矩阵向单位矩阵压缩,可以写为如下形式:
即该估计本质上是将样本协方差矩阵的特征值向单位阵压缩,以减轻样本协方差阵特征值在较小的区域严重低估,在较大的区域严重高估的现象[9]。
基于随机矩阵理论的非线性压缩方法——QuESTNonlinear方法与DirectNonlinear方法
第三种旋转不变估计方法为非线性压缩,其支撑为随机矩阵理论。首先要向读者介绍,旋转不变估计类中理论上的最优估计的形式:
基于以上结论,Ledoit等[14]提出了非线性压缩方案,而后进一步改进了之前的非线性压缩估计方案[10],并将该方法的具体计算步骤在Ledoit等[15]中做了详细的介绍。该方法所得到的协方差估计量在n与p趋于无穷的极限情形下收敛到旋转不变估计类中最优情形。在下文中,我们称该方法为QuESTNonlinear方法。
最近,Ledoit等[11]又提出了一种同样基于随机矩阵理论,但算法更为简单快速的非线性压缩估计方法,该方法相比于QuESTNonlinear方法的最大优点在于代码简单,计算速度更快,且从模拟结果上看,该方法方法与QuESTNonlinear方法对协方差矩阵的估计提升效果类似。在下文中,我们称该方法为DirectNonlinear方法。
为了更加直观认识几种旋转不变估计量的估计效果,我们进行如下模拟实验:
在本章的最后,我们额外附加一个大家感兴趣的问题:介绍了这么多压缩估计的方法后,到底什么情形下压缩估计是必要的?这个答案取决于数据的维度与样本个数之比p/n之比。
图5借鉴了Yao等[16]所给出的一张图片,在该图片中,当p/n小于0.1时,被称为Low-dim区域,在这个区域中,使用复杂的协方差矩阵估计手段未必能打败最简单的协方差矩阵估计,因此,建议在这种情形中直接使用最原始的协方差估计,而无须对样本协方差矩阵进行额外处理。而当p/n超过10时,被称为在Ultra-dim区域,在这种维度远大于样本量的区域中,即便是复杂的协方差估计手段得到的结果也可能是很糟糕的,因为在这种情形下,压缩估计理论中的一些前提假设可能会被打破。而在p/n处于0.1与1之间的MP区域时,随机矩阵理论中的渐近理论更加有效,因此,在MP区域中,使用压缩估计是能起到较好的结果的。
处理样本协方差矩阵还是样本相关系数阵?
在下文的实践部分,在选择使用方案1还是方案2的问题上,我们将得到一些经验性的规律。当所要估计的p维变量的每一维度数据的波动率有很大差异的时候,使用方案2会更好,在这种情况下,先将数据标准化,一定程度上可以降低所要压缩的矩阵的条件数(Condition Number,为矩阵的最大特征值除以最小特征值的比例),而Ledoit等[9]在模拟中发现,条件数过大会影响线性压缩方法LWLinear的压缩效果。
而当p维变量每个维度数据的标准差差距没有那么大的时候,我们建议使用方案1,直接对协方差矩阵做处理,这种一步到位的方法在本文的实证中比方案2的两步法更加有效。同时,方案2相比于方案1也有更多的改进空间,正如BarraUSE4中所做的那样,我们可以选择使用不同长度不同频率的数据分别估计相关系数和单变量标准差,以使得其相对于市场变化反映更加敏捷,这些内容不在本报告讨论的范围内,后续东吴金工会跟进相关的研究。
本节最后,我们梳理一下上文所提到的方法,并对每一种方法在本文中的命名加以明确,以便于后续的实证对比。
对于稀疏矩阵估计的方法,主要为Xue等[4]提出的等权惩罚估计STO_Equal,以及Liu等[5]补充的加权惩罚模型,包括以样本协方差矩阵元素的倒数作为惩罚系数得到的估计STO_Cov,或以线性软阈值法处理后的样本协方差矩阵元素的倒数作为惩罚系数得到的估计STO_Sto。对应上文所提到的两个协方差矩阵的估计方案(方案1: 直接估计协方差矩阵;方案2:先估计相关系数矩阵,再回推得到协方差矩阵),分别赋予前缀Cov_和前缀Corr_,共衍生出6类估计,我们分别命名为Cov_STO_Equal、Cov_STO_Cov、Cov_STO_Sto、Corr_STO_Equal、Corr_STO_Cov、Corr_STO_Sto。
对于旋转不变估计量,主要为Menchero所[8]提出的BootstrapLike估计,Lediot等[9]所提出的线性压缩估计LWLinear,Lediot等[10]后续提出的非线性压缩估计QuESTNonlinear,以及算法更为简单的非线性压缩估计DirectNonlinear[11]。对应两种协方差矩阵的估计方案,共衍生出8类估计,分别命名为Cov_BootstrapLike、Cov_LWLinear、Cov_QuESTNonlinear、Cov_DirectNonlinear、Corr_BootstrapLike、Corr_LWLinear、Corr_QuESTNonlinear、Corr_DirectNonlinear。
当然,我们也会引入最原始的样本协方差估计量作为对照,在下文中,样本协方差估计法命名为SampleCov。
在接下来的两章中,我们将从两种应用情境下比对几种协方差矩阵估计方法效果的优劣。
案例1:风险因子协方差矩阵估计
风险模型的本质就是结构化的因子模型,该模型假设股票的相关性可以被一些共同的因子所解释,这些因子包括市场因子、风格因子、行业因子,除了这些公共因子之外,股票之间的残余收益互不相关,同时也与公共因子的收益率不相关。根据风险模型,单只股票i在某个区间段内的收益可以被拆解为如下形式:
风险模型在组合归因与组合优化中都扮演重要角色。其中,风险模型一个重要的功能就是对未来的金融资产组合进行波动率预测,可以让管理者清楚地认识到当前所管理的组合所面临的跟踪误差风险的大小,或者通过组合优化为投资者输出一个满足跟踪误差要求的股票配置列表。
因子协方差矩阵估计好坏的衡量标准
我们使用通用的Frobenius距离的方法衡量因子协方差矩阵估计的优劣,具体而言,我们计算协方差矩阵的估计值与真实的协方差矩阵(在实证中,假定以下一个周期的样本协方差矩阵为真实协方差矩阵)的Frobenius距离,该距离越小,说明估计越精准。以数学表达式表达,可以写为
在本节剩余部分中,我们将按照以上标准,执行两次测试,分别为模拟测试和实证检验。
模拟测试:
为方便读者阅读,我们也计算了每一类方法相对于简单的样本协方差矩阵估计SampleCov的改进幅度ImproveRatio,计算公式为:
表3展示了每种方法在不同样本长度下的ImproveRatio,从表中我们可以发现如下几个结论:
1、当使用第4章中的方案1(直接对样本协方差矩阵进行稀疏化或做旋转不变估计处理)时,各种复杂估计方法对协方差矩阵精度提升的效果往往不如使用方案2(对样本的相关系数矩阵进行稀疏化或做旋转不变估计处理,而后反推得到协方差矩阵的估计)的效果。例如,当每次模拟生成的随机数长度n=63 ,估计方法选择为线性压缩估计LWLinear时, Cov_LWLinear方法相对于简单样本协方差估计的提升仅有8.95%,相比之下,Corr_LWLinear方法相对于简单样本协方差估计的提升幅度达到18.90%。同样的现象出现在所有其它方法上。
造成这个现象的可能原因是,39个公共因子的波动率水平差距较大,甚至不在一个数量级上,在图6中,我们展示了这39个因子在整个测试区间内的标准差。我们发现,波动最大的市场因子,其日波动水平在接近2%的程度,而波动最小的成长因子,其日波动水平仅为0.1%。在这种情形下,相关系数矩阵的条件数很可能是低于协方差矩阵的条件数的,而协方差矩阵条件数较低的时候,复杂的估计方法往往更能提高估计的准确度。
2、随着观测样本数量n的提升,各个方法相对于简单的样本协方差估计方法的估计精度逐渐下降。例如,当观察样本数n=63,使用Corr_DirectNonlinear方法的时候,其相对于简单样本协方差矩阵的估计精度提升为18.97%,而随着n上升至126或252,该方法相对于样本协方差矩阵的估计精度提升幅度则分别降为12.80%和8.04%。
造成这个现象的原因,是随着n的提升,变量维度p与观测值数量n的比值在逐渐缩小,尤其是对于n=252时,p/n=39/252=0.155,该值已经接近了图5中所描述的Low-dim区域,在这个区域中,使用简单的样本协方差矩阵已经能较好估计真实协方差矩阵,而使用其它复杂方法进行改进,所获得的精度提升已经不大。
同时,对比表3,我们可以发现,虽然,在样本数量n相同的情况下,复杂方法会比简单的样本协方差估计更优,但错位对比可以发现,无论哪种复杂的估计方式,使用较小样本量n进行估计,估计精度都无法优于相对较大样本量n情形下,使用最简单的样本协方差矩阵做出的估计SampleCov。例如,在n=63时,使用Corr_LWLinear方案下协方差估计算出的平均误差为1.92*10^(-4),而对比n=126时,使用样本协方差估计SampleCov方法的平均误差仅为1.67*10^(-4)。
但这一点现象在实证中是否仍然成立是值得怀疑的,这是因为金融市场本身并非完全平稳,其始终处于一个缓慢的变化过程中,当我们使用样本量n较小的时候,意味着使用的数据是更加近期的数据,能更迅速对市场状态的变化产生相应的调整,而当n较大的时候,虽然在稳定状态下对协方差矩阵的估计更加精确,但其却因为不能对市场变化迅速调整,反而估计效果可能不如n较小的情形,这一点将在本节的实证部分加以验证。
3、不同估计方法横向比较,我们发现,使用旋转不变估计类的效果在绝大多数情形下都好于使用稀疏矩阵方法的估计效果。由此,我们推测,金融时间序列的协方差矩阵,出现稀疏矩阵(部分相关系数为0)的可能性相对较小,这导致了当强行对矩阵进行稀疏化时,对于协方差矩阵估计效果的提升并不会理想。在旋转不变估计类内部,当使用方案二的压缩估计时,使用线性压缩(LWLinear)和非线性压缩(QuESTNonlinear或DirectNonlinear)区别不大,为所有估计方法中提升效果最显著的方案,而BootstrapLike方案在n较小的时候表现糟糕,当达到126以上以后,其估计效果与线性压缩和非线性压缩相当。
实证检验:
为方便读者阅读,我们计算了每一类方法相对于简单的样本协方差矩阵估计(SampleCov方法)的改进幅度,并在表5中展示,计算公式为:
实证结论与模拟测试中的部分结论类似:1、使用方案一对协方差矩阵的预测能力始终不如方案二强,即直接估计协方差矩阵的效果始终弱于先估计相关系数矩阵,再反推出协方差矩阵的效果;2、随着回看天数n的上升,复杂估计方法相对于简单的样本协方差矩阵估计SampleCov的提升幅度越来越小;
但同时,我们也发现实证测试中不同于模拟实验的结论:
1、相对于简单的样本协方差矩阵估计(SampleCov方法),其它复杂方法在估计精度上的提升比例要低于模拟实验中的情形,且从表2与表4的对比可以看出,所有方法的实证分析误差均值都要高于模拟情形下的误差均值。
2、从表5中可以看出,对未来协方差矩阵的估计,并非是回看周期n越长效果越好,例如,对于使用方案二的线性压缩估计Corr_LWLinear方法,其回看63天误差的均值为6.04*10^(-4),若将该回看天数延长到半年126天,则误差均值下降到6.02*10^(-4),但若将回看天数进一步延长到一年252天,预测误差反而上升到6.39*10^(-4),误差有了6.15%的上升。其原因可以归为市场状态的时变性,使用较长的回看窗口固然会使得其对于估计窗口内的协方差矩阵估计的精度上升,但其对于市场状态变化的反映速度要慢于使用较短回看窗口的估计,因此,在实际操作中,我们建议投资者需要在反应速度与估计精度之间寻找最优的平衡点,在本文的案例中,回看126天所给出的协方差矩阵的预测效果是最好的,其中,使用方案二的线性压缩估计Corr_LWLinear表现最优。
案例2:最大化ICIR复合因子构造
投资者在做因子投资时,更倾向于使用多个alpha因子复合加权的投资方式。这是因为,多因子相对于单因子具有更好的稳健性,当一篮子因子中,某个或某几个因子短期失效时,复合因子仍然能从其它有效因子汲取选股能力,这使得多因子所做出的选股结果在稳定程度上远高于单因子选股的结果。
因子合成中,最常用的方法就是使用单个因子对每只股票进行打分,然后,将打分相加,得到该股票的总分,以总得分的高低作为该股票未来一段时间期望收益高低的标准。
参与测试因子的预处理:
本文共使用9个因子参与测试,包括5个基本面因子:单季度营业收入同比增长率,记为SalesYOY;单季度营业利润同比增长率,记为OPYOY;ROE_TTM环比变化,记为ROE_TTMQOQ;PE_TTM的倒数,记为EP_TTM;市净率,记为BP。同时,也纳入了4个情绪因子:过去20个交易日的对数日均换手率,记为TurnoverRatio;过去20个交易日相对于万得全A指数的特异度,记为特异度;过去20个交易日相对万得全A指数拟合CAPM模型后的剩余残差波动率,记为波动率;过去20个交易日的个股涨跌幅,记为反转。
为了解决不同行业、不同规模的公司之间因子的不可比性,我们对所有参与测试的9个因子都做了相对于对数流通市值和行业哑变量的中性化。下表给出了9个中性化后的因子在测试区间内月度测算频率下的年化ICIR:
若每个月月底将股票按中性化后的因子三等分,等权做多因子值最高的一组,等权做空因子值最低的一组,可以得到如下对冲曲线:
估计方案简述:
综上所述,本文将会尝试在8个不同频率或回看长度的方案基础上,测试15种协方差矩阵的估计区别,同时,也将因子等权配置(SalesYOY、OPYOY、ROE_TTMQOQ、EP_TTM、BP、特异度赋予权重1,换手率、波动率、反转因子赋予权重-1)作为基准,纳入比较。由于当回看数据为过去6个月的月频IC序列时,样本协方差矩阵不可逆,且方案一与方案二下的BootstrapLike方法也均不可行,因此,本文将比较(8*15+1-3)共118种因子权重配置方案,比较的指标为各个权重配置方案下的复合因子的年化ICIR值。
表7展示了这118中方案下的最优因子组合的年化ICIR。在表中,我们标注出了每种估计方法下ICIR最高(黄色)与最低(绿色)对应的回看时长和频率。
如表7所展示,表现最佳的回看时长和频率集中于63天和26周,而我们常用的滚动12个月这种方案,与滚动6个月一起,被列为表现最糟糕的回看估计方案。
与上一个案例相似,在实证分析中,并非回看窗口涵盖时间越长所得到的最优复合因子的ICIR越高。例如,在Cov_DirectNonlinear方案下,回看26周时,最优复合因子值ICIR达到5.91,而当回看52周时,该值仅有5.23。其解释也与上一个案例相同:虽然回看期数越多会对历史的协方差矩阵估计越精确,但过长的回看窗口会使得其相对于市场的变化反应变慢,这样反而会增大对未来的因子IC协方差矩阵预测误差。因此,我们需要在回看时间与反应速度上找到一个平衡,在本案例中,对稀疏化估计方法以及样本协方差矩阵来说,这个平衡为63天,而对于其余的旋转不变估计方案来说,这个平衡为26周。
在协方差矩阵估计的两大类方案(方案一、直接估计协方差矩阵;方案二、先估计相关系数矩阵,然后推得协方差矩阵)中,复合因子的ICIR表现并不像上一个案例中那样,方案二一边倒地优于方案一,反而在旋转不变估计大类中,方案一在多数情形下都要优于方案二。图8给出了参与计算的几个因子的月频IC的标准差,最低值在4.47%,最高为10.30%,在这种情形下,协方差矩阵的条件数未必会比相关系数矩阵的条件数大很多,此时,方案一这种一步到位的估计方案似乎更具有优势。
接下来,我们给出了各个方案相对于因子等权配置方案在ICIR上的改进幅度,计算公式为:
为了更加直观展示提升效果,我们将其转化为了柱状图,并在图9中展示:
当估计协方差矩阵所使用的数据频率为月频时,用于估计的时间窗口内样本总共仅为6(6个月)或12(12个月),样本量过小导致估计出的协方差矩阵误差过大,致使估计出的最优因子权重与真实最优权重相去甚远。其中,若使用过去12个月月频IC,以简单的样本协方差(SampleCov)作为IC序列真实协方差矩阵的估计时,其最优复合因子的ICIR竟然比完全没有优化的等权情形的ICIR低30%!在该回看周期频率下,虽然其它的复杂的方法能较大程度上提高协方差矩阵估计的准确度,使得最优复合因子的ICIR大幅提高,但相对于因子的等权配置方案,仍不能获得绝对优势:在回看6个月的月频IC序列情形下,只有Cov_LWLinear方法能击败等权组合,在回看12个月的月频IC序列情形下,15种方案中,也仅有8种旋转不变估计方案能击败等权配置下的复合因子。
但随着样本量的增加,击败等权因子的方案比例开始增加,当回看长度为13周(1个季度)的时候,虽然用简单样本协方差阵估计协方差矩阵的表现依然糟糕(ICIR比等权情形下低22%),但其它14个较为复杂的估计方法中,仅有两个跑输了因子等权配置的情形,其它方案均不同程度上超越了等权因子的表现。而对于回看26周、52周、63天、126天、252天这几种情形,所有的估计方案均能录得超越等权基准ICIR的表现。
以上发现对构造因子组合具有非常强的指导意义:即便我们对股票的打分的频率仅为月频这样的相对低频的情形,在估计因子IC协方差矩阵时,使用相对更高频率的IC序列,对于构造高ICIR的因子组合,是有较大帮助的。
最后,我们给出了各种协方差矩阵估计方案下的最优复合因子ICIR相对于仅使用简单样本协方差矩阵估计(SampleCov)得到的最优复合因子ICIR的改进幅度,计算公式如下
为了更加直观展示结论,我们将表9表示为柱状图的形式,并在图10中加以展示:
图10中的结果与预期完全相符,当回看样本量较小,如回看12个月、13周或26周时,稀疏矩阵估计类或旋转不变估计类均可以大幅提高复合因子的ICIR值,但是随着回看样本量的增大,当回看周期达到52周或者63天时,只有旋转不变估计类能提供相对稳定的超越基准的表现,且提升幅度基本也都在5%以内,当回看长度达到126天或252天后,p/n的值已经小于0.1,在这种情形下,矩阵稀疏化或特征值压缩所能起到的增益效果非常有限,此时,复杂的协方差估计方案不能显著超越使用简单样本协方差估计的表现也就在情理之中了。
总结
本文在前半部分详细梳理了两大类协方差矩阵的估计方法,第一类为稀疏矩阵方法,其本质为通过对矩阵非对角线元素施加L1惩罚项以及正定条件,将协方差矩阵部分非对角线元素压缩至0,在该大类中,共引入了三个基于不同惩罚系数的子方法。第二类估计方法为旋转不变估计类,其本质为保留样本协方差矩阵的特征向量,同时调整样本协方差矩阵的特征值,达到改进协方差矩阵估计的目的,在该类中,我们介绍了一种线性压缩估计方法,一种基于模拟的特征值调整方法,以及两种基于随机矩阵理论的非线性压缩方法。
在以上所介绍方法的基础上,我们考虑了两种求解协方差矩阵的方案:在第一种方案中,矩阵稀疏化或特征值压缩的对象直接为样本协方差矩阵,一步到位得到协方差矩阵的估计;在第二种方案中,矩阵稀疏化或特征值压缩的对象为样本的相关系数矩阵,而后对估计得到的相关系数矩阵左右分别乘以包含变量标准差信息的对角矩阵,反推得到最终的协方差矩阵的估计。
综合来看,本文共介绍总共7*2=14种协方差矩阵估计方案。在本文的后半部分,我们将这14种协方差矩阵的估计方案应用在了两个不同的情境中。
第一个情境为估计风险模型中公共因子收益率的协方差矩阵。结果显示,当不同因子间波动水平差距很大时,方案二(估计相关系数矩阵,而后反推得到协方差矩阵)与稀疏化矩阵估计类,或旋转不变估计类配合,均可获得相比于方案一更大的提升,其中,旋转不变估计类对估计的提升效果更加显著。在数值模拟结果显示,样本数量增加对于协方差矩阵估计的改进比在相同样本量下更复杂的估计方法的改进效果更显著,样本数量越大,对协方差矩阵的估计精度提升越高,但在实证中,市场是动态变化的,样本数量的增加意味着回看时间的增长,也就意味着估计对于短期市场的变化反映更迟钝。因而,在协方差估计中,需要考虑反映速度与估计精度的平衡,在本文的实证中,我们发现,使用回看半年时间(126交易日)、方案二下的线性压缩估计对未来一个月的因子协方差矩阵的估计效果最佳。
在第二个情境中,我们讨论了不同协方差矩阵估计方法在最大化复合因子ICIR中的应用,套用经典的最大化复合因子ICIR的因子权重分配公式,我们统计了在不同协方差矩阵估计方案、不同数据频率及回看长度情形下月频调仓策略的ICIR对比。在该案例中,我们分别指定了两个比较基准:1、等权复合因子的ICIR;2、使用简单的样本协方差矩阵估计(SampleCov)的最优因子权重配比下的复合因子ICIR。
当我们使用月频IC数据估计协方差矩阵时,样本量的稀少(滚动1年近12个月度数据)导致样本协方差估计(SampleCov)的表现大幅差于等权因子的表现,在这种情形下,若使用稀疏矩阵或者其它旋转不变估计方法,虽然能大幅改进使用简单协方差估计的表现,但改进后也仅有半数左右的方法能跑赢因子等权配置下的ICIR。
当改用周频或日频IC序列估计因子收益协方差矩阵时,同样回看区间长度的样本数据量有大幅增长,伴随而来的是对于协方差矩阵估计精度的提升,进而使得各种估计方法下的最优复合因子的ICIR大幅提高。其中,当我们使用向前滚动26周或63天的历史IC序列估计协方差矩阵时,虽然用到的历史数据只有过去半年或一个季度,所有方案下的复合因子ICIR均能超过因子等权配置下复合因子的ICIR达20%乃至30%以上,甚至使用最简单的样本协方差矩阵也能超越等权表现10%以上。与第一个案例相同,随着回看样本量的增大,复杂估计方式相比于简单的协方差估计矩阵的优势也在缩小,当回看周期达到126天或252天时,矩阵稀疏化或旋转不变估计方式相对于简单样本协方差估计不再具有明显优势。在本案例中,回看26周IC值,对协方差矩阵直接施以旋转不变估计能达到最优的回测效果,其相对于等权因子配置下的ICIR的提升在30%-35%的水平。
本文相对于协方差矩阵的探讨还有很多不足之处,例如,我们没有讨论相关系数矩阵与因子波动水平分别使用不同频率、不同回看长度的历史数据会不会达到更优的估计效果,也没有讨论收益波动率提高的因子的波动率变化趋势具有动量效应或是反转效应,进而动态修正对未来因子波动率的预测。这些内容将放在我们以后的研究中,敬请期待!
风险提示
本报告所有的结论均使用历史数据回测得到,模型在未来存在失效风险。
附注:
[1] 感谢东吴金工实习生傅开波对本报告的重要贡献。
[2] Bickel, P. and Levina,E. Covariance regularization by thresholding. Annals of Statistics. 2008(36):2577-2604.
[3] Rothman, A. J.,Levina, E. and Zhu, J. Generalized thresholding of large covariance matrices.Journal of the American Statistical Association. 2009(104): 177-186.
[4] Lingzhou Xue, ShiqianMa and Hui Zou Positive-Definite L1-Penalized Estimation of Large CovarianceMatrices. Journal of the American Statistical Association. 2012, 107(500):1480-1491.
[5] Han Liu, Lie Wang, TuoZhao. Sparse Covariance Matrix Estimation With Eigenvalue Constraints. Journalof Computational & Graphical Statistics. 2014 23(2): 439-459.
[6] Bickel, P. and Levina,E. Covariance regularization by thresholding. Annals of Statistics. 2008(36):2577-2604.
[7] Perlman, M.D.Multivariate Statistical Analysis. Online textbook published by the Departmentof Statistics of University of Washington, Seattle, 2007.
[8] Jose Menchero, JunWang, D.J.Orr. Eigen-Adjusted Covariance Matrices. MSCI Research Insight. 2011.
[9] Oliver Ledoit, MichaelWolf. A well-conditioned estimator for large-dimensinal covariance matrices.Journal of Multivariate Analysis. 2004, 88(2): 365-411.
[10] Olivier Ledoit,Michael Wolf. Spectrum estimation: A unified framework for covariance matrixestimation and PCA in large dimensions. Journal of Multivariate Analysis.2015(139): 360-384.
[11] Olivier Ledoit,Michael Wolf. Direct Nonlinear Shrinkage Estimation of Large-DimensinalCovariance Matrices. Working paper.
[12] Silverstein, J.W. Strongconvergence of empirical distribution of eigenvalues of large dimensionalrandom matrices. Journal of MultivariateAnalysis 1995(55): 331-339.
[13] Olivier Ledoit,Sandrine Péché. EigenVectors of some large sample covariance matrix ensembles.Probability Theory and Related Fields. 2011(151): 233-264.
[14] Oliver Ledoit,Michael Wolf. Nonlinear shrinkage estimation of large-dimensional covariancematrices. The Annals of Statistics 2012(40) 2:1024-1060.
[15] Olivier Ledoit,Michael Wolf. Numerical implementation of the QuEST function. ComputationalStatistics and Data Analysis. 2017(115): 199-223.
[16] Yao, J. Identifying the number of factors from singular values of alarge sample auto-covariance matrix, In: Complex Systems in Time Series, LondonSchool of Economics. 2015.
因子方法论系列历史报告:
基于日内模式的因子改进——以流动性因子为例
东吴金工团队成员
高子剑:gaozj@dwzq.com.cn
魏建榕:weijr@dwzq.com.cn
姚育婷:yaoyt@dwzq.com.cn
陈 实:chensh@dwzq.com.cn
张 翔:zhangxiang@dwzq.com.cn
宋 洋:songy@dwzq.com.cn