因子信息增量检验

给定一个因子集合以及一个新因子，如何快速、准确而又低成本地判断它是否在预测前项收益率方面带来了新信息？

注意因子本身是信噪比极低的信号，噪声占据主导，因子之间做回归很大程度上是在研究噪声之间的关系，对真实信号几乎没有什么把控。因此最重大的课题就是：如何从巨量噪声中提取出真正的信号。

---

抛砖引玉，考虑以下模型：

假设未来收益率 $r$ 由 100 个信号 $a_1,...,a_{100}$ 完全确定：

$$r=a_1+\cdots+a_{100}$$

并假设这些信号是独立同分布的标准正态分布。

已有一个因子 $x_1=a_1+a_2+a_3+n_1+\cdots+n_{97}$，其中 $n_i$ 为噪声，也均为标准正态分布，且与以上所有信号独立。那么拿它对 $r$ 做回归，可以得到

$$r=\frac{Cov(r,x_1)}{Var(x_1)}x_1+\varepsilon_1=0.03x_1+\varepsilon_1$$

这个因子的 IC 为 $0.03$

现有一个新因子 $x_2=a_1+a_2+m_1+\cdots+m_{98}$，可见它没有带来新的有效信号。类似地，可以得到

$$r=0.02x_2+\varepsilon_2$$

这个因子的 IC 为 $0.02$

考虑两种情况：

1. $x_{1},x_{2}$ 的噪声项两两独立
2. $x_{1},x_{2}$ 的噪声项有相关性

先看第一种情况，如果我们做回归 $x_2\sim x_1$，可以得到

$$x_2 = 0.02x_1 + \epsilon_{3}$$

进一步可知，

$$\epsilon_{3} = 0.98a_{1}+0.98a_{2}-0.02a_{3}+\sum_{i=1}^{98} m_{i}-0.02\sum_{i=1}^{97} n_{i}$$

好，现在拿 $\epsilon_{3}$ 对 $r$ 做回归：

$$r \approx 0.0194\epsilon_{3}+\varepsilon$$

$IC(r,\epsilon_{3})\approx 0.0194$

可见这个残差的 IC 与 $x_{2}$ 几无差异，可能的解释是：因噪声的淹没，$x_{2}$ 中几乎没有能被 $x_{1}$ 解释的部分，因此残差保留的信息几乎与 $x_{2}$ 本身无异。

下面考虑第二种情况，假设 $m_{i}=n_{i},i=1,\dots,97$ ，此时 $x_{2}\sim x_{1}$ 的结果是

$$x_{2}=0.99x_{1}+\epsilon_{3}$$

可得

$$\epsilon_{3}=0.01a_{1}+0.01a_{2}-0.99a_{3}+0.01\sum_{i=1}^{97} m_{i}+m_{98}$$

$r\sim\epsilon_{3}$ 的结果是

$$r\approx -0.487\epsilon_{3}+\varepsilon$$

$IC(\epsilon_{3},r)\approx -0.068$

IC 翻转，且绝对值比原来 $x_{2}$ 的 IC 大。一种可能的解释是：$x_{1}$ 主要解释 $x_{2}$ 中的噪声，剔除 $x_{1}$ 的影响之后，得到了更纯净的信号。

更往细看，IC 翻转的原因是 $x_{2}$ 相对 $x_{1}$ 少了一个有效信号，导致残差项中 $a_{3}$ 的系数绝对值大且为负数。可以预见，若 $x_{2}$ 也含有 $a_{3}$ ，残差的 IC 应该会非常小。

综上，

1. 残差 IC 不变并不说明因子带来了新信息，而仅仅说明 $x_{1}$ 几乎不能解释 $x_{2}$，这很大程度上是因为噪声的主导
2. 残差 IC 相对原因子发生变化，可能是消除了噪声的后果

---

所以这种做回归取残差，看残差的表现的做法是无法诊断因子是否带来新的有效信号的。

---

那么我们如何判断信息增量？

从 APT 模型角度出发，一个初始的想法是，考察加入新因子前后，两个最佳线性预测的性能。

记 $r$ 为前向收益率，$x$ 为 $k$ 维随机向量，代表 $k$ 个因子，则总存在 $\beta$ 使得

$$r=\beta^T\begin{pmatrix} 1 \\ x \end{pmatrix}+\varepsilon, \text{where } \mathbb{E}[\varepsilon]=0,\mathrm{Cov}(x,\varepsilon)=0$$

右边除了残差项就是 $x$ 对 $r$ 的最佳线性预测，记为 $r_{x}'$ 吧，我们想评价：给定解释变量 $x$，它们对 $r$ 的最佳线性预测好不好。用 $\mathbb{E}[(r-r_{x}')^2]$ 作为指标，容易计算，这玩意儿就等于 $Var(\varepsilon)$。现在考虑加入新变量 $z$ 之后的最佳线性预测

$$r_{x,z}'=\alpha^T\begin{pmatrix} 1 \\ x \\ z \end{pmatrix}$$

容易证明 $\mathbb{E}[(r-r_{ {x,z}'})^2]$ 不会比原来的大，因为多了一个变量，表达力肯定是更强的。

但这不是说得到什么信号都能塞到模型里，如果加入噪声，我们对模型的估计会收到影响，因此我们用下面的期望预测误差来评价我们估计出来的模型的性能：

记 $\hat{r}$ 是用 OLS 估计的前向收益，$X$ 为样本矩阵，$Var(\varepsilon)=\sigma^{2}$

考虑一个测试点 $(r_{0},x_{0})$ ，$r_{0}$ 为实数，$x_{0}$ 为向量。看期望预测误差：

$$\mathbb{E}[(r_{0}-\hat{r}_{0})^2\mid X,x_0] = \sigma^2[1+x_{0}^T(X^TX)^{-1}x_{0}]$$

假设 $\mathbb{E}x_{0}=0, \mathrm{Cov}(x_{0})=\Sigma$ ，对上式再取条件期望，得

$$\mathbb{E}[(r_{0}-\hat{r}_{0})^2\mid X]=\sigma^2[1+tr((X^TX)^{-1}\Sigma)]$$

再假设训练数据（$X$ 的每一行） $x_{i}\overset{i.i.d.}{\sim}N(0,\Sigma)$，则

$$X^TX\sim W_{p}(\Sigma,n)$$

即 Wishart 分布，它的一个重要结论是

$$\mathbb{E}[(X^TX)^{-1}] = \frac{\Sigma^{-1}}{n-p-1}$$

至此，再对 $X$ 取期望，得

$$\mathbb{E}[(r_{0}-\hat{r}_{0})^2] = \sigma^2\left[1+\frac{tr(\Sigma^{-1}\Sigma)}{n-p-1}\right] = \sigma^2\cdot \frac{n-1}{n-p-1}$$

用这个来衡量加入变量 $z$ 是否带来信息增量。为方便比较，我们这样添加新变量：

设 $x$ 对 $z$ 的最佳线性预测为 $\alpha^T\begin{pmatrix}1 \\ x\end{pmatrix}$，记 $\tilde{z}=z-\alpha^T\begin{pmatrix}1 \\ x\end{pmatrix}$，这样，$x,\tilde{z}$ 对 $r$ 的最佳线性预测为

$$\beta^T\begin{pmatrix} 1 \\ x \end{pmatrix}+c \tilde{z}$$

注意 $x$ 的系数没有变化。记 $\varepsilon = c \tilde{z}+u$，则 $\mathrm{Cov}(\tilde{z},u)=0$，这样一来，加入 $\tilde{z}$ 的期望预测误差为 $Var(u)\cdot \frac{n-1}{n-p-2}$，它比原来的小当且仅当

$$\frac{c^2Var(\tilde{z})}{\sigma^2}> \frac{1}{n-p-1}$$