多元正态分布

独立与不相关

多元正态分布中，分量的不相关等价于独立。这并不是说任意两个正态分布的不相关等价于独立。一个反例是：

$$X\sim N(0,1)\quad S=\begin{cases} 1 & \text{with prob. 0.5} \\ -1 & \text{with prob. 0.5} \end{cases} \quad S\perp X \quad Y=SX$$

可以得到 $Y\sim N(0,1), \mathrm{Cov}(X,Y)=0$. 而显然 $X,Y$ 并不独立。

另外，可以得到 $P(X+Y=0)=0.5$. 这就说明 $X,Y$ 也不构成二元正态分布。

总结：

1. 不是随便两个正态分布都能构成二元正态分布
2. 不是随便两个正态分布都满足「独立 $\Leftrightarrow$ 不相关 」

条件期望

设 $(X,Y)$ 服从联合正态分布，

$$\begin{pmatrix} X \\ Y \end{pmatrix} \sim N \left( \begin{pmatrix} \mu_{X} \\ \mu_{Y} \end{pmatrix}, \begin{pmatrix} \sigma_{X}^{2} & \sigma_{XY} \\ \sigma_{XY} & \sigma_{Y}^{2} \end{pmatrix} \right)$$

现在我们计算 $\mathbb{E}[X\mid Y=y]$，首先，显而易见的是 $X\mid Y=y$ 肯定也服从正态分布，所以我们不用真的计算期望，只用关心它的 PDF 的中心位置就行，更具体地，只用关注指数部分 $x$ 项配平后的结果。

$$f_{X\mid Y}(x\mid y) = \frac{f_{X,Y}(x,y)}{f_{Y}(y)}$$

我们只用关注 $f_{X,Y}(x,y)$ 中指数部分中与 $x$ 有关的项，先看指数部分：

$$-\frac{1}{2}\begin{pmatrix} x-\mu_{X} \\ y-\mu_{Y} \end{pmatrix}^T \Sigma^{-1} \begin{pmatrix} x-\mu_{X} \\ y-\mu_{Y} \end{pmatrix} = -\frac{1}{2}\left((x-\mu_{X})^{2}\sigma_{Y}^{2}-\sigma_{XY}(x-\mu_{X})(y-\mu_{Y})+\text{与} x \text{无关的部分}\right)$$

配方之后得

$$\cdots \left( x-\left( \mu_{X}+\frac{\sigma_{XY}}{2\sigma_{Y}^{2}}(y-\mu_{Y}) \right) \right)^{2}\cdots$$

所以

$$\mathbb{E}[X\mid Y=y]=\mu_{X}+\frac{\sigma_{XY}}{\sigma_{Y}^{2}}(y-\mu_{Y})$$

我去，这不是 OLS 吗。