1 Prelude

原课件

一个 丈夫数量~日期 的回归梗图：

• 注意回归的定义域
• 回归最擅长的不是外推（那是时间序列做的事），是做内差。

回归的故事

进化论：高尔顿钉板模型

先讲讲小球为何呈现正态分布：

我们只考虑小球在水平方向的位置，小球落在第一层时，位置记为 0。

小球每下落一层，它可能向左移动，也可能向右移动，用 $I_{i}$ 代表它从第 $i$ 层到第 $i+1$ 层发生的移动，$I_{i}=1$ 表示向右，$I_{i}=-1$ 表示向右。

容易发现，诸 $I_{i}$ 独立同分布，且

$$\begin{align} P(I_{i}=1)&=0.5 \\ P(I_{i}=-1)&=0.5 \end{align}$$

设高尔顿板有 $n$ 层，一个小球最终的位置可以用

$$S = \sum_{i=1}^{n}I_{i}$$

来表示。根据中心极限定理

$$\frac{S-\mathbb{E}[S]}{\sqrt{ Var(S) }} = \frac{S}{\sqrt{ n }}\overset{d}{\to} N(0,1)$$

也就是说当 $n$ 足够大时，$S$ 近似服从 $N(0,1)$.

高尔顿用这个模型来描述生物特征的代际遗传变异现象，每一层就是一代，但是很快我们能发现矛盾：随代数增长，方差越来越大，而种群特征分布应该是稳定的。

补丁：回归的发现

然后这哥们研究身高的遗传，看红色框里的数据：

省流就是：高的父母生出来的也高，但没父母高；矮的父母生出来的也矮，但没父母矮。总之就是呈现一个“回归于庸常”的趋势。

弄反标签，还会回归吗？

• 跟周哥讨论过
• OLS 的目标不一样，一个水平，一个竖直

这可以用来对上面钉板模型打补丁：加一个向内缩的槽道，减小分布的方差

反过来看，也会出现回归现象：高的小孩，父母没那么高；矮的小孩，父母没那么矮（看上面图标紫色框里的数据）

兄弟之间看，也有一样的现象。

综上，回归是一种统计学现象。

对回归的解释

我们把一个生物特征的随机性分成两部分：种群的随机性和个体的随机性。前者体现在种群的每一个个体身上，后者是个体独有的。下面用这个框架解释回归现象：

$$\begin{align} F=G+V_{1} \\ S=G+V_{2} \end{align}$$

其中 $F$ 指父辈身高，$S$ 指子代身高，$G$ 为种群决定的身高，$V_{i}$ 为个体决定的身高。不妨假设 $\mathbb{E}G=p, \mathbb{E}V_{i}=0$，并且 $V_{i}$ 与 $G$ 两两独立。

现在我们有一个身高比较高的父代个体 $f=g+v_{1}>p$，我们来看看它的子代期望身高：

$$\begin{align} \mathbb{E}[S\mid G=g,V_{1}=v_{1}] & = \mathbb{E}[G+V_{2}\mid G=g,V_{1}=v_{1}] \\ & = g + \mathbb{E}[V_{2}\mid G=g,V_{1}=v_{1}] \\ & = g \end{align}$$

意思就是期望意义上，子代的身高跟父代由种群决定的那部分身高一样。

术语

Multiple regression 多重回归，然常称多元回归

回归的类型

• $\mathrm{continuous}\sim *$
  • $\mathrm{quantitative}\sim \mathrm{quantitative}$
  • $\mathrm{quantitative}\sim \mathrm{quantitative}+\mathrm{qualitative}$: analysis on covariance
  • $\mathrm{quantitative}\sim \mathrm{qualitative}$: ANOVA (analysis of variance)
• $\mathrm{qualitative}\sim *$: logistic regression
• $\mathrm{discrete}\sim *$: Poisson regression