2 Simple Linear Regression

LINE

对于以下线性模型

$$Y_{i}=\beta_{0}+\beta_{1}X_{i}+\varepsilon_{i}$$

要求

1. $\mathbb{E}(\varepsilon_{i})=0,\ \forall i$，这总可以通过调整截距项来做到
2. $\mathrm{Var}(\varepsilon_{i})=\sigma^2,\ \forall i$，同方差，这是假设
3. $\varepsilon_{i},\varepsilon_{j}$ 不相关，也是假设

$X_{i}$ 在经典理论里不被看作是随机变量，被看作是随机变量时才有内生性之类的问题。本课通通将 $X_{i}$ 看作已知数而非随机变量。

我觉得，若视 $X_{i}$ 为随机变量，把以后所有结论都看作是给定所有 $X_{i}$ 的条件下的结论，应与视其为已知数的情况是相容的。我更愿意把 $X_{i}$ 看成是随机变量，以下也全部从这个视角出发做笔记。

进一步假设 $\varepsilon_{1},\dots,\varepsilon_{n}\mid \boldsymbol{X}\overset{i.i.d.}{\sim}N(0,\sigma^2)$，则上模型等价于说：

$$Y_{1},\dots,Y_{n} \text{ are independent and for each } i,\ Y_{i}\mid \boldsymbol{X}\sim N(\beta_{0}+\beta_{1}X_{i},\sigma^2)$$

总结就是：

1. Linear Function: $\mathbb{E}[Y\mid X]$ is linear.
2. Independent: given all design variables $X_{i}$, $\varepsilon_{i}$'s are independent
3. Normally Distributed: $\varepsilon_{i}\mid \boldsymbol{X}$ is normal for all $i$'s
4. Equal Variances: $\mathrm{Var}(\varepsilon_{i}\mid \boldsymbol{X})$'s are equal

Parameter Estimation

Parameters to be estimated: $\beta_{0},\beta_{1},\sigma^2$

LS Estimation

Estimation

最小二乘估计：

$$\hat{\beta_{0}}, \hat{\beta_{1}} = \mathrm{argmin}_{\beta_{0},\beta_{1}}\sum(Y_{i}-\beta_{0}-\beta_{1}X_{i})^{2}$$

结果是

$$\begin{align} \hat{\beta}_{1} & = \frac{S_{xy}}{S_{xx}} \\ \hat{\beta}_{0} & = \bar{Y}-\hat{\beta}_{1}\bar{X} \end{align}$$

提供一个看 $\hat{\beta}_1$ 的视角：

$$\hat{\beta}_1 = \sum_{i=1}^{N} \frac{X_i-\bar{X}}{S_{xx}}Y_i$$

可以把 $\hat{\beta}_1$ 看作是 $Y_i$ 的一个加权和，权重为 $\frac{X_i-\bar{X}}{S_{xx}}$. 用法见 异方差下斜率估计量的方差。

拟合模型为

$$\hat{Y}_{i}=\hat{\beta}_{0}+\hat{\beta}_{1}X_{i}$$

定义残差为

$$e_{i} = Y_{i}-\hat{Y}_{i}$$

残差有以下统计性质:

1. $\sum e_{i}=0$
2. $\sum X_{i}e_{i}=0$

这两个性质可以推出

1. $\sum Y_{i}=\sum \hat{Y}_{i}$
2. $\sum \hat{Y}_{i}e_{i}=0$

下面估计 $\sigma^2$

Note that $\mathrm{Var}(Y_{i})=\sigma^{2}$, can we estimate $\sigma^{2}$ with

$$\frac{\sum(Y_{i}-\bar{Y})^{2}}{n-1}?$$

No. Because $Y_{i}$'s are not i.i.d..

注意 $\sigma^{2}=\mathrm{Var}(\varepsilon_{i})=\mathbb{E}(\varepsilon^{2})$，而 $e_{i}$ 是 $\varepsilon_{i}$ 的好代理，因此可以用

$$\frac{\sum e_{i}^{2}}{n}$$

来估计，不过这个估计不是无偏的，$e_{i}$ 的两个统计性质用掉了 2 个自由度，因此

$$s^2 = \hat{\sigma }^{2}=\frac{\sum e_{i}^{2}}{n-2}=\frac{SSE}{df_{E}}=MSE$$

是 $\sigma^{2}$ 的无偏估计。这个的证明见这里，不是很显然，要算一算。

Residual Plot

The residuals not only tell about the errors, but also how well the model fits data.

因为我们的假设大部分都是对误差项做的，若这些假设都对，残差应是误差的好代理，我们期望它跟误差有相像的行为。

QQ plot. Empirical cdf v.s. theoretical cdf.

ML Estimation

似然准则：在统计模型给定的情况下，关于模型参数的所有信息都被似然函数包含，即根据似然函数就可以估计参数。

以下计算均是给定 $\boldsymbol{X}$ 而言，在此声明，以省略 $\mid \boldsymbol{X}$ 的书写。

首先确定统计模型：

$$Y_{i}\sim N(\beta_{0}+\beta_1 X_{i},\sigma^{2})$$

再确定似然函数：

$$\begin{align} L(\beta_{0},\beta_{1},\sigma^{2}\mid \boldsymbol{Y})&=f(\boldsymbol{Y}\mid \beta_{0},\beta_{1},\sigma^{2}) \\ & = \prod_{i=1}^nf_{i}(\cdots) \end{align}$$

解

$$\mathrm{argmax}_{\beta_{0},\beta_{1},\sigma^{2}}L(\beta_{0},\beta_{1},\sigma^{2}\mid \boldsymbol{Y})$$

得

$$\begin{align} \hat{\beta}_{0}^{ML},\hat{\beta}_{1}^{ML} &= \hat{\beta}_{0}^{LS},\hat{\beta}_{1}^{LS} \\ \hat{\sigma}^{2,ML}&=\frac{\sum e_{i}^{2}}{n}\ne \hat{\sigma}^{2,LS} \end{align}$$

• ML estimates rely on distributional assumptions, LS estimates do not
• In general, MLEs and LSEs are different