在包含截距的一元普通最小二乘回归中,决定系数 $R^2$ 等于皮尔逊相关系数 $r$ 的平方。但这个结论有明确前提,不能直接推广到所有回归模型。

问题设定

设观测值为 $Y_i$,使用单个变量 $X_i$ 拟合:

$$
Y_i=\hat{Y}_i+e_i,\qquad \hat{Y}_i=aX_i+b
$$

总离差平方和、回归平方和与残差平方和分别为:

$$
SST=\sum_i(Y_i-\bar{Y})^2
$$

$$
SSR=\sum_i(\hat{Y}_i-\bar{Y})^2
$$

$$
SSE=\sum_i(Y_i-\hat{Y}_i)^2
$$

当模型包含截距并采用普通最小二乘估计时,有:

$$
SST=SSR+SSE
$$

于是:

$$
R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}
$$

为什么会得到 r²

将变量中心化:

$$
x_i=X_i-\bar{X},\qquad y_i=Y_i-\bar{Y}
$$

一元最小二乘回归斜率为:

$$
a=\frac{\sum_i x_i y_i}{\sum_i x_i^2}
$$

拟合值相对于均值的偏差为 $\hat{Y}_i-\bar{Y}=ax_i$,所以:

$$
SSR=a^2\sum_i x_i^2
=\frac{(\sum_i x_i y_i)^2}{\sum_i x_i^2}
$$

代入 $R^2=SSR/SST$:

$$
R^2=
\frac{(\sum_i x_i y_i)^2}
{(\sum_i x_i^2)(\sum_i y_i^2)}
$$

而皮尔逊相关系数为:

$$
r=\frac{\sum_i x_i y_i}
{\sqrt{\sum_i x_i^2\sum_i y_i^2}}
$$

因此:

$$
R^2=r^2
$$

“解释方差”是什么意思

若 $R^2=0.64$,可以说这个线性模型解释了样本中 $Y$ 总变异的 64%。它不表示:

  • $X$ 导致了 $Y$ 的 64%;
  • 64% 的单个观测值被准确预测;
  • 模型在新数据上也一定能解释 64%;
  • 关系一定具有物理机制。

结论成立的条件

$R^2=r^2$ 需要:

  • 只有一个解释变量;
  • 使用普通最小二乘线性回归;
  • 模型包含截距;
  • $r$ 是该解释变量与响应变量之间的皮尔逊相关系数。

在多元回归、无截距回归、加权回归、非线性模型或使用其他相关系数时,不能直接使用这一等式。