在包含截距的一元普通最小二乘回归中,决定系数 $R^2$ 等于皮尔逊相关系数 $r$ 的平方。但这个结论有明确前提,不能直接推广到所有回归模型。
问题设定
设观测值为 $Y_i$,使用单个变量 $X_i$ 拟合:
$$
Y_i=\hat{Y}_i+e_i,\qquad \hat{Y}_i=aX_i+b
$$
总离差平方和、回归平方和与残差平方和分别为:
$$
SST=\sum_i(Y_i-\bar{Y})^2
$$
$$
SSR=\sum_i(\hat{Y}_i-\bar{Y})^2
$$
$$
SSE=\sum_i(Y_i-\hat{Y}_i)^2
$$
当模型包含截距并采用普通最小二乘估计时,有:
$$
SST=SSR+SSE
$$
于是:
$$
R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}
$$
为什么会得到 r²
将变量中心化:
$$
x_i=X_i-\bar{X},\qquad y_i=Y_i-\bar{Y}
$$
一元最小二乘回归斜率为:
$$
a=\frac{\sum_i x_i y_i}{\sum_i x_i^2}
$$
拟合值相对于均值的偏差为 $\hat{Y}_i-\bar{Y}=ax_i$,所以:
$$
SSR=a^2\sum_i x_i^2
=\frac{(\sum_i x_i y_i)^2}{\sum_i x_i^2}
$$
代入 $R^2=SSR/SST$:
$$
R^2=
\frac{(\sum_i x_i y_i)^2}
{(\sum_i x_i^2)(\sum_i y_i^2)}
$$
而皮尔逊相关系数为:
$$
r=\frac{\sum_i x_i y_i}
{\sqrt{\sum_i x_i^2\sum_i y_i^2}}
$$
因此:
$$
R^2=r^2
$$
“解释方差”是什么意思
若 $R^2=0.64$,可以说这个线性模型解释了样本中 $Y$ 总变异的 64%。它不表示:
- $X$ 导致了 $Y$ 的 64%;
- 64% 的单个观测值被准确预测;
- 模型在新数据上也一定能解释 64%;
- 关系一定具有物理机制。
结论成立的条件
$R^2=r^2$ 需要:
- 只有一个解释变量;
- 使用普通最小二乘线性回归;
- 模型包含截距;
- $r$ 是该解释变量与响应变量之间的皮尔逊相关系数。
在多元回归、无截距回归、加权回归、非线性模型或使用其他相关系数时,不能直接使用这一等式。