有人知道最小二乘法求线性回归方程是如何计算的吗?

最小二乘法是一种用于线性回归分析的常用方法，其核心思想是通过最小化误差的平方和来确定最佳拟合直线（线性回归方程）的系数。以下为你介绍详细的计算步骤：

1. 数据准备

假设有 $n$ 组观测数据 $(x_1, y_1), (x_2, y_2), \cdots, (x_n, y_n)$，线性回归方程的一般形式为 $\hat{y} = a + bx$，其中 $\hat{y}$ 是预测值，$a$ 是截距，$b$ 是斜率，我们需要根据已知数据求出 $a$ 和 $b$ 的值。

2. 定义误差函数

对于每个观测点 $(x_i, y_i)$，其预测值为 $\hat{y}_i = a + bx_i$，误差 $e_i = y_i - \hat{y}_i = y_i - (a + bx_i)$。
最小二乘法的目标是使所有误差的平方和最小，即最小化误差函数 $Q(a, b)=\sum_{i = 1}^{n}e_{i}^{2}=\sum_{i = 1}^{n}(y_i - a - bx_i)^2$。

3. 求偏导数并令其为零

分别对 $a$ 和 $b$ 求偏导数：

对 $a$ 求偏导数：
$\frac{\partial Q}{\partial a} = -2\sum_{i = 1}^{n}(y_i - a - bx_i)=0$
化简可得：$\sum_{i = 1}^{n}y_i - na - b\sum_{i = 1}^{n}x_i = 0$ ①

对 $b$ 求偏导数：
$\frac{\partial Q}{\partial b} = -2\sum_{i = 1}^{n}x_i(y_i - a - bx_i)=0$
化简可得：$\sum_{i = 1}^{n}x_iy_i - a\sum_{i = 1}^{n}x_i - b\sum_{i = 1}^{n}x_{i}^{2}=0$ ②

4. 求解 $a$ 和 $b$

由①式可得：$na + b\sum_{i = 1}^{n}x_i=\sum_{i = 1}^{n}y_i$，进而推出 $a = \overline{y}-b\overline{x}$，其中 $\overline{x}=\frac{1}{n}\sum_{i = 1}^{n}x_i$ 是 $x$ 的均值，$\overline{y}=\frac{1}{n}\sum_{i = 1}^{n}y_i$ 是 $y$ 的均值。
将 $a = \overline{y}-b\overline{x}$ 代入②式：

$$\begin{align*} \sum_{i = 1}^{n}x_iy_i - (\overline{y}-b\overline{x})\sum_{i = 1}^{n}x_i - b\sum_{i = 1}^{n}x_{i}^{2}&=0\\ \sum_{i = 1}^{n}x_iy_i - \overline{y}\sum_{i = 1}^{n}x_i + b\overline{x}\sum_{i = 1}^{n}x_i - b\sum_{i = 1}^{n}x_{i}^{2}&=0\\ b\left(\overline{x}\sum_{i = 1}^{n}x_i-\sum_{i = 1}^{n}x_{i}^{2}\right)&=\overline{y}\sum_{i = 1}^{n}x_i - \sum_{i = 1}^{n}x_iy_i\\ b&=\frac{n\sum_{i = 1}^{n}x_iy_i-\sum_{i = 1}^{n}x_i\sum_{i = 1}^{n}y_i}{n\sum_{i = 1}^{n}x_{i}^{2}-\left(\sum_{i = 1}^{n}x_i\right)^2} \end{align*}$$

5. 得出线性回归方程

求出 $a$ 和 $b$ 的值后，将其代入线性回归方程 $\hat{y} = a + bx$ 中，就得到了通过最小二乘法确定的线性回归方程。

例如，有数据 $(1, 2), (2, 3), (3, 4)$：

计算均值：$\overline{x}=\frac{1 + 2 + 3}{3}=2$，$\overline{y}=\frac{2 + 3 + 4}{3}=3$

计算相关和：$\sum_{i = 1}^{3}x_i = 6$，$\sum_{i = 1}^{3}y_i = 9$，$\sum_{i = 1}^{3}x_{i}^{2}=1^2 + 2^2 + 3^2 = 14$，$\sum_{i = 1}^{3}x_iy_i = 1\times2 + 2\times3 + 3\times4 = 20$

计算 $b$ 值：$b=\frac{3\times20 - 6\times9}{3\times14 - 6^2}=\frac{60 - 54}{42 - 36}=1$

计算 $a$ 值：$a = 3 - 1\times2 = 1$

所以线性回归方程为 $\hat{y} = 1 + x$ 。