最小二乘法的公式：

对于一组数据 $(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)$，我们希望找到一条直线 $y = kx + b$，使得该直线与数据点之间的垂距平方和最小。我们定义垂距为数据点 $(x_i,y_i)$ 到直线 $y = kx + b$ 的距离，即：$$d_i = y_i - kx_i - b$$

则垂距平方和为：

$$S = \sum_{i=1}^n d_i^2 = \sum_{i=1}^n (y_i - kx_i - b)^2$$

我们的目标是最小化 $S$，即：

$$\min_{k,b} S$$

为了求解这个最小化问题，我们可以对 $S$ 分别对 $k$ 和 $b$ 求偏导数，得到：

$$\frac{\partial S}{\partial k} = -2\sum_{i=1}^n x_i(y_i - kx_i - b)$$

$$\frac{\partial S}{\partial b} = -2\sum_{i=1}^n (y_i - kx_i - b)$$

令偏导数为 $0$，得到：

$$\begin{cases}

\sum_{i=1}^n x_i(y_i - kx_i - b) = 0 \\

\sum_{i=1}^n (y_i - kx_i - b) = 0

\end{cases}$$

化简得到：

$$\begin{cases}

k\sum_{i=1}^n x_i^2 + b\sum_{i=1}^n x_i = \sum_{i=1}^n x_iy_i \\

k\sum_{i=1}^n x_i + nb = \sum_{i=1}^n y_i

\end{cases}$$

解这个方程组，即可得到最佳拟合直线的斜率 $k$ 和截距 $b$。具体地，我们可以使用高斯消元法或矩阵求逆法来求解。

最小二乘法不仅可以用于求解一条直线的最佳拟合，还可以用于求解更复杂的曲线拟合。对于一个 $m$ 次多项式拟合，我们可以将拟合函数表示为：

$$y = a_0 + a_1x + a_2x^2 + \cdots + a_mx^m$$

然后按照类似于上面的方法，求解 $a_0,a_1,\cdots,a_m$，使得拟合曲线与数据点之间的垂距平方和最小。

最小二乘法是一种非常常用的数学方法，广泛应用于各个领域。例如，在统计学中，最小二乘法可以用于线性回归分析；在信号处理中，最小二乘法可以用于信号滤波和谱估计；在机器学习中，最小二乘法可以用于支持向量回归和非线性回归等问题。

免责声明：本站文字信息和图片素材来源于互联网，仅用于学习参考，如内容侵权与违规，请联系我们进行删除，我们将在三个工作日内处理。联系邮箱：chuangshanghai#qq.com（把#换成@）