最小二乘估计的算法

以线性回归为例，说明最小二乘法的算法：

令线性回归方程为： y=ax+b (1)

a,b为回归系数，要用观测数据(x1,x2,...,xn和y1,y2,...,yn)确定之。

为此构造 Q(a,b)=Σ(i=1->n)[yi-(axi+b)]^2 (2)

使偏差的平方和取极小，就是最小二乘法的核心思想：

为使Q(a，b)取最小，a，b应满足：

∂Q/∂a= 2Σ(i=1->n)[yi-(axi+b)](-xi)= 0 (3)

∂Q/∂b= 2Σ(i=1->n)[yi-(axi+b)] = 0 (4)

由(3)、(4)解出a ，b就确定了回归a和b。整理(3),(4)得到：

a Σ (Xi)² + b Σ Xi = Σ Xi Yi (5)

a Σ Xi + b n = Σ Yi (6)

由(5)、(6)是关于a，b的二元线性方程组，解出a，b代入(1)就完成了一元线性回归。

这就是最小二乘法算法的基本思路