最小二乘法的基本原理和多项式拟合
一最小二乘法的基本原理
从整体上考虑近似函数同所给数据点 (i=0,1,…,m)误差
(i=0,1,…,m)
(i=0,1,…,m)绝对值的最大值，即误差向量
的∞—范数；二是误差绝对值的和，即误差向量r的1—范数；三是误差平方
和的算术平方根，即误差向量r的2—范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误
差平方和来度量误差 (i=0，1，…，m)的整体大小。
数据拟合的具体作法是：对给定数据 (i=0,1,…，m)，在取定的函数类
中,求,使误差(i=0,1,…,m)的平方和最小，即
=
从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小
的曲线（图6-1）。函数称
为拟合函数或最小二乘解，求拟合函数的方法称为曲线拟合的最小二乘法。
数类可有不同的选取方法.
6—1
二多项式拟合
假设给定数据点 (i=0,1,…,m)，为所有次数不超过的多项式构成的函数类，现求一,使得
(1)
当拟合函数为多项式时，称为多项式拟合，满足式（1）的称为最小二乘拟合
多项式。特别地，当n=1时，称为线性拟合或直线拟合。
显然
为的多元函数，因此上述问题即为求的极值问题。由多元函数求极值的必要条件，得
(2)
即
(3)
（3）是关于的线性方程组，用矩阵表示为
(4)
式（3）或式（4）称为正规方程组或法方程组。
可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。从式
（4）中解出 (k=0,1,…，n)，从而可得多项式
(5)
可以证明，式（5）中的满足式（1），即为所求的拟合多项式。我们把
称为最小二乘拟合多项式的平方误差，记作
由式(2)可得
(6)
多项式拟合的一般方法可归纳为以下几步：
(1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数n；
(2) 列表计算和；
(3) 写出正规方程组，求出；
(4) 写出拟合多项式。
在实际应用中，或；当时所得的拟合多项式就是拉格朗日或牛顿插
值多项式。
例1 测得铜导线在温度(℃)时的电阻如表6-1，求电阻R与温度 T的
近似函数关系。
(℃)
，拟合函数为
解方程组得
故得R与T的拟合直线为
利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由R=0得T=-242.5，
即预测温度T=-242.5℃时，铜导线无电阻。
6-2
例2已知实验数据如下表
解设拟合曲线方程为
解得
故拟合多项式为
课题八曲线拟合的最小二乘法 实验目标： 在某冶炼过程中，通过实验检测得到含碳量与时间关系的数据如下，试求含碳量y与时间t #include 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 = 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法 . 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) [ ] ∑ = = - m i i i y x p 0 2 min ) ( 曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到: 6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9) 最小二乘法圆拟合 1.最小二乘法圆拟合原理 理论 最小二乘法(Least Square Method )是一种数学优化技术。它通过最小化误差的平方和找到一组数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 最小二乘圆拟合模型公式推导 在二维平面坐标系中，圆方程一般可表示为: ()22020)(r y y x x =-+- （1） 对于最小二乘法的圆拟合，其误差平方的优化目标函数为： [] 2 12020)()(∑=--+-=n i i i r y y x x S 式中：()i i y x ,n i ,...,2,1=为圆弧上特征点坐标；n 为参与拟合的特征点数。 在保持这优化目标函数特征的前提上，我们需要对其用一种稍微不同的改进方法来定义误差平方，且其避免了平方根，同时可得到一个最小化问题的直接解，定义如下: [] 2 122020)()(∑=--+-=n i i i r y y x x E （2） 则（2）式可改写为： ( )2 12 20 0220 02 22∑=-+-++-=n i i i i i r y y y y x x x x E （3） 令,02y B -=,02x A -=22020r y x C -+= 即（3）式可表示为： () 2 22∑=++++=n i i i i i C By Ax y x E 由最小二乘法原理，参数A ,B ,C 应使E 取得极小值。根据极小值的求法，A ,B 和C 应满足 () 020 22=++++=??∑=i n i i i i i x C By Ax y x A E (4) () 020 22=++++=??∑=i n i i i i i y C By Ax y x B E (5) () 020 22=++++=??∑=n i i i i i C By Ax y x C E (6) 求解方程组，先消去参数C ,则 式()()∑=*-*n i i x n 064得 ( )0 02 202 030000002=+-++?? ? ??-+??? ??-∑∑∑∑∑∑∑∑∑∑==========n i i n i i i n i i i n i i n i n i i i n i i i n i n i i i n i i x y x y x n x n B y x y x n A x x x n （7） 式()()∑=*-*n i i y n 065得 ( )0 02 202 030002000=+-++?? ? ??-+??? ??-∑∑∑∑∑∑∑∑∑∑==========n i i n i i i n i i i n i i n i n i i i n i i n i n i i i n i i i y y x y x n y n B y y y n A y x y x n （8） 令 ??? ??-=∑∑∑===n i n i n i i i i x x x n M 000211（9） ?? ? ??-==∑∑∑===n i n i i i n i i i y x y x n M M 0002112（10） ?? ? ??-=∑∑∑===n i n i i i n i i y y y n M 000222（11） 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 实验三 函数逼近与曲线拟合 一、问题的提出： 函数逼近是指“对函数类A 中给定的函数)(x f ,记作A x f ∈)(,要求在另一类简的便于计算的函数类B 中求函数A x p ∈)(,使 )(x p 与)(x f 的误差在某中度量意义下最小”。函数类A 通常是区间],[b a 上的连续函数，记作],[b a C ,称为连续函数空间，而函数类B 通常为n 次多项式，有理函数或分段低次多项式等，函数逼近是数值分析的基础。主要内容有： （1）最佳一致逼近多项式 （2）最佳平方逼近多项式 （3）曲线拟合的最小二乘法 二、实验要求： 1、构造正交多项式； 2、构造最佳一致逼近； 3、构造最佳平方逼近多项式； 4、构造最小二乘法进行曲线拟合； 5、求出近似解析表达式，打印出逼近曲线与拟合曲线，且打印出其在数据点上的偏差； 6、探讨新的方法比较结果。 三、实验目的和意义: 1、学习并掌握正交多项式的MATLAB 编程； 2、学习并掌握最佳一致逼近的MATLAB 实验及精度比较； 3、学习并掌握最佳平方逼近多项式的MATLAB 实验及精度比较； 4、掌握曲线拟合的最小二乘法； 5、最小二乘法也可用于求解超定线形代数方程组； 6、 探索拟合函数的选择与拟合精度之间的关系； 四、 算法步骤： 1、正交多项式序列的生成 {n ?（x ）}∞ 0：设n ?（x ）是],[b a 上首项系数a ≠n 0的n 次多项式，)(x ρ为],[b a 上权函数，如果多项式序列{n ?（x ）} ∞0 满足关系式???=>≠==?.,0,, 0)()()()(),(k j A k j x d x x x k k j b a k j ??ρ?? 则称多项式序列{n ?（x ）}∞ 0为在],[b a 上带权)(x ρ正交，称n ?（x ）为],[b a 上带权)(x ρ 的n 次正交多项式。 1）输入函数)(x ρ和数据b a ,; 2）分别求))(),(()),(,(x x x x j j j n ???的内积； 3）按公式①)()) (),(()) (,()(,1)(1 0x x x x x x x x j n j j j j n n n ??? ???∑-=- ==计算)(x n ?，生成正交多项式； 流程图： 开始 最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为： 第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 0 2 =[]∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线)(x p y =（图6-1）。函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法. 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘 拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。 最小二乘法多项式拟合 对于给定的数据点N i y x i i ≤≤1),,(，可用下面的n 阶多项式进行拟合，即 为了使拟合出的近似曲线能尽量反映所给数据的变化趋势，要求在所有数据点上的残差 都较小。为达到上述目标，可以令上述偏差的平方和最小，即 称这种方法为最小二乘原则，利用这一原则确定拟合多项式)(x f 的方法即为最小二乘法多项式拟合。 确定上述多项式的过程也就是确定)(x f 中的系数n k a k ≤≤0,的过程，根据最小二乘原则，则偏差平方和应该是这些系数的函数，即 为使上式取值最小，则其关于n k a k ≤≤0,的一阶导数应该为零，即有 将上面各等式写成方程组的形式可有 写成矩阵形式有 上述方程组可以通过克莱姆法则来计算，从而解出各系数n k a k ≤≤0,得到拟合方程。 考虑到一般情况提高拟合多项式的阶数并不能提高拟合精度，所以常用的多项拟合阶数为一阶和二阶，即线性拟合和二次拟合。两者的计算公式如下： 关于线性拟合，除上面按克莱姆法则来计算外，还可以有另一思路，下面对此进行说明。由于是线性拟合，最后得到的是一条直线，因此，直线可以由斜率和截距两个参数来确定，因此，求出这两个参数即可。首先对克莱姆法的求解结果进行展开可以得到 下面考虑先计算斜率再计算截距的方法，从下图可见，斜率计算与坐标系的位置无关，所以可以将坐标原点平移到样本的i x 和i y 坐标的均值所在点上 图中 则在新的坐标系),(y x ''下斜率的计算公式与前面1a 的计算公式相同，将其中的坐标),(y x 换成),(y x ''即可得到下面的计算公式 由样本在新坐标系下的坐标i x '和i y '的均值为零，或者由下面推导可知 x ' 最小二乘拟合 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。 一、最小二乘法原理 在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x ，而把所有的误差只认为是y 的误差。设x 和y 的函数关系由理论公式 y ＝f （x ；c 1，c 2，……c m ） （0-0-1） 给出，其中c 1，c 2，……c m 是m 个要通过实验确定的参数。对于每组观测数据（x i ，y i ）i ＝1，2，……，N 。都对应于xy 平面上一个点。若不存在测量误差，则这些数据点都准确 落在理论曲线上。只要选取m 组测量值代入式（0-0-1），便得到方程组 y i ＝f （x ；c 1，c 2，……c m ） （0-0-2） 式中i ＝1，2，……，m.求m 个方程的联立解即得m 个参数的数值。显然N “数值计算方法与算法”论文 题目：浅谈曲线拟合的最小二乘法 院系：化学与材料工程学院20系 姓名： 学号： 时间：2015年春季学期 浅谈曲线拟合的最小二乘法 【摘要】 数值计算方法，一种研究并解决数学问题的数值近似解的方法，主要解决那些理论上有解但是无法轻易且准确求解的数学问题。在当今计算机技术日渐成熟的背景下，数值计算方法的应用被大大的推广，并且极大的推动了自然科学的规律探索及理论验证。本文主要探讨了一种重要的数值计算方法——曲线拟合的最小二乘法的历史发展、理论核心以及应用价值。 关键词：数值计算方法最小二乘法应用 【正文】 数值计算方法，是一种研究并解决数学问题的数值近似解方法，现在通常在计算机上使用来求解数学问题。它主要的计算对象是那些在理论上有解而又无法直接手工计算的数学问题【1】。例如，用已知的数据点来构造合适的插值函数或拟合出合适的曲线来近似代替原函数，从而解决了因难以求得原函数表达式而无法计算相关函数值的难题；又如，对于一个一般的非线性方程，可能在计算方程的根时既无一定章程可循，也无理论解法可言，那么这时就可以构造合适的迭代格式如Newton迭代，通过对一个近似的初值进行有限次迭代，就可以得到较精准的根值，从而有效避免了冗长而又复杂的理论求解的过程。 在学习完计算方法与算法这门课程后，我收获了许多实用的计算方法、技巧和思想，而对书中的某些问题的解法的深入思考也让我加深了对这门课程的理解。由于专业的相关需要，我对曲线拟合的最小二乘法这部分知识点进行了重点的学习和深刻的反思，也收获了许多。 1.最小二乘法的发展历史 18世纪中期以后，欧拉（L. Euler, 1707-1783）、梅耶（T. Meiyer, 1723-1762）、拉普拉斯(P. S. Laplace, 1749—1827)等科学家在研究一些天体运动规律时，都得到了一些含有m个变量n个（）方程的线性方程组（也就是我们现在所说的线性矛盾方程组），并且各自运用了一些方法解出了方程组的较优解。虽然方法繁琐且奇特，但不失为数学史一次伟大的尝试。 有关于最小二乘法的首次应用于实际计算并成功的记载，是关于第一颗小行星位置的预测，十分之有趣。1801年，意大利天文学家朱塞普·皮亚齐（Giuseppe Piazzi,1746-1826）发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后，全世界的科学家利用皮亚齐的观测数据，开始了寻找谷神星之旅。但是，根据大多数人的计算结果来寻找谷神星，都以失败告终。时年24岁的伟大的数学家高斯（C.F.Gauss, 1777－1855）也随即参与了这次的计算。最终德国天文学家奥伯斯（Heinrich Olbers） 2013届本科毕业论文(设计) 论文题目：关于曲线拟合与最小二乘法原理 的探讨 学院：数学科学学院 专业班级： 学生姓名： 指导老师： 答辩日期：年月日 新疆师范大学教务处 目录 引言 (2) 1 最小二乘法拟合 (5) 1.1 最小二乘法 (5) 1.2 最小二乘多项式曲线拟合的基本原理 (5) 1.2.1 线性拟合原理 (6) 1.2.2 多项式拟合原理 (8) 2 分段曲线拟合的原理 (10) 2.1 分段曲线拟合 (11) 2.2 分段三次曲线拟合 (11) 3 几种具体的拟合曲线类型 3.1指数函数拟合.......................................................................................... 3.2幂函数拟合............................................................................................. 3.3双曲型拟合............................................................................................... 4 总结 (20) 参考文献 (21) 引言 在物理实验中,经常要把离散的测量数据转化为直观的便于研究的曲线方程,即曲线拟合。正交基函数因涵盖了幂函数,切比雪夫多项式,拉盖尔函数,多元正交函数系列等而常被采用为拟合函数。如在曲线拟合中最常见的二次曲线,采用二元正交基函数系列:1,x,y,x2,y2,xy,…进行拟合。最小二乘法在确定各拟合函数的系数时,尽管拟合的次数不是很高,但它可使误差较大的测量点对拟合曲线的精度影响较小,而且实现简单,便于物理分析和研究,故成为最常用的方法之一。本文从最小二乘法的基本原理出发,给出了多元正交函数拟合的实现方法,并结合实例给出了最常用的二次曲线拟合的程序流程图。 1 曲线拟合的线性最小二乘法及其MATLAB 程序 例7.2.1 给出一组数据点),(i i y x 列入表7–2中，试用线性最小二乘法求拟合曲线，并用（7.2），（7.3）和（7.4）式估计其误差，作出拟合曲线. 表7–2 例7.2.1的一组数据),(y x 解 （1）在MATLAB 工作窗口输入程序 >> x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; plot(x,y,'r*'), legend('实验数据(xi,yi)') xlabel('x'), ylabel('y'), title('例7.2.1的数据点(xi,yi)的散点图') 运行后屏幕显示数据的散点图（略）. （3）编写下列MA TLAB 程序计算)(x f 在),(i i y x 处的函数值，即输入程序 >> syms a1 a2 a3 a4 x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; fi=a1.*x.^3+ a2.*x.^2+ a3.*x+ a4 运行后屏幕显示关于a 1,a 2, a 3和a 4的线性方程组 fi =[ -125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4] 编写构造误差平方和的MATLAB 程序 >> y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; fi=[-125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4]; fy=fi-y; fy2=fy.^2; J=sum(fy.^2) 运行后屏幕显示误差平方和如下 J= (-125/8*a1+25/4*a2-5/2*a3+a4+1929/10)^2+(-4913/1000*a1+2 89/100*a2-17/10*a3+a4+171/2)^2+(-1331/1000*a1+121/100*a2-11/10*a3+a4+723/20)^2+(-64/125*a1+16/25*a2-4/5*a3+a4+663/25)^2+(a4+91/10)^2+(1/1000*a1+1/100*a2+1/10*a3+a4+843/100)^2+(27/8*a1+9/4*a 2+3/2*a3+a4+328/25)^2+(19683/1000*a1+729/100*a2+27/10*a3+a4-13/ 2)^2+(5832/125*a1+324/25*a2+18/5*a3+a4-1701/25)^2 为求4321,,,a a a a 使J 达到最小，只需利用极值的必要条件0=??k a J )4,3,2,1(=k ， 实验三函数逼近 一、 实验目标 1.掌握数据多项式拟合的最小二乘法。 2.会求函数的插值三角多项式。 二、实验问题 （ （2）求函数()2cos f x x x =在区间[,]ππ-上的插值三角多项式。 三、 实验要求 1.利用最小二乘法求问题（1）所给数据的3次、4次拟合多项式，画出拟合曲线。 2.求函数()2cos f x x x =在区间[,]ππ-上的16次插值三角多项式，并画出插值多项式的图形，与()f x 的图形比较。 3.对函数()2cos f x x x =，在区间[,]ππ-上的取若干点，将函数值作为数据进行适当次数的最小二乘多项式拟合，并计算误差，与上题中的16次插值三角多项式的结果进行比较。 《数值分析》实验报告 项式，画出拟合曲线 【实验目标】 （1）加深对用最小二乘法求拟合多项式的理解 （2）学会编写最小二乘法的数值计算的程序； 【理论概述与算法描述】 在函数的最佳平方逼近中()[,]f x C a b ∈,如果()f x 只在一组离散点集{,0,1,,}i x i m =???上给出，这就是科学实验中经常见到的实验数据{(,),0,1,,}i i x y i m =???的曲线拟合，这里 (),0,1,,i i y f x i m ==???，要求一个函数*()y S x =与所给数据{(,),0,1,,}i i x y i m =???拟合，若 记误差*()(0,1,,)i i i S x y i m δ=-=???,()01,,,T m δδδδ=???,设01(),(),,()n x x x ??????是[,]C a b 上的线性无关函数族，在01{(),(),,()}n span x x x ????=???中找一个函数*()S x ，使误差平方和 曲线拟合( curve-fitting )：工程实践中，用测量到的一些离散的数据 {( X, yj,i 0,1,2,...m}求一个近似的函数(x)来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势(即使(x)最好地逼近f x，而不必满足插值原则。因此没必要取(X)=y i，只要使i (X i) y i尽可能地小)。 原理： 给定数据点{( x i,y i),i 0 ,1 , 2, . . . m} 。求近似曲线( x) 。并且使得近似曲线与f x 的偏差最小。 近似曲线在该点处的偏差i(x i ) y i，i=1,2,...,m 。 常见的曲线拟合方法： 1. 使偏差绝对值之和最小 2. 使偏差绝对值最大的最小 3. 使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3?问题转化为求待定系数a0...a k对等式右边求q偏导数，因而我们得到了： 4、把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到： 6. 也就是说X*A=Y ，那么A = (X'*X)-1*X'*Y ，便得到了系数矩阵A ，同时，我们也就得到了拟合曲线。 MATLAB 实现： MATLAB 提供了polyfit ()函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y 为数据点，n 为多项式阶数，返回p 为幂次从高到低的多项式系数向量p。x 必须是单调的。矩阵s包括R (对x进行QR分解的三角元素)、df(自由度)、 normr(残差)用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n) 在拟合过程中，首先对x 进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。polyval( ) 为多项式曲线求值函数，调用格式：y=polyval(p,x) 开题报告 信息与计算科学 浅谈最小二乘法的原理及其应用 一、综述本课题国内外研究动态, 说明选题的依据和意义 最小二乘法（Least Square Method ）是提供“观测组合”主要工具之一, 它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式. 如已知两变量为线性关系, 对其进行次观测而获得对数据. 若将这对数据代入方程求y a bx =+(2)n n >n n 解的值则无确定解, 而最小二乘法提供了一个求解方法, 其基本思想是寻找“最接,a b 近”这个观测点的直线. n 最小二乘法创立与十九世纪初, 是当时最重要的统计方法, 在长期的发展中, 人们一直处于不断的研究中, 在传统最小二乘法的基础上, 出现了许多更为科学先进的方法, 如移动最小二乘法、加权最小二乘法、偏最小二乘法、模糊最小二乘法和全最小二乘法等, 使得最小二乘法在参数估计、系统辨识以及预测、预报等纵多领域都有着广泛的应用. 相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础, 所以最小二乘法被称之为数理统计学的灵魂. 正如美国统计学家斯蒂格勒（S. M. Stigler ）所说, “最小二乘法之于数理统计学犹如微积分之于数学”. 因此对最小二乘法的研究就显得意义重大. 国内外的学者们一直在对传统最小二乘法做进一步的研究. 勒让德（A. M. Legender ）于1805年发表了论著《计算彗星轨道的新方法》, 在书中勒让德描述了最小二乘法的思想、具体做法及其优点, 他认为: 赋予误差的平方和为极小, 则意味着在这些误差间建立了一种均衡性, 它阻止了极端情形所施加的过分影响. 1809年高斯 （C. F. Gauss ）在著作《天体沿圆锥截面围绕太阳运动的理论》中发表有关最小二乘法的理论, 随后在1826年的著作中阐述了最小二乘法的全部内容. 统计学者对最小二乘法做了进一步的研究探讨, 1970年, 由霍尔（A. E. Horel ）和肯纳德（R. W. Kennard ）提出的岭估计（Ridge Estimate ）, 用取代, ()()11?n i i i k S kI x y β -==+∑?β有效的降低了原方法的病态性. 曲线拟合的最小二乘法 吕英楷 1014202033 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。 一、曲线拟合的最小二乘法原理： 由已知的离散数据点选择与实验点误差最小的曲线 )(...)()()(1100x a x a x a x S n n ???+++= 称为曲线拟合的最小二乘法。 若记 ),()()(),(0 i k i j m i i k j x x x ??ω??∑== k i k i m i i k d x x f x f ≡=∑=)()()(),(0 ?ω? 上式可改写为),...,1,0(;),(n k d a k j n o j j k -=∑=??这个方程成为法方程，可写成距阵 形式 d Ga = 其中,),...,,(,),...,,(1010T n T n d d d d a a a a == ???? ?? ??????=),(),(),()(),(),(),(),(),(10 1110101000n n n n n n G ?????????????????? 。 它的平方误差为：.)]()([)(||||20 22i i m i i x f x S x -= ∑=ωδ §5 曲线拟合的最小 二乘法 一般的最小二乘逼近(曲线拟合的最小二乘法)的一般提法是:对给定的一组数据(,)(0,1,,)i i x y i m =,要求在函数类01{,,,}n ????=中找一个函数* ()y S x =,使误差平方和 2 2* 2 2()0 1 [()]min [()m m m i i i i i S x i i i S x y S x y ? δδ∈=====-=-∑∑∑ 其 中 0011()()()() ( n n S x a x a x a x n m ???=+++< 带权的最小二乘法： 22 20 ()[()()] m i i i i x S x f x δ ω==-∑ 其中()0x ω≥是［a, b ］上的权函数。 用最小二乘法求曲线拟合的问题，就是在()S x 中求一函数 * ()y S x =，使2 2δ取的最小。它转化 为求多元函数 2 010 (,,,)()[()()] m n n i j j i i i j I a a a x a x f x ω?===-∑∑ 的极小点* **01 (,, ,)n a a a 问题。由求 多元函数极值的必要条件，有 00 2()[()()]()m n i j j i i k i i j k I x a x f x x a ω??==?=-=?∑∑ , ,1,0(k = 若 记 0(,)()()() m j k i j i k i i x x x ??ω??==∑ (,)k f ?= , 1,0(k = 则上式可改写为 (,)n k j j k j a d ? ?==∑ ),,1,0(n k = 这个方程称为法方程，矩阵形式 .G a d =最小二乘法的基本原理和多项式拟合
最小二乘法曲线拟合 原理及matlab实现
最小二乘法圆拟合
数值计算_第6章 曲线拟合的最小二乘法
曲线拟合的最小二乘法讲解
最小二乘法的原理及其应用
最小二乘法的本原理和多项式拟合
最小二乘法多项式拟合
最小二乘法拟合原理
曲线拟合的最小二乘法论文
关于曲线拟合与最小二乘法原理的探讨
曲线拟合_线性最小二乘法及其MATLAB程序
利用最小二乘法求解拟合曲线
最小二乘法曲线拟合原理及maab实现
【开题报告】浅谈最小二乘法的原理及其应用
曲线拟合的最小二乘法
曲线拟合的最小二乘法
相关主题
文本预览