最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 = 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法 . 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) [ ] ∑ = = - m i i i y x p 0 2 min ) (
数学必修3测试题 说明：全卷满分100分，考试时间120分钟，交卷时只需交答题卷，考试时不能使用计算器. 参考:用最小二乘法求线性回归方程系数公式x b y a x n x y x n y x b n i i n i i i -=-?-= ∑∑==, 1 2 21 一、选择题：本大题共10小题，每小题3分，共30分．在每小题给出的四处备选项中，只有一项是符合 题目要求的． 1 ”可用于（ ） A 、输出a=10 a=10 C 、判断a=10 D 、输入a=10 2、已知甲、乙两名同学在五次数学测验中的得分如下：甲：85，91，90，89，95； 乙：95，80，98，82，95。则甲、乙两名同学数学学习成绩（ ） A 、甲比乙稳定 B 、甲、乙稳定程度相同 C 、乙比甲稳定 D 、无法确定 3、下列程序语句不正确．．． 的是（ ） A 、INPUT “MA TH=”；a+b+c B 、PRINT “MA TH=”；a+b+c C 、c b a += D 、1a =c b - 4、 在调查分析某班级数学成绩与 物理成绩的相关关系时，对数据进行 统计分析得到散点图（如右图所示）， 用回归直线?y bx a =+近似刻画 其关系，根据图形，b 的数值最有 可能是（ ） A 、 0 B 、 1.55 C 、 0.85 D 、 —0.24 5、用秦九韶算法求n 次多项式011 1)(a x a x a x a x f n n n n ++++=-- ，当0x x =时，求)(0x f 需要算 乘方、乘法、加法的次数分别为（ ） A 、 n n n n ,,2 ) 1(+ B 、n,2n,n C 、 0,2n,n D 、 0,n,n 6、为了在运行下面的程序之后得到输出16，键盘输入x 应该是（ ） INPUT x IF x<0 THEN y=(x+1)*(x+1) ELSE y=(x-1)*(x-1) END IF 第4题
曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到:
6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9)
非线性曲线拟合最小二乘法 一、问题提出 设数据（i i y x ,）,(i=0,1,2,3,4).由表3-1给出，表中第四行为i i y y =ln ,可以看出数学模型为bx ae y =,用最小二乘法确定a 及b 。 i 0 1 2 3 4 i x 1.00 1.25 1.50 1.75 2.00 i y 5.10 5.79 6.53 7.45 8.46 i y 1.629 1.756 1.876 2.008 2.135 二、理论基础 根据最小二乘拟合的定义:在函数的最佳平方逼近中],[)(b a C x f ∈，如果f(x)只在一组离散点集{i x ,i=0,1,…,m}，上给定，这就是科学实验中经常见到的实验数据{（i i y x ,）, i=0,1,…,m}的曲线拟合，这里)(i i x f y =，i=0,1,…,m,要求一个函数)(*x S y =与所给数据{（i i y x ,）,i=0,1,…,m}拟合，若记误差 i i i y x S -=)(*δ,i=0,1,…,m,T m ),,(10δδδδ， =,设)(,),(),(10x x x n ??? 是] ,[b a C 上线性无关函数族，在)}(,),(),({10x x x span n ???? =中找一函数)(*x S ，使误差平方和 ∑∑∑===∈ -=-==m i m i m i i i x S i i i y x S y x S 0 2 )(2 * 2 22 ])([])([min ? δδ , 这里 )()()()(1100x a x a x a x S n n ???+++= (n 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 matlab最小二乘法的非线性参数拟合 首先说一下匿名函数：在创建匿名函数时，Matlab记录了关于函数的信息，当使用句柄调用该函数的时候，Matlab不再进行搜索，而是立即执行该函数，极大提高了效率。所以首选匿名函数。具体拟合时可以使用的方法如下： 1 曲线拟合工具箱提供了很多拟合函数，使用简单 非线性拟合nlinfit函数 clear all; x1=[0.4292 0.4269 0.381 0.4015 0.4117 0.3017]'; x2=[0.00014 0.00059 0.0126 0.0061 0.00425 0.0443]'; x=[x1 x2]; y=[0.517 0.509 0.44 0.466 0.479 0.309]'; f=@(p,x) 2.350176*p(1)*(1-1/p(2))*(1-(1-x(:,1).^(1/p(2))).^p(2)).^2.*(x(:,1).^ (-1/p(2))-1).^(-p(2)).*x(:,1).^(-1/p(2)-0.5).*x(:,2); p0=[8 0.5]'; opt=optimset('TolFun',1e-3,'TolX',1e-3);% [p R]=nlinfit(x,y,f,p0,opt) 2 最小二乘法在曲线拟合中比较普遍。拟合的模型主要有 1.直线型 2.多项式型 3.分数函数型 4.指数函数型 5.对数线性型 6.高斯函数型 一般对于LS问题，通常利用反斜杠运算“\”、fminsearch或优化工具箱提供的极小化函数求解。在Matlab中，曲线拟合工具箱也提供了曲线拟合的图形界面操作。在命令提示符后键入：cftool，即可根据数据，选择适当的拟合模型。 “\”命令 1.假设要拟合的多项式是：y=a+b*x+c*x^ 2.首先建立设计矩阵X： X=[ones(size(x)) x x^2]; 执行： para=X\y para中包含了三个参数：para(1)=a;para(2)=b;para(3)=c; 这种方法对于系数是线性的模型也适应。 2.假设要拟合：y=a+b*exp(x)+cx*exp(x^2) 设计矩阵X为 X=[ones(size(x)) exp(x) x.*exp(x.^2)]; para=X\y 3.多重回归(乘积回归) 设要拟合：y=a+b*x+c*t，其中x和t是预测变量，y是响应变量。设计矩阵为X=[ones(size(x)) x t] %注意x,t大小相等！ para=X\y 逐差法和Origin7.0软件在大学物理实验数据处理中的比较 摘要 本文用逐差法和Origin7.0软件分别对拉伸法测金属丝杨氏模量的实验数据进行处理，结果表明, 利用Origin7.0软件处理实验数据, 具有简洁、快捷与直观等特点, 避免了人为因素所造成的误差，在物理实验数据处理过程中有显著的应用价值。 关键词 逐差法；Origin7.0软件；不确定度；数据处理 大学物理实验测得的数据，必须经过科学的分析和处理，才能揭示出各物理量之间的关系。我们把从获得原始数据起到得出结论为止的加工过程称为数据处理。目前大多数大学物理实验教材中对于实验数据的处理方法有：逐差法、列表法、作图法、最小二乘法。在实验教学中，一般将测量的实验数据选用某种处理方法，来计算实验结果及测量误差分析。不管用那种方法处理实验数据处理,既繁琐又枯燥，又占用学生大量的课外时间, 成为教师和大学生头痛的事情。随着现代教育的发展,大量的实验数据和图像都可以通过计算机应用软件进行分析和处理。利用先进的计算机软件对大量的实验数据进行成批的数据处理能够提高学生的学习效率, 使学生从繁琐的数据推导和计算中解脱出来。而美国Origin Lab 公司推出的软件Origin 7.0在这一问题上能够提供迅速、准确的信息和参数以及图形。因此它在教学、 科研、工程技术等领域具有广泛的应用。 [1] [3] 本文以该软件用于拉伸法测金属丝杨氏模量的实验数据处理过程为例,并与逐差法进行比较，使用Origin 7.0软件能完成实验数据的准确快速处理与分析 。 1实验原理[2] 一根均匀的金属丝，长度为L ，截面积为S ，在受到沿长度方向的外力F 的作用时发生形变，伸长ΔL 。根据胡克定律，在弹性限度内，其应力F/S 与应变ΔL/L 成正比，即 F L E S L ?= 设金属丝直径为d ，则截面积21π4 S d =，其杨氏模量为 24πFL E d L =? （1） 本实验采用图光杠杆法测得ΔL 值（见图1） ()012A A D x L -=? (2) 将（2）代入式（1）得 图1 光杠杆原理 %最小二乘法线性拟合y=ax+b x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); title(‘V-X曲线’) grid on xlabel(‘X/mm’) ylabel(‘V/v’) hold on x=[0:0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); x=[0:-0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,11))+b-(y(1,11)))/(y(1,11))); a b z figure plot(x,y,'+'); hold on 误差理论综述与最小二乘法讨论 摘要：本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法（LS）的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来的全面最小二乘法(TLS)同传统最小二乘法进行了对比。 1.误差的有关概念 对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现，物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此，必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、研究、判断，必须采用误差理论，它是我们客观分析的有力工具 测量基本概念 一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，测量可分为直接测量、间接测量和组合测量。 直接测量:可以用测量仪表直接读出测量值的测量。 间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量量的函数关系求出。 组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量，并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求量的数值，即为组合测量。 误差基本概念 误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值为y，真值为Y，则测量误差dy=y-Y。虽然真值是客观存在的，但实际应用时它一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。 随机误差:是同一测量条件下，重复测量中以不可预知方式变化的测量误差分量。 系统误差:是同一测量条件下，重复测量中保持恒定或以可预知方式变化的测量误差分量。 粗大误差:指超出在规定条件下预期的误差。 等精度测量的随机误差 当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量 4.最小二乘法线性拟合 我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。 最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。显然，关键是如何求出最佳的a 和b 。 (1) 求回归直线 设直线方程的表达式为： bx a y += (2-6-1) 要根据测量数据求出最佳的a 和b 。对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下： 111bx a y d --= 222bx a y d --= n n n bx a y d --= 显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+ |d 2|+……+ |d n |又不好解方程，因而不可行。现在采取一种等效方法：当d 12+d 22+……+d n 2 对a 和b 为最小时，d 1、d 2、……、d n 也为最小。取（d 12+d 22+……+d n 2 ）为最小值，求a 和b 的方法叫最小二乘法。 令 ∑== n i i d D 1 2＝21 1 2][i i n i n i i b a y d D --== ∑∑== (2-6-2) D 对a 和b 分别求一阶偏导数为： ][211∑∑==---=??n i i n i i x b na y a D ][21 2 11∑∑∑===---=??n i i n i i n i i i x b x a y x b D 最小二乘法主要用来求解两个具有线性相关关系的变量的回归方程，该方法适用于求解与线性回归方程相关的问题，如求解回归直线方程，并应用其分析预报变量的取值等．破解此类问题的关键点如下： ①析数据，分析相关数据，求得相关系数r，或利用散点图判断两变量之间是否存在线性相关关系，若呈非线性相关关系，则需要通过变量的变换转化构造线性相关关系． ②建模型．根据题意确定两个变量，结合数据分析的结果建立回归模型． ③求参数．利用回归直线y=bx+a的斜率和截距的最小二乘估计公式，求出b，a，的值．从而确定线性回归方程． ④求估值．将已知的解释变量的值代入线性回归方程y=bx+a中，即可求得y的预测值． 注意:回归直线方程的求解与应用中要注意两个方面：一是求解回归直线方程时，利用样本点的中心（x，y）必在回归直线上求解相关参数的值；二是回归直线方程的应用，利用回归直线方程求出的数值应是一个估计值，不是真实值． 经典例题： 下图是某地区2000年至2016年环境基础设施投资额（单位：亿元）的折线图． 为了预测该地区2018年的环境基础设施投资额，建立了与时间变量的两个线性回归模型．根据2000年至2016年的数据（时间变量的值依次为1,2.，……，17）建立模型①：y=+；根据2010年至2016年的数据（时间变量的值依次为）建立模型②：y=99+． （1）分别利用这两个模型，求该地区2018年的环境基础设施投资额的预测值； （2）你认为用哪个模型得到的预测值更可靠并说明理由． 思路分析：（1）两个回归直线方程中无参数，所以分别求自变量为2018时所对应的函数值，就得结果，（2）根据折线图知2000到2009，与2010到2016是两个有明显区别的直线，且2010到2016的增幅明显高于2000到2009，也高于模型1的增幅，因此所以用模型2更能较好得到2018的预测. 解析：（1）利用模型①，该地区2018年的环境基础设施投资额的预测值为 =–+×19=（亿元）． 利用模型②，该地区2018年的环境基础设施投资额的预测值为 =99+×9=（亿元）． （2）利用模型②得到的预测值更可靠．理由如下： （i）从折线图可以看出，2000年至2016年的数据对应的点没有随机散布在直线y=–+上下，这说明利用2000年至2016年的数据建立的线性模型①不能很好地描述环境基础设施投资额的变化趋势．2010年相对2009年的环境基础设施投资额有明显增加，2010年至2016年的数据对应的点位于一条直线的附近，这说明从2010年开始环境基础设施投资额的变化规律呈线性增长趋势，利 1 曲线拟合的线性最小二乘法及其MATLAB 程序 例7.2.1 给出一组数据点),(i i y x 列入表7–2中，试用线性最小二乘法求拟合曲线，并用（7.2），（7.3）和（7.4）式估计其误差，作出拟合曲线. 表7–2 例7.2.1的一组数据),(y x 解 （1）在MATLAB 工作窗口输入程序 >> x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; plot(x,y,'r*'), legend('实验数据(xi,yi)') xlabel('x'), ylabel('y'), title('例7.2.1的数据点(xi,yi)的散点图') 运行后屏幕显示数据的散点图（略）. （3）编写下列MA TLAB 程序计算)(x f 在),(i i y x 处的函数值，即输入程序 >> syms a1 a2 a3 a4 x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; fi=a1.*x.^3+ a2.*x.^2+ a3.*x+ a4 运行后屏幕显示关于a 1,a 2, a 3和a 4的线性方程组 fi =[ -125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4] 编写构造误差平方和的MATLAB 程序 >> y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; fi=[-125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4]; fy=fi-y; fy2=fy.^2; J=sum(fy.^2) 运行后屏幕显示误差平方和如下 J= (-125/8*a1+25/4*a2-5/2*a3+a4+1929/10)^2+(-4913/1000*a1+2 89/100*a2-17/10*a3+a4+171/2)^2+(-1331/1000*a1+121/100*a2-11/10*a3+a4+723/20)^2+(-64/125*a1+16/25*a2-4/5*a3+a4+663/25)^2+(a4+91/10)^2+(1/1000*a1+1/100*a2+1/10*a3+a4+843/100)^2+(27/8*a1+9/4*a 2+3/2*a3+a4+328/25)^2+(19683/1000*a1+729/100*a2+27/10*a3+a4-13/ 2)^2+(5832/125*a1+324/25*a2+18/5*a3+a4-1701/25)^2 为求4321,,,a a a a 使J 达到最小，只需利用极值的必要条件0=??k a J )4,3,2,1(=k ， 数值计算方法期末论文 ————同等要求下三次样条插值法与最小二值法的分析及比较。 引言 在实际中，常常要处理由实验或测量所得到的一批离散数据.插值与拟合方法就是要通过这些数据去确定某一类已知函数的参数或寻找某个近似函数，使所得到的近似函数与已知数据有较高的拟合程度.如果要求这个近似函数（曲线或曲面）经过已知的所有数据点，则称此类问题为插值问题。 当所给的数据较多时，用插值方法所得到的插值函数会很复杂，所以，通常插值方法用于数据较少的情况.但数据一般都是由观测或试验得到的，往往会带有一定的随机误差，因而，要求近似函数通过所有的数据点也是不必要的.如果不要求近似函数通过所有数据点，而是要求它能较好地反应数据的整体变化趋势，则解决这类问题的方法称为数据拟合. 插值和拟合都是要根据一组数据构造一个函数作为近似，由于近似的要求不同，二者的数学方法上是完全不同的。而面对一个实际问题，究竟应该用插值还是拟合，有时容易确定，有时则并不明显。 本文由具体题目为基础，主要论述了在同等要求下三次样条插值法与最小二值法的分析及比较。 关键词：数值计算方法、三次样条插值法、最小二值法 目录 引言--------------------------------------------------- 2 第一章三次样条插值------------------------------------ 4 1.1三次样条插值函数--------------------------------- 4 1.2 分段线性插值------------------------------------ 5 1.3插值理论----------------------------------------- 6 第二章最小二乘法--------------------------------------- 7 2.1 线性最小二乘拟合法------------------------------ 7 2.2 一般线性最小二乘拟合法--------------------------- 8 2.3非线性最小二乘拟合法------------------------------ 9 第三章算法对比与实现------------------------------------ 10 3.1对比实例一---------------------------------------- 10 3.2对比实例二---------------------------------------- 11 3.3结果及分析---------------------------------------- 15 第四章总结---------------------------------------------- 16 最小二乘法 在我们研究两个变量（x,y ）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1、x2,y2……xm,ym ）；将这些数据描绘在x —y 直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1—1）。 01=a y a x +?计 （式1—1） 其中，0a 、1a 位任意实数。 位建立直线方程就要确定0a 和1a ，应用最小二乘法原理，将实测值i y 与利用（式1—1）计算值y 计的离差的平方和[2()i y y ∑-计]最小为优化判据。 令2=()i y y ?∑-计 （式1—2） 将（式1—1）代入（式1—2）中得： 201=(a )i y a x ?∑--? （式1—3） 当2()i y y ∑-计最小时，可用函数?对0a 、1a 求偏导，令这两个偏导数等 于零。 0110 2()(1)0m i i i y a a x a ? =?=∑--??-=? （式1—4） 0111 2()()0m i i i i y a a x x a ? =?=∑--??-=? （式1—5） 亦即： 011 1 m m i i i i m a a x y ==?+?∑=∑ （式1—6） 2 011 1 1 ()m m m i i i i i i i a x a x x y ===?∑+?∑?=∑? （式1—7） 得到的两个关于0a 、1a 为未知数的两个方程组，解这两个方程组得出： 1 1 01m m i i i i y x a a m m === -? ∑∑ （式1—8） 2211 1 1 1 1 [()/]/[()/]m m m m m i i i i i i i i i i i a x y x y m x x m ======?-?-∑∑∑∑∑ （式1—9） 这时把0a 、1a 代入（式1—1）中，此时的（式1—1）就是我们回归的元线性方程，即数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点 1122(,,,)m m x y x y x y 、，为了判断关联式的好坏，可借助相关系数 R ， 统计量F ，剩余标准偏差S 进行判断：R 越趋近于1越好；F 越的绝对值越大越好；S 越趋近于0越好。 1 1 1 [(/)(/)]/m m m i i i i i i i R x y m x m y m ====?-??∑∑∑ （式1—10） 在（式1—10）中，m 位样本容量，即实验次数；i i x y 、分别为任意一组试验x y 、的数值。 %后面的为注释,红色部分代码需要根据实际情况更改 %最小二乘法线性拟合y=ax+b x=[0.5,1,1.5,2,2.5,3,3.5,4,4.5,5];%自变量 y=[191,321,442,565,686,819,930,1032,1153,1252];%因变量 xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,10))+b-(y(1,10)))/(y(1,10)));%“10”是自变量的个数，z为非线性误差(即线性度) a b z %作图,先把原始数据点用蓝色"十"字描出来 figure plot(x,y,'+'); hold on % 用红色绘制拟合出的直线 px=linspace(0,6,50);%(linspace语法(从横坐标负轴起点0画到横坐标正轴终点6，50等分精度)) py=a*px+b; plot(px,py,'r'); 运行结果： a =236.9818 b =87.4000 另一种简单一点的方法： %最小二乘法线性拟合y=ax+b x=[0.5,1,1.5,2,2.5,3,3.5,4,4.5,5];%自变量 y=[191,321,442,565,686,819,930,1032,1153,1252];%因变量p=polyfit(x,y,1); p 运行结果： p = 236.9818 87.4000 ---------------------------------------------------------------最新资料推荐------------------------------------------------------ 插值法与最小二乘法 本章内容统称为插值法，包括 Lagrange 插值、逐步线性插值、Newton 插值、 Hermite插值、分段多项式插值、有理函数插值等内容，既是教学的重点。 在教学上，注意由浅入深，由直观到抽象，多用实例和图形作解释，建立插值概念，注意讲解上述插值是如何根据实际问题要求的提高而先后发展起来的。 培养学生分析问题和解决问题的能力。 Lagrange1、回顾《高等数学》的 Taylor 公式，讲解Taylor 公式是根据某一点的多个信息得到近似多项式的插值思想。 2、将上述思想应用到多点的信息，即根据所给的多点的数据，建立插值多项式。 3、讲解过程中，沿着发现问题提出解决方法方法的存在性和惟一性建立Lagrange 插值公式误差公式这样一个思路去讲解 Lagrange 插值的思想和方法。 1、讲解为什么要建立逐步线性插值？这是由于 Lagrange 插值没有承袭性，当需要增加一个插值节点时，以前所做的工作要全部重做。 2、逐步线性插值是一个将高次插值转化成逐步线性插值的迭代过程，正是这一点使得逐步线性插值具有了承袭性。 3、强调逐步线性插值是求一点处近似值的快速方法，不太 1 / 3 适合建立插值解析式。 Newton1、 Newton 插值克服了上述两类插值的缺点，继承了它们的优点： 即具有承袭性，又是一个完整的解吸式，便于理论研究和分析。 2、首先掌握差分和差商的概念以及它们的性质，在此基础上建立 Newton 插值公式和误差公式。 3、 Newton 插值公式实际上是 Lagrange 插值公式的另外一种表现形式，这揭示了一种现象： 将已有成果通过引入新思想、新方法，对其进行加工、改造，完全有可能产生新的、更好的成果。 Hermite1、上述插值都是根据未知函数若干个点处的函数值，建立插值公式或算法。 为了提高精度，与必要根据未知函数在若干个点处更多的信息（例如： 一阶、二阶导数）建立插值公式。 这就是 Hermite 插值的思想。 2、要建立 Hermite 插值公式，一般是根据所给条件，确定插值基函数，仿照建立 Lagrange插值公式的过程建立 Hermite 插值公式。 1、为了克服高次多项式插值出现的 Runge 现象，提出将插值区间划分为若干个区间，在每个小区间上建立低次插值公式，再 最小二乘法线性拟合 函数masdap_meas_lsq_fit_data 的功能就是对采集到的三组样本传感器位置数据进行最小二乘法线性拟合。其计算公式如下： 设采集到一组N 个(,)i i x y 样本数据，对这组数据做y ax b =+线性拟合，求出拟合(,)a b 值。 由每个样本数据做误差求和计算：2 [()]i i err y ax b = -+∑，err 值由(,)a b 值 确定，因此，误差和分别做偏微分计算，当每个偏微分值为0时，误差和最小。故有： ()()2 2 2[()] 20 [()] 20 i i i i i i i i i i y ax b err x y a x b x a a y ax b err y a x N b b b ?-+?==---=???-+?= =---=??∑∑∑∑∑∑∑ 进而解出 ()() 22222i i i i i i i i i i i i i N x y x y a N x x y x x x y b N x x - = --= -∑∑∑∑∑∑∑∑∑∑∑ 函数masdap_meas_lsq_fit_data 最后返回(,)a b 值。 基于最小二乘法作圆回归拟合 在一维短触故障拟合计算中，需要对一组数据点作圆拟合，在此介绍基于最小二乘法的圆回归算法。 已知条件：平面上一组点坐标； 求解目标：回归圆的半径R 和圆心坐标(),c c x y 。 由圆曲线公式的两种形式： ()()2 2 2 2 2 i c i c i i i i x x y x R x y ax by c ?-+-=??++++=?? ，即知：22c c a x b y R ?=-??=-??= ?? 根据最小二乘法， 最小二乘拟合 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。 一、最小二乘法原理 在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x ，而把所有的误差只认为是y 的误差。设x 和y 的函数关系由理论公式 y ＝f （x ；c 1，c 2，……c m ） （0-0-1） 给出，其中c 1，c 2，……c m 是m 个要通过实验确定的参数。对于每组观测数据（x i ，y i ）i ＝1，2，……，N 。都对应于xy 平面上一个点。若不存在测量误差，则这些数据点都准确落在理论曲线上。只要选取m 组测量值代入式（0-0-1），便得到方程组 y i ＝f （x ；c 1，c 2，……c m ） （0-0-2） 式中i ＝1，2，……，m.求m 个方程的联立解即得m 个参数的数值。显然N数值计算_第6章 曲线拟合的最小二乘法
matlab最小二乘法的非线性参数拟合
逐差法和Origin 7.0在大学物理实验数据处理中的比较
最小二乘法线性拟合y
最小二乘法在误差分析中的应用
最小二乘法拟合
用最小二乘法求线性回归方程
曲线拟合_线性最小二乘法及其MATLAB程序
三次样条插值法与最小二值 法的分析及比较
直线拟合计算最小二乘法
用Matlab进行最小二乘法线性拟合求传感器非线性误差灵敏度
插值法与最小二乘法
最小二乘法线性拟合
最小二乘拟合_直线
相关主题
文本预览