第3章 线性动态模型参数辨识－最小二乘法
3.1 辨识方法分类
根据不同的辨识原理，参数模型辨识方法可归纳成三类： ① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数：
min )()?
(?==
∑=θ
θL
k k J 1
2ε 其中)(k ε代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。
② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。
③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度)|(θz p 最大限度地逼近条件0θ下的概率密度)|(0θz p ，即
)|()?|(0m a x θθz p z p ??→?。典型的方法是极大似然法。
3.2 最小二乘法的基本概念
● 两种算法形式 ① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。
② 递推算法：在上次模型参数估计值)(?
1-k θ的基础上，根据当前
获得的数据提出修正，进而获得本次模型参数估计值)(?
k θ，广泛采用的递推算法形式为
() ()()()~()θθk k k k d z k =-+-1K h
其中)(?
k θ表示k 时刻的模型参数估计值，K (k )为算法的增益，h (k -d ) 是由
观测数据组成的输入数据向量，d 为整数，)(~k z 表示新息。
● 最小二乘原理
定义：设一个随机序列)},,,(),({L k k z 21∈的均值是参数θ 的线性函数
E{()}()T z k k θ=h
其中h (k )是可测的数据向量，那么利用随机序列的一个实现，使准则函数
21
()[()()]L
T k J z k k θθ==-∑h
达到极小的参数估计值θ?
称作θ的最小二乘估计。
● 最小二乘原理表明，未知参数估计问题，就是求参数估计值θ?
，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。
● 如果系统的输入输出关系可以描述成如下的最小二乘格式
()()()T z k k e k θ=+h 式中z (k )为模型输出变量，h (k )为输入数据向量，θ为模型参数向量，e (k )为零均值随机噪声。为了求此模型的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列)}({k z 和)}({k h ，极小化下列准则函数
21()[()()]L
T k J z k k θθ==-∑h
即可求得模型参数的最小二乘估计值θ?
。
● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。
3.3 最小二乘问题的描述 (1) 考虑模型
)()()()()(11k e k u z B k z z A +=--
式中u (k )和z (k ) 分别为过程的输入和输出变量，e (k )是均值为零、方差为2
n
σ的随机噪声，)(1-z A 和)(1-z B 为迟延算子多项式，写成
A z a z a z a z
B z b z b z b z n n
n n a a b b ()()--------=++++=+++?????11122111221
(2) 假定模型阶次n a 和n b 为已知，且有b a n n ≥，也可设n n n b a ==,
并定义
1212()[(1),,(),(1),,()]
[,,,,,,,]a b T
a b T
n n k z k z k n u k u k n a a a b b b θ?=------??=??
h (3) 将模型写成最小二乘格式
()()()T z k k e k θ=+h
对于L k ,,, 21= (L 为数据长度)，可以构成如下线性方程组
L L L θ=+e z H 式中
T T T [(1),(2),,()](0)(1)(0)
(1)(1)(1)(2)(1)(2)(2)(1)()(1)
()()[(1),(2),,()]T L a b a b L a b T
L
z z z L z z n u u n z z n u u n z L z L n u L u L n L n n n L ?=?
----?????
?????----?????==??????????
?------??
???=??z h h H h e
(4) 噪声的统计性质
{}{}{}E 0,cov E L T L L L e ===∑e e e e (5) 噪声与输入不相关
{}E ()()0,,e k e k l k l -=? (6) 数据长度L 充分大
3.4 最小二乘问题的解 ● 考虑模型
11()()()()()A z z k B z u k e k --=+
● 准则函数取
2()()[()()]L
T k 1J k z k k θθ==Λ-∑h
其中)(k Λ为加权因子，对所有的k ，)(k Λ都必须大于零。
● 准则函数又可写成
()()()T L L L L L J θθθ=-Λ-z H z H
式中L Λ为加权矩阵，它是正定的对角阵，由加权因子)(k Λ构成
ΛL =?
?
???
???????)()()(L ΛΛΛ 0
020
001 ● 该准则函数)(θJ 可用以衡量模型输出与实际系统输出的接近情况．极小化这个准则函数，即可求得模型的参数估计值，使模型的输出能最好地预报系统的输出。
● 当T
L L L ΛH H 是正则矩阵时，模型的加权最小二乘解为
1WLS
?()T T L
L
L
L
L L
θ
-=ΛΛH H H z ● 通过极小化准则函数)(θJ 求得模型参数估计值WLS θ?
的方法称作
加权最小二乘法，记作WLS (Weighted Least Squares algorithm)，对应的WLS θ?
称为加权最小二乘估计值。
● 如果加权矩阵取单位阵，即I =L Λ，则加权最小二乘解退化成普通最小二乘解
1LS ?()T T L L L L
θ-=H H H z 这时的LS θ?
称之为最小二乘估计值，对应的估计方法称作最小二乘法，记作LS(Least Squares algorithm)。最小二乘法是加权最小二乘法的一种特例。
3.5 最小二乘估计的可辨识性 ● 基于参数模型的辨识问题实际上可以归结为模型参数的最优化问题。当给定输入输出数据时，对假定的模型结构是否能唯一地确定模型的参数，这就是可辨识问题。
● 可控性、可观性和可辨识性之间的关系
● 可辨识性和输入信号的关系：过程的所有模态都必须被输入信号持续激励。
● 常用的输入信号：随机序列、伪随机序列、离散序列
● 最小二乘估计的可辨识条件为矩阵L L L H H Λτ
必须是非奇异的。
● 这一要求与数据集是“提供信息”的或辨识输入信号是“持续激励”的概念密切相关。
例3.3 考虑仿真对象
)()2(5.0)1()2(7.0)1(5.1)(k v k u k u k z k z k z +-+-=-+-- (3.41) 其中，)(k v 是服从正态分布的白噪声N )1,0(。输入信号采用4阶M 序列，幅度为1。选择如下形式的辨识模型
)()2()1()2()1()(2121k v k u b k u b k z a k z a k z +-+-=-+-+ (3.42)
设输入信号的取值是从k =1到k =16的M 序列，则待辨识参数LS
θ?为LS θ?=L τL 1L τL z H )H H -(。其中，被辨识参数LS
θ?、观测矩阵z L 、H L 的表达式为 ???
?
??
??????=2121?b b a a LS
θ , ????????????=)16()4()3(z z z L z ， ?????
???
????------=)14()2()1()15()3()2()14()2()1()15()3()2(u u u u u u z z z z z z L H (3.43) 程序框图如图3.2所示。Matlab6.0仿真程序如下：
%二阶系统的最小二乘一次完成算法辨识程序
u=[-1,1,-1,1,1,1,1,-1,-1,-1,1,-1,-1,1,1]; %系统辨识的输入信号为一个周期的M序列
z=zeros(1,16); %定义输出观测值的长度
for k=3:16
z(k)=1.5*z(k-1)-0.7*z(k-2)+u(k-1)+0.5*u(k-2); %用理想输出值作为观测值
end
subplot(3,1,1) %画三行一列图形窗口中的第一个图形
stem(u) %画输入信号u的径线图形
subplot(3,1,2) %画三行一列图形窗口中的第二个图形
i=1:1:16; %横坐标范围是1到16，步长为1
plot(i,z) %图形的横坐标是采样时刻i, 纵坐标是输出观测值z, 图形格式为连续曲线
subplot(3,1,3) %画三行一列图形窗口中的第三个图形
stem(z),grid on %画出输出观测值z的径线图形，并显示坐标网格
u,z %显示输入信号和输出观测信号
%L=14 %数据长度
HL=[-z(2) -z(1) u(2) u(1);-z(3) -z(2) u(3) u(2);-z(4) -z(3) u(4) u(3);-z(5) -z(4) u(5) u(4);-z(6) -z(5) u(6) u(5);-z(7) -z(6) u(7) u(6);-z(8) -z(7) u(8) u(7);-z(9)
-z(8) u(9) u(8);-z(10) -z(9) u(10) u(9);-z(11) -z(10) u(11) u(10);-z(12) -z(11)
u(12) u(11);-z(13) -z(12) u(13) u(12);-z(14) -z(13) u(14) u(13);-z(15) -z(14)
u(15) u(14)] %给样本矩阵H L赋值
ZL=[z(3);z(4);z(5);z(6);z(7);z(8);z(9);z(10);z(11);z(12);z(13);z(14);z(15);z(16)] % 给样本矩阵z L赋值
%Calculating Parameters
c1=HL'*HL; c2=inv(c1); c3=HL'*ZL; c=c2*c3 %计算并显示
θ?
LS
%Display Parameters
a1=c(1), a2=c(2), b1=c(3),b2=c(4) %从
θ?中分离出并显示a1、a2、b1、b2
LS
%End
程序运行结果：
>>
u =[ -1，1，-1，1，1，1，1，-1，-1，-1，1，-1，-1，1，1]
z =[ 0，0，0.5000，0.2500，0.5250，2.1125，4.3012，6.4731，6.1988，3.2670，-0.9386，-3.1949，-4.6352，6.2165，-5.5800，-2.5185]
HL =
0 0 1.0000 -1.0000
-0.5000 0 -1.0000 1.0000
-0.2500 -0.5000 1.0000 -1.0000
-0.5250 -0.2500 1.0000 1.0000
-2.1125 -0.5250 1.0000 1.0000
-4.3012 -2.1125 1.0000 1.0000
-6.4731 -4.3012 -1.0000 1.0000
-6.1988 -6.4731 -1.0000 -1.0000
-3.2670 -6.1988 -1.0000 -1.0000
0.9386 -3.2670 1.0000 -1.0000
3.1949 0.9386 -1.0000 1.0000
4.6352 3.1949 -1.0000 -1.0000
6.2165 4.6352 1.0000 -1.0000
5.5800
6.2165 1.0000 1.0000
ZL =[ 0.5000，0.2500，0.5250，2.1125，4.3012，6.4731，6.1988，3.2670，-0.9386，-3.1949，-4.6352，-6.2165，-5.5800，-2.5185]T
c =[ -1.5000，0.7000，1.0000，0.5000]T
a1 = -1.5000
a2 = 0.7000
b1 = 1.0000
b2 =0.5000
>>
-10
1-100
10
-10
010
何噪声成分，所以辨识结果也无任何误差。
例3.4 根据热力学原理，对给定质量的气体，体积V 与压力P 之间
的关系为βα
=PV ，其中α和β为待定参数。经实验获得如下一批数据， V
的单位为立方英寸，P 的单位为帕每平方英寸。
V 54.3 61.8 72.4 88.7 118.6 194.0 P 61.2 49.5 37.6 28.4 19.2 10.1 试用最小二乘一次完成算法确定参数α和β。
首先要写出系统的最小二乘表达式。为此，把体积V 与压力P 之间的
关系βα
=PV 改为对数关系，即，βαlog log log +-=V P 。此式与式(3.14)，
)()()(k e k k z +=θh τ，对比可得：P log )(=k z ，]1log [)(V
h -=k τ，
τβα]log [=θ。
例3.4的Matlab6.0程序如下。 %实际压力系统的最小二乘辨识程序
clear %工作间清零
V=[54.3,61.8,72.4,88.7,118.6,194.0]'，P=[61.2,49.5,37.6,28.4,19.2,10.1]' %赋初值并显示V、P
%logP=-alpha*logV+logbeita=[-logV,1][alpha,log(beita)]'=HL*sita %注释P、V之间的关系
for i=1:6; Z(i)=log(P(i)); %循环变量的取值为从1到6，系统的采样输出赋值End %循环结束
ZL=Z' % z L赋值
HL=[-log(V(1)),1;-log(V(2)),1;-log(V(3)),1;-log(V(4)),1;-log(V(5)),1;-log(V(6)),1] %H L赋值
%Calculating Parameters
c1=HL'*HL; c2=inv(c1); c3=HL'*ZL; c4=c2*c3 %计算被辨识参数的值
%Separation of Parameters
alpha=c4(1) %α为c4的第一个元素
beita=exp(c4(2)) %β为以自然数为底的c4的第二个元素的指数
程序运行结果：
V = [54.3000, 61.8000, 72.4000, 88.7000, 118.6000, 194.0000]τ
P = [61.2000, 49.5000, 37.6000, 28.4000, 19.2000, 10.1000]τ
ZL = [4.1141, 3.9020, 3.6270, 3.3464, 2.9549, 2.3125]τ
HL =
-3.9945 1.0000
-4.1239 1.0000
-4.2822 1.0000
-4.4853 1.0000
-4.7758 1.0000
-5.2679 1.0000
c4 =
1.4042
9.6786
alpha = 1.4042
beita = 1.5972e+004 >>
仿真结果表明，用最小二乘一次完成算法可以迅速辨识出系统参数，即α=1.4042，β=1.5972e+004。
3.6最小二乘参数估计的递推算法
所谓递推算法就是根据新的观测数据实时修正参数估计值，随着时间的推移，逐步获得满意的辨识结果．
3.6.1 递推算法形式
● 递推算法推导
在2n 阶“持续激励”输入信号的作用下，加权最小二乘法的解为
L L L L L z H H H ΛΛθττ1WLS )(?
-=
??
??????????=∑∑=-=L i L
i i z i i i i i 11
1)()()()()()(h h h ΛΛτ
记k 时刻的参数估计值为
??
??????????=∑∑=-=k i k i i z i i i i i k 11
1)()()()()()()(?
h h h ΛΛτ
θ
令1
1()()()()k
i k i i i τ-==Λ∑P h h ，则有
1
1
1
(1)()()()k T i k i i i --=-=Λ∑P h h ，
则有
1
1
1
1
1()()()()()()()()()()
(1)()()()
k k T
T T i i T k i i i i i i k k k k k k k --==-=Λ=Λ+Λ=-+Λ∑∑P h h h h h h P h h
11111111
1?(1)()(1)()()()k k k k k k k T
T
i k k i i z i θ--------=??
-=ΛΛ=-Λ????
∑H H H z P h
于是有
1
1
1
?(1)(1)()()()k i k k i i z i θ--=--=Λ∑P h
利用以上三式有
1
111?()()()()()()()(1)(1)()()()()(1)()()()(1)()()()(1)()()()[()()(1)]
k k k k k k k
T
T
i T
T
k k i i z i k k k k k z k k k k k k k k k z k k k k k z k k k θ-=--??=ΛΛ=Λ????
??=--+Λ??
??
????=--Λ-+Λ??????
=-+--∑H H H z P h P P h P P h h h P h h ^
^
^
^
θθθθΛ
令增益矩阵为：()()()()k k k k =K P h Λ
则上式写为：???()(1)()[()()(1)]T k k k z k k k =-+--K h θθθ 且
1
1()(1)()()()k k k k k τ
--??=-+Λ??P P h h
利用矩阵反演公式
111111)()(------+-=+A C C A C B C A A CBC A τττ ，
那么算法将演变成下面所示的另一种递推算法形式
1???()(1)()[()()(1)]1()(1)()()(1)()()()[()()](1)T T T k k k z k k k k k k k k k k k k k k θθθ-?=-+--????=--+???Λ???
?=--?K h K P h h P h P K h P I
● 说明
上面给出的这两种加权最小二乘估计递推算法形式都是很常用的，其中一个式多用于理论分析，另一个比较适用于在线计算。
如果取加权因子Λ()k =1，则两种加权最小二乘递推算法就变成普通的最小二乘递推算法，记作RLS(Recursive Least Squares algorithm)。
3.6.2 初始值的选择 递推算法的初始值一般可取
P ()
(),
002==???a I ,
θε 其中a 为充分大实数，ε 为充分小实向量，这是因为：
??
????+??????+=∑∑=--=-k i k i i z i i i i i k 1111T
1)()()()0(?)0()()()()0()(?
h P h h P ΛΛθθ
显然，选择初始值时，必须使P -100() ()和θ
都很小，接近于0。
3.7增广最小二乘法
考虑如下模型
A z z k
B z u k N z v k ()()()()()()---=+111
式中u (k )和z (k ) 分别为模型输入和输出变量；v (k ) 是均值为零、方差为σv 2的不相关随机噪声或称白噪声；N z ()-1为噪声模型；A z ()-1 和B z ()-1为迟延算子多项式，记作
A z a z a z a z
B z b z b z b z n n
n n a a
b b
()()--------=++++=+++????
?11122111221 其中n a 和n b 为模型阶次。
RELS(Recursive Extended Least Squares algorithm)：
[]
???
??
?
?--=+--=--+-=-)1()]()([)(1)()1()()()1()()]1(?)()()[()1(?)(?1k k k k k k k k k k k k k z k k k P h K P h P h h P K h K ττ
τθθθI 式中数据向量h ()k 视不同的噪声模型可以具有不同的增广结构。 这种参数估计算法的实质，在于把噪声模型参数混在参数向量θ中一起进行辨识．就这种意义上说，称之为增广最小二乘法。它是普通最小二乘法的一种推广，其递推形式和性质与普通最小二乘法完全相同。优点是可用来解决有色噪声模型的辨识问题，但噪声模型部分本身的辨识并不一定是无偏、一致估计。
广义最小二乘法
考虑如下模型
A z z k
B z u k
C z v k ()()()()()
()---=+
111
1
式中u (k )和z (k )分别为模型输入和输出变量；v (k )是均值为零、方差为σv
2
的白噪声；迟延算子多项式A z ()-1、B z ()-1和C z ()-1记作：
A z a z a z a z
B z b z b z b z
C z c z c z c z n n n n n n a a b
b c c
()()()------------=++++=+++=++++????
?11122111221112211 其中n a 、n b 和 n c 为模型阶次．令e k C z v k ()()
()=
-1
1
,且定义 ???------==τ
τ
θ)]
(,),1(),(,),1([)(],,,,,[11b a n n n k u k u n k z k z k b b a a b a h 则可写成如下的最小二乘格式：
z H e L L L =+θ 式中
???
??????=????????????==τττττ)]
(,),2(),1([)()2()1()](,),2(),1([L e e e L L z z z L L L e h h h H z 广义最小二乘法。这种方法的基本思想是基于对数据先进行一次滤波预处理，然后利用最小二乘算法来辨识模型的参数。广义最小二乘参数估计存在全局收敛问题，当噪声较大时，一般难以获得更高的辨识精度。
广义最小二乘递推算法，记作RGLS(Recursive Generalized Least Squares algorithm)：
[]
[]
???????????--=+--=--+-=--=+--=--+-=--)
1()]()([)(1)()1()()()1()()]1(?)()(?)[()1(?)(?)
1()]()([)(1)()1()()()1()()]1(?)()()[()1(?)(?11
k k k k k k k k k k k k k e k k k k k k k k k k k k k k k k z k k k e e e e
e e e e e e e e e
e e
f f f f f
f f f f f
f f f P h K P h P h h P K h K P h K P h P h h P K h K ττττ
ττ
θθθθθθI I 式中
???????-=----=------=)
(?)()()(?)](?,),1(?[)()](,),1(),(,),1([)(k k k z k e n k e k e k n k u k u n k z k z k c e b f f a f f f θτττ
h h h
题目： （递推最小二乘法） 考虑如下系统： )()4(5.0)3()2(7.0)1(5.1)(k k u k u k y k y k y ξ+-+-=-+-- 式中，)(k ξ为方差为0.1的白噪声。 取初值I P 610)0(=、00=∧ ）（θ。选择方差为1的白噪声作为输入信号)(k u ，采用PLS 法进行参数估计。 Matlab 代码如下： clear all close all L=400; %仿真长度 uk=zeros(4,1); %输入初值：uk(i)表示u(k-i) yk=zeros(2,1); %输出初值 u=randn(L,1); %输入采用白噪声序列 xi=sqrt(0.1)*randn(L,1); %方差为0.1的白噪声序列 theta=[-1.5;0.7;1.0;0.5]; %对象参数真值 thetae_1=zeros(4,1); %（）θ初值 P=10^6*eye(4); %题目要求的初值 for k=1:L phi=[-yk;uk(3:4)]; %400×4矩阵phi 第k 行对应的y(k-1),y(k-2),u(k-3), u(k-4) y(k)=phi'*theta+xi(k); %采集输出数据 %递推最小二乘法的递推公式 K=P*phi/(1+phi'*P*phi); thetae(:,k)=thetae_1+K*(y(k)-phi'*thetae_1); P=(eye(4)-K*phi')*P; %更新数据 thetae_1=thetae(:,k); for i=4:-1:2 uk(i)=uk(i-1); end uk(1)=u(k); for i=2:-1:2 yk(i)=yk(i-1);
一、 递推最小二乘法 递推最小二乘法的一般步骤： 1. 根据输入输出序列列出最小二乘法估计的观测矩阵?： ] )(u ... )1( )( ... )1([)(T b q n k k u n k y k y k ------=? 没有给出输出序列的还要先算出输出序列。 本例中， 2)]-u(k 1),-u(k 2),-1),-y(k -[-y(k )(T =k ?。 2. 给辨识参数θ和协方差阵P 赋初值。一般取0θ=0或者极小的数，取σσ,20I P =特别大，本例中取σ=100。 3. 按照下式计算增益矩阵G ： ) ()1()(1)()1()(k k P k k k P k G T ???-+-= 4. 按照下式计算要辨识的参数θ： )]1(?)()()[()1(?)(?--+-=k k k y k G k k T θ?θθ 5. 按照下式计算新的协方差阵P ： )1()()()1()(---=k P k k G k P k P T ? 6. 计算辨识参数的相对变化量，看是否满足停机准则。如满足，则不再递推；如不满足， 则从第三步开始进行下一次地推，直至满足要求为止。 停机准则：ε???<--) (?)1(?)(?max k k k i i i i 本例中由于递推次数只有三十次，故不需要停机准则。 7. 分离参数：将a 1….a na b 1….b nb 从辨识参数θ中分离出来。 8. 画出被辨识参数θ的各次递推估计值图形。 为了说明噪声对递推最小二乘法结果的影响，程序5-7-2在计算模拟观测值时不加噪 声， 辨识结果为a1 =1.6417，a2 = 0.7148，b1 = 0.3900，b2 =0.3499，与真实值a1 =1.642， a2 = 0.715， b1 = 0.3900，b2 =0.35相差无几。 程序5-7-2-1在计算模拟观测值时加入了均值为0，方差为0.1的白噪声序列，由于噪 声的影响，此时的结果为变值，但变化范围较小，现任取一组结果作为辨识结果。辨识结果为a1 =1.5371， a2 = 0.6874， b1 = 0.3756，b2 =0.3378。 程序5-7-2-2在计算模拟观测值时加入了有色噪声，有色噪声为 E(k)+1.642E(k-1)+0.715E(k-2)，E(k)是均值为0，方差为0.1的白噪声序列，由于有色噪声的影响，此时的辨识结果变动范围远比白噪声时大，任取一组结果作为辨识结果。辨识结果为a1 =1.6676， a2 = 0.7479， b1 = 0.4254，b2 =0.3965。 可以看出，基本的最小二乘法不适用于有色噪声的场合。
最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：
第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1）
其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 整理得到拟合曲线满足的方程：
逐差法和Origin7.0软件在大学物理实验数据处理中的比较 摘要 本文用逐差法和Origin7.0软件分别对拉伸法测金属丝杨氏模量的实验数据进行处理，结果表明, 利用Origin7.0软件处理实验数据, 具有简洁、快捷与直观等特点, 避免了人为因素所造成的误差，在物理实验数据处理过程中有显著的应用价值。 关键词 逐差法；Origin7.0软件；不确定度；数据处理 大学物理实验测得的数据，必须经过科学的分析和处理，才能揭示出各物理量之间的关系。我们把从获得原始数据起到得出结论为止的加工过程称为数据处理。目前大多数大学物理实验教材中对于实验数据的处理方法有：逐差法、列表法、作图法、最小二乘法。在实验教学中，一般将测量的实验数据选用某种处理方法，来计算实验结果及测量误差分析。不管用那种方法处理实验数据处理,既繁琐又枯燥，又占用学生大量的课外时间, 成为教师和大学生头痛的事情。随着现代教育的发展,大量的实验数据和图像都可以通过计算机应用软件进行分析和处理。利用先进的计算机软件对大量的实验数据进行成批的数据处理能够提高学生的学习效率, 使学生从繁琐的数据推导和计算中解脱出来。而美国Origin Lab 公司推出的软件Origin 7.0在这一问题上能够提供迅速、准确的信息和参数以及图形。因此它在教学、 科研、工程技术等领域具有广泛的应用。 [1] [3] 本文以该软件用于拉伸法测金属丝杨氏模量的实验数据处理过程为例,并与逐差法进行比较，使用Origin 7.0软件能完成实验数据的准确快速处理与分析 。 1实验原理[2] 一根均匀的金属丝，长度为L ，截面积为S ，在受到沿长度方向的外力F 的作用时发生形变，伸长ΔL 。根据胡克定律，在弹性限度内，其应力F/S 与应变ΔL/L 成正比，即 F L E S L ?= 设金属丝直径为d ，则截面积21π4 S d =，其杨氏模量为 24πFL E d L =? （1） 本实验采用图光杠杆法测得ΔL 值（见图1） ()012A A D x L -=? (2) 将（2）代入式（1）得 图1 光杠杆原理
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方 法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值 i i x y ,（i=1,2,…,n ）的情况下 （见图2.2.1中的散点），假如模型（2.2.1）的参数估计量 已经求得到，为^0β和^ 1β，并且是最合理的参数估计量，那 么直线方程（见图2.2.1中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n (2.2.2) 应该能够最好地拟合样本数据。其中 ^ i y 为被解释变量的估计值，它是由参数估计量和解释 变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(102 2101ββββQ u x y Q i i n i i ==--=∑∑= ()() ),(min ????1 02 1 102 12?,?1 1 ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== (2.2.3) 为什么用平方和？因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^ 1^01 2 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是 ^ 0β、^ 1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^ 0β、 ^ 1β的一阶偏导数为0时，Q 达到最小。即
偏最小二乘法 1.1 基本原理 偏最小二乘法（PLS ）是基于因子分析的多变量校正方法，其数学基础为主成分分析。但它相对于主成分回归（PCR ）更进了一步，两者的区别在于PLS 法将浓度矩阵Y 和相应的量测响应矩阵X 同时进行主成分分解： X=TP+E Y=UQ+F 式中T 和U 分别为X 和Y 的得分矩阵，而P 和Q 分别为X 和Y 的载荷矩阵，E 和F 分别为运用偏最小二乘法去拟合矩阵X 和Y 时所引进的误差。 偏最小二乘法和主成分回归很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，数学中是以矩阵Y 的列去计算矩阵X 的因子。同时，矩阵Y 的因子则由矩阵X 的列去预测。分解得到的T 和U 矩阵分别是除去了大部分测量误差的响应和浓度的信息。偏最小二乘法就是利用各列向量相互正交的特征响应矩阵T 和特征浓度矩阵U 进行回归： U=TB 得到回归系数矩阵，又称关联矩阵B ： B=(T T T -1)T T U 因此，偏最小二乘法的校正步骤包括对矩阵Y 和矩阵X 的主成分分解以及对关联矩阵B 的计算。 1.2主成分分析 主成分分析的中心目的是将数据降维，以排除众多化学信息共存中相互重叠的信息。他是将原变量进行转换，即把原变量的线性组合成几个新变量。同时这些新变量要尽可能多的表征原变量的数据结构特征而不丢失信息。新变量是一组正交的，即互不相关的变量。这种新变量又称为主成分。 如何寻找主成分，在数学上讲，求数据矩阵的主成分就是求解该矩阵的特征值和特征矢量问题。下面以多组分混合物的量测光谱来加以说明。假设有n 个样本包含p 个组分，在m 个波长下测定其光谱数据，根据比尔定律和加和定理有： A n×m =C n×p B p×m 如果混合物只有一种组分，则该光谱矢量与纯光谱矢量应该是方向一致，而大小不同。换句话说，光谱A 表示在由p 个波长构成的p 维变量空间的一组点（n 个），而这一组点一定在一条通过坐标原点的直线上。这条直线其实就是纯光谱b 。因此由m 个波长描述的原始数据可以用一条直线，即一个新坐标或新变量来表示。如果一个混合物由2个组分组成，各组分的纯光谱用b1，b2表示，则有： 1122 T T T i i i a c b c b =+ 有上式看出，不管混合物如何变化，其光谱总可以用两个新坐标轴b1,b2来表示。因此可以 推出，如果混合物由p 个组分组成，那么混合物的光谱就可由p 个主成分轴的线性组合表示。
生活中的计算方法应用实例——— 最小二乘法，用MATLAB实现1. 数值实例 下面给定的是某市最近1个月早晨7：00左右（新疆时间）的天气预报所得到的温度 天数 1 2 3 4 5 6 7 8 9 10 温度9 10 11 12 13 14 13 12 11 9 天数11 12 13 14 15 16 17 18 19 20 温度10 11 12 13 14 12 11 10 9 8 天数21 22 23 24 25 26 27 28 29 30 温度7 8 9 11 9 7 6 5 3 1 下面用MATLAB编程对上述数据进行最小二乘拟合，按照数据找出任意次曲线拟合方程和它的图像。 2、程序代码 x=[1:1:30]; y=[9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7, 6,5,3,1]; a1=polyfit(x,y,3) %三次多项式拟合% a2= polyfit(x,y,9) %九次多项式拟合% a3= polyfit(x,y,15) %十五次多项式拟合% b1= polyval(a1,x) b2= polyval(a2,x) b3= polyval(a3,x) r1= sum((y-b1).^2) %三次多项式误差平方和% r2= sum((y-b2).^2) %九次次多项式误差平方和% r3= sum((y-b3).^2) %十五次多项式误差平方和% plot(x,y,'*') %用*画出x,y图像% hold on plot(x,b1, 'r') %用红色线画出x,b1图像% hold on plot(x,b2, 'g') %用绿色线画出x,b2图像% hold on plot(x,b3, 'b:o') %用蓝色o线画出x,b3图像% 3、数值结果 不同次数多项式拟合误差平方和为： r1=67.6659
曲线拟合——最小二乘法算法 一、目的和要求 1）了解最小二乘法的基本原理，熟悉最小二乘算法； 2）掌握最小二乘进行曲线拟合的编程，通过程序解决实际问题。 二、实习内容 1）最小二乘进行多项式拟合的编程实现。 2）用完成的程序解决实际问题。 三、算法 1）输入数据节点数n ，拟合的多项式次数m ，循环输入各节点的数据x j , y j (j=0,1,…,n-1) 2）由x j 求S ；由x j ,y j 求T ： S k = ∑-=10n j k j x ( k=0,1,2, … 2*m ) T k = ∑-=1 0n j k j j x y ( k=0,1,2,… m ) 3）由S 形成系数矩阵数组c i,j ：c[i][j]=S[i+j] (i=0,1,2,…m, j=0,1,2,…,m)；由T 形成系数矩阵增广部分c i,m+1：c[i][m+1]=T[i] (i=0,1,2,…m) 4）对线性方程组CA=T[或A C ]，用列主元高斯消去法求解系数矩阵A=(a 0,a 1,…,a m )T 四、实验步骤 1）完成最小二乘法进行曲线拟合的程序设计及录入、编辑； 2）完成程序的编译和链接，并进行修改； 3）用书上P105例2的例子对程序进行验证，并进行修改； 4）用完成的程序求解下面的实际问题。 5）完成实验报告。 五、实验结果 1. 经编译、链接及例子验证结果正确的源程序： #include
误差理论综述与最小二乘法讨论 摘要：本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法（LS）的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来的全面最小二乘法(TLS)同传统最小二乘法进行了对比。 1.误差的有关概念 对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现，物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此，必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、研究、判断，必须采用误差理论，它是我们客观分析的有力工具 测量基本概念 一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，测量可分为直接测量、间接测量和组合测量。 直接测量:可以用测量仪表直接读出测量值的测量。 间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量量的函数关系求出。 组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量，并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求量的数值，即为组合测量。 误差基本概念 误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值为y，真值为Y，则测量误差dy=y-Y。虽然真值是客观存在的，但实际应用时它一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。 随机误差:是同一测量条件下，重复测量中以不可预知方式变化的测量误差分量。 系统误差:是同一测量条件下，重复测量中保持恒定或以可预知方式变化的测量误差分量。 粗大误差:指超出在规定条件下预期的误差。 等精度测量的随机误差 当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 基于最小二乘法的系统辨识的设计与开发（整理版）课程（论文）题目： 基于最小二乘法的系统辨识摘要： 最小二乘法是一种经典的数据处理方法。 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。 在系统辨识领域中, 最小二乘法是一种得到广泛应用的估计方法, 可用于动态系统, 静态系统, 线性系统, 非线性系统。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 关键词： 最小二乘法；系统辨识；参数估计 1 引言最小二乘理论是有高斯（ K.F.Gauss）在 1795 年提出： 未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。 这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最好拟合的数学模型。 递推最小二乘法是在最小二乘法得到的观测数据的基础上，用新引入的数据对上一次估计的结果进行修正递推出下一个参数估计值，直到估计值达到满意的精确度为止。 1 / 10
对工程实践中测得的数据进行理论分析，用恰当的函数去模拟数据原型是一类十分重要的问题，最常用的逼近原则是让实测数据和估计数据之间的距离平方和最小，这即是最小二乘法。 最小二乘法是一种经典的数据处理方法。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 2 最小二乘法的系统辨识设单输入单输出线性定常系统的差分方程为： 1),()()() 1()(01knkubkubnkxakxakxnn （ 1）上式中： )(ku为输入信号；)(kx为理论上的输出值。 )(kx只有通过观测才能得到，在观测过程中往往附加有随机干扰。 )(kx的观测值)(ky可表示为 （ 2）将式（ 2）代入式（ 1）得 1()()() 1()(101kubkubnkyakyakyn (3) 我们可能不知道)(kn的统计特性，在这种情况下，往往把)(kn看做均值为 0 的白噪声。 设 （ 4）则式（ 3）可以写成 (5) 在测量)(ku时也有测量误差，系统内部也可能有噪声，应当
数值计算方法期末论文 ————同等要求下三次样条插值法与最小二值法的分析及比较。
引言 在实际中，常常要处理由实验或测量所得到的一批离散数据.插值与拟合方法就是要通过这些数据去确定某一类已知函数的参数或寻找某个近似函数，使所得到的近似函数与已知数据有较高的拟合程度.如果要求这个近似函数（曲线或曲面）经过已知的所有数据点，则称此类问题为插值问题。 当所给的数据较多时，用插值方法所得到的插值函数会很复杂，所以，通常插值方法用于数据较少的情况.但数据一般都是由观测或试验得到的，往往会带有一定的随机误差，因而，要求近似函数通过所有的数据点也是不必要的.如果不要求近似函数通过所有数据点，而是要求它能较好地反应数据的整体变化趋势，则解决这类问题的方法称为数据拟合. 插值和拟合都是要根据一组数据构造一个函数作为近似，由于近似的要求不同，二者的数学方法上是完全不同的。而面对一个实际问题，究竟应该用插值还是拟合，有时容易确定，有时则并不明显。 本文由具体题目为基础，主要论述了在同等要求下三次样条插值法与最小二值法的分析及比较。 关键词：数值计算方法、三次样条插值法、最小二值法
目录 引言--------------------------------------------------- 2 第一章三次样条插值------------------------------------ 4 1.1三次样条插值函数--------------------------------- 4 1.2 分段线性插值------------------------------------ 5 1.3插值理论----------------------------------------- 6 第二章最小二乘法--------------------------------------- 7 2.1 线性最小二乘拟合法------------------------------ 7 2.2 一般线性最小二乘拟合法--------------------------- 8 2.3非线性最小二乘拟合法------------------------------ 9 第三章算法对比与实现------------------------------------ 10 3.1对比实例一---------------------------------------- 10 3.2对比实例二---------------------------------------- 11 3.3结果及分析---------------------------------------- 15 第四章总结---------------------------------------------- 16
4.最小二乘法线性拟合 我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。 最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。显然，关键是如何求出最佳的a 和b 。 (1) 求回归直线 设直线方程的表达式为： bx a y += (2-6-1) 要根据测量数据求出最佳的a 和b 。对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下： 111bx a y d --= 222bx a y d --= n n n bx a y d --= 显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+ |d 2|+……+ |d n |又不好解方程，因而不可行。现在采取一种等效方法：当d 12+d 22+……+d n 2 对a 和b 为最小时，d 1、d 2、……、d n 也为最小。取（d 12+d 22+……+d n 2 ）为最小值，求a 和b 的方法叫最小二乘法。 令 ∑== n i i d D 1 2＝21 1 2][i i n i n i i b a y d D --== ∑∑== (2-6-2) D 对a 和b 分别求一阶偏导数为： ][211∑∑==---=??n i i n i i x b na y a D ][21 2 11∑∑∑===---=??n i i n i i n i i i x b x a y x b D
普通最小二乘法（OLS） 普通最小二乘法（Ordinary Least Square，简称OLS），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值（i=1,2,…,n）的情况下（见图 2.2.1中的散点），假如模型（2.2.1）的参数估计量已经求得到，为和，并且是最合理 的参数估计量，那么直线方程（见图2.2.1中的直线） i=1,2,…,n (2.2.2) 应该能够最好地拟合样本数据。其中为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 (2.2.3) 为什么用平方和？因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 是、的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q对、的一阶偏导数为0时，Q达到最小。即
(2.2.4) 容易推得特征方程： 解得： （2.2.5） 所以有： （2.2.6） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 （2.2.6）的参数估计量可以写成
(2.2.7) 至此，完成了模型估计的第一项任务。下面进行模型估计的第二项任务，即求随机 误差项方差的估计量。记为第i个样本观测点的残差，即被解释变量的估计值与观测值之差。则随机误差项方差的估计量为 (2.2.8) 在关于的无偏性的证明中，将给出（2.2.8）的推导过程，有兴趣的读者可以参考有关资料。 在结束普通最小二乘估计的时候，需要交代一个重要的概念，即“估计量”和“估计值”的区别。由（2.2.6）给出的参数估计结果是由一个具体样本资料计算 出来的，它是一个“估计值”，或者“点估计”，是参数估计量和的一个具体数值；但从另一个角度，仅仅把（2.2.6）看成和的一个表达式，那么，则是的函数，而是随机变量，所以和也是随机变量，在这个角度上，称之为“估计量”。在本章后续内容中，有时把和作为随机变量，有时又把和作为确定的数值，道理就在于此。
基于正交最小二乘算法的RBF神经网络 一、实验环境 硬件平台Win10 64位操作系统，1.5GHZ，4G内存，软件版本MA TLAB2015b 二、实验数据 训练数据集： T F W M Y Q 1000.00130010000 20.00740.03350.00150.00320.010610000 30.00430.022300.00470.005310000 40.5520.30170.25810.30940.231601000 50.54520.27930.26110.29880.203601000 60.55020.24580.27170.31150.234701000 70.24620.15080.09470.09640.099900100 80.25350.10610.09680.09710.08100100 90.26650.08940.09370.09940.090800100 100.66150.52510.51950.471100010 110.67380.44130.52250.47320.966700010 120.66650.47490.52550.47690.975800010 13110.981210.820600001 140.97970.977710.9960.775900001 150.98460.97270.98470.98570.7600001 测试数据集： T F W M Y Q 10.00310.02350.00050.0030.004510000 20.54930.26260.26590.30880.222101000 30.25720.10060.09580.09810.08900100 40.67040.49720.52350.47410.979100010 50.9920.98990.99790.99370.797900001 三、算法介绍 RBF函数网络从结构上看是一个3层前馈网络，包括一个输入层、一个输出层和一个隐含层。输入层节点的作用是将输入数据传递到隐含层节点。隐含层节点称为RBF节点，其激活函数为辐射状函数的神经元构成，通常采用高斯型函数：Array 图1 RBF结构 RBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键因素是基函数中心的选取，中心选取不当构造出来的RBF网络的性能一般不能令人满意。例如，如果某些中心靠的太近，会产生近似线形相关，从而带来数值上的病变条件。基本的RBF 神经网络采用随机抽取固定中心的方法，在输入样本数据的分布具有某种特性的情况下，采用这种方法解决给定问题就显得简单可行了。而针对其缺陷，已经有许多改进的方法，其中 之一就是利用最小二乘法选取中心，训练网络权重。
第五章 插值与最小二乘法 5.1 插值问题与插值多项式 实际问题中若给定函数是区间上的一个列表函数 ，如果,且f(x)在区间上是连续的，要求用一个简单的，便于计算的解析表达式在区间上近似f(x)，使 (5.1.1) 就称为的插值函数，点称为插值节点，包含插值节点的区间称为插值区间. 通常，其中是一组在上线性 无关的函数族，表示组成的函数空间表示为 (5.1.2) 这里是(n+1)个待定常数，它可根据条件(5.1.1)确定.当 时，表示次数不超过n次的多项式集合， ，此时 (5.1.3) 称为插值多项式，如果为三角函数，则为三角插值，同理还有 分段多项式插值，有理插值等等.由于计算机上只能使用+、-、×、÷运算，故常用的就是多项式、分段多项式或有理分式，本章着重讨论多项式插值及分段多项式插值，其他插值问题不讨论. 从几何上看，插值问题就是求过n+1个点的曲线，使它近似于已给函数，如图5-1所示.
插值法是一种古老的数学方法，它来自生产实践.早在一千多年前，我国科学家在研究历法时就应用了线性插值与二次插值，但它的基本理论却是在微积分产生以后才逐步完善的，其应用也日益广泛.特别是由于计算机的使用和航空、造船、精密机械加工等实际问题的需要，使插值法在理论上和实践上得到进一步发展.尤其是近几十年发展起来的样条(Spline)插值，获得了极为广泛的应用，并成为计算机图形学的基础. 本章主要讨论如何求插值多项式、分段插值函数、三次样条插值、插值多项式的存在唯一性及误差估计等.此外，还讨论列表函数的最小二乘曲线拟合问题与正交多项式. 讲解： 插值多项式就是根据给定n+1个点 ，求一个n次多项式： 使 即 这里是n+1个待定系数，根据n+1个条件得到的方程组是关于参数 的线性方程组。当节点互异时由于系数行列式 所以解是存在唯一的。但直接求解较复杂，也得不到统一的表达式。所以通常求插值多项式不用这种方法，而使用下节给出的基函数方法。 5.2 Lagrange插值 5.2.1 线性插值与二次插值 最简单的插值问题是已知两点及，通过此两点的插值多项式是一条直线，即两点式
实验二 #include "stdio.h" float gs(float a[20][20],float b[20],int n ) { int i,j,k,l; float s; k=1; while(k!=n+1) { if(a[k][k]!=0) { for(i=k+1;i<=n+1;i++) { a[i][k]=a[i][k]/a[k][k]; b[i]=b[i]-a[i][k]*b[k]; for(j=k+1;j<=n+1;j++) a[i][j]=a[i][j]-a[i][k]*a[k][j]; } } k=k+1; } for(k=n+1;k>=1;k--) { s=0; for(l=k+1;l<=n+1;l++) s=s+a[k][l]*b[l]; b[k]=(b[k]-s)/a[k][k]; } return 0; } int main() { float a[20][20]={0.0};//定义a矩阵 float c[20][20];//定义c矩阵 float ct[20][20];//定义ct矩阵 float x[20];//定义数组用于存放x的数据 float y[20];//定义数组用于存放y的数据 float b[20]={0.0};//定义b矩阵 int i,j,k,m,n; printf("输入所求函数的最高次数n:\n");//输入n（求线性的函数输入1。。）scanf("%d",&n);
printf("输入测试数据的组数m:\n");//输入测试数据的组数scanf("%d",&m); printf("输入x的测试数据%d个:\n",m);//输入x的测试数据m个for(i=1;i<=m;i++) scanf("%f",&x[i]); printf("输入y的测试数据%d个:\n",m);//输入y的测试数据m个for(i=1;i<=m;i++) scanf("%f",&y[i]); for(i=1;i<=m;i++)//c矩阵第一列赋值为1 c[i][1]=1.0; //求C[][] for(j=2;j<=n+1;j++) for(i=1;i<=m;i++) c[i][j]=x[i]*c[i][j-1]; //输出C[][] printf("C矩阵如下：\n"); for(i=1;i<=m;i++) for(j=1;j<=n+1;j++) { printf("%f ",c[i][j]); if(j==n+1) printf("\n"); } //求c的转置矩阵CT[][] for(i=1;i<=m;i++) for(j=1;j<=n+1;j++) ct[j][i]=c[i][j]; //输出CT[][] printf("CT矩阵如下：\n"); for(i=1;i<=n+1;i++) for(j=1;j<=m;j++) { printf("%f ",ct[i][j]); if(j==m) printf("\n");
实验数据的处理方法 山东农业大学物理实验教学中心
?实验必然要采集大量数据，实验人员需要对实验数据进行记录、整理、计算与分析，从而寻找出测量对象的内在规律，正确地给出实验结果。所以说，实验数据处理是实验工作不可缺少的一部分。下面介绍实验数据处理常用的四种方法。
?1、列表法 ?列表法没有统一的格式，但在设计表格时要求能充分反映上述优点，初学者要注意以下各点： ?(1)各栏目都要注明名称和单位。 ?(2)栏目的顺序应充分注意数据间的联系和计算顺序，力求简明、齐全、有条理。?(3)反映测量值函数关系的数据表格，应 按自变量由小到大或由大到小的顺序排列。
?2、图解法 ?（1）作图必须用坐标纸： ?当决定了作图的参量以后，根据情况选 择用直角坐标纸(即毫米方格纸)，对数坐标纸，半对数坐标纸或其它坐标纸。 ?（2）坐标比例的选取与标度： ?作图时通常以自变量作横坐标（x轴），以因变量作纵坐标(y轴)，并标明坐标轴所代表的物理量(或相应的符号)和单位。坐标比例的选取，原则上做到数据中的可靠数字在图上应是可靠的。坐标比例选得不适当时，若过小会损害数据的准确度；若过大会夸大数据的准确度，并且使实验点过于分散，对确定图线的位置造成困难。
?（3）数据点的标出： ?实验数据点用“+”符号标出，符号的交点正是数据点的位置。同一张图上如有几条实验曲线，各条曲线的数据点可用不同的符号(如×，⊙等)标出，以示区别。 ?（4）曲线的描绘： ?由实验数据点描绘出平滑的实验曲线，连线要用透明直尺或三角板、曲线板等连接。要尽可能使所描绘的曲线通过较多的测量点。
最小二乘法综述及算例 一最小二乘法的历史简介 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。 高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。 经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。 二最小二乘法原理 最小二乘法的基本原理是：成对等精度测得的一组数据),...,2,1(,n i y x i i =，是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。 设物理量y 与1个变量l x x x ,...,2,1间的依赖关系式为:)(,...,1,0;,...,2,1n l a a a x x x f y =。 其中n a a a ,...,1,0是n +l 个待定参数,记()2 1 ∑=- = m i i i y v s 其中是测量值,是由己求得的 n a a a ,...,1,0以及实验点),...,2,1)(,...,(;,2,1m i v x x x i il i i =得出的函数值)(,...,1,0;,...,2,1n il i i a a a x x x f y =。 在设计实验时, 为了减小误差, 常进行多点测量, 使方程式个数大于待定参数的个数, 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等) 。我们可以通过正规方程组求出a 最小二乘法又称曲线拟合, 所谓“ 拟合” 即不要求所作的曲线完全通过所有的数据点, 只要求所得的曲线能反映数据的基本趋势。 三曲线拟合 曲线拟合的几何解释: 求一条曲线, 使数据点均在离此曲线的上方或下方不远处。 （1）一元线性拟合 设变量y 与x 成线性关系x a a y 10+=,先已知m 个实验点),...,2,1(,m i v x i i =，求两个未知参数1,0a a 。 令() 2 1 10∑=--=m i i i x a a y s ，则1,0a a 应满足 1,0,0==??i a s i 。 即 i v i v