第二章 参数估计的最小二乘方法Least Squares
§2—１静态线性模型参数的最小二乘估计（多元线性回归）
一、 什么是最小二乘估计
系统辨识三要素：模型，数据，准则。 例： y = ax + ε
其中：y 、x 可测；ε — 不可测的干扰项； a —未知参数。通过 N 次实验，得到测量数据 y k 和
x k k = 1、2、3 …，确定未知参数 a 称“参数估计”。 使准则 J 为
最小 ：
令：? J / ? a = 0 , 导出 a = ?
称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss 于 1792
年提出。
min
)(2
1
=-=∑=k N
k k ax y J 0)(21
=--=??∑=k k N
k k ax y x a J
二、多元线性回归
线性模型 y = a 0+ a 1x 1+ + a n x n + ε 式(2 - 1- 1) 引入参数向量: θ = [ a 0,a 1, a n ]T (n+1)*1 进行 N 次试验，得出N 个方程：
y k = ?k T θ + εk ; k=1、2…、N 式(2 -1- 2) 其中：?k = [ 1,x 1,x 2, ,x N ] T (n+1) *1 方程组可用矩阵表示为
y = Φ θ + ε 式（2 -1- 3）
其中：y = [ y 1,y 2, 。。。,y N ] T
(N *1) ε = [ ε1, ε2, 。。。,ε N ]
T
(N *1)
N *(n+1)
估计准则有：
= （y — Φ θ）T ( y — Φ θ)
(1*N) ( N *1)
??????
?
???????=???????
??
???=T N T T
nN N
n n x x x x
x x ???φ....
1...........1 (1211212)
111
21)(θ?T k
N
k k y J -=∑=[]
?
?
??
?
?????----=)(..)(*)(...)(1
111θ?θ?θ?θ?T N N T T
N N T y y y y J
J = y T y + θT ΦT Φ θ -y T Φ θ - θT ΦT y
= y T y + θT ΦT Φ θ - 2 θT ΦT y 式（2 -1- 4） 假设：（ΦT Φ）(n+1)(n+1) 满秩，由
利用线性代数的以下两个矩阵对向量求偏导数的公式:
A x A x T =??)( 和 Ax x
Ax x T 2)
(=??(必须A 为对称阵) 由ΦΦT 为对称阵 有:
y y T
T T
ΦΦ=??θ
θ)
( 和 θθ
θθΦΦ=?ΦΦ?T T
T
2)
(
所以:
y y y y J T T T T
T T T ΦΦΦΦΦΦ22)2(-=-+??=??θθθθθ
θ 令上式等于零，解出参数估计向量：
θ Ls =（ΦT Φ）-1 ΦT y 式（2 -1- 5） 令：P = （ΦT Φ）-1 则参数估计向量 θ Ls = P ΦT y 参数估计向量 θ Ls 被视为以下“正则方程”的解： （ΦT Φ）θ = ΦT y 式（2 -1- 6） 注：为了便于区别, 我们用红体字符表示估计量或计算值，而用黑体表示为参数真值或实际测量值。
又
02)22()(2
2>ΦΦ=Φ-ΦΦ??=??T
T T y J θθ
θθ 所以θ Ls 使J 为最小。
0=??θ
J
三、关于参数最小二乘估计θLs性质的讨论
以上求解参数最小二乘估计θLs时并为对{ εk }的统计特性做任何规定，这是最小二乘估计的优点。当{ εk }为平稳零均值白噪声时，则θLs有如下良好的估计性质：
a) 参数最小二乘估计θLs是y的线性估计
θLs= PΦT y 是y 的线性表出；
b) 参数最小二乘估计θLs是无偏估计，即E θLs= θ（参数真值）[ 证明]：E θLs= E[ PΦT y ]= PΦT E( y ) = PΦT E ( Φθ + ε ) =
PΦTΦθ + E( ε ) = θ + 0 = θ
c) 最小二乘估计θLs 的估计误差协方差阵是σ2P (n+1)(n+1)
即：E [ ( θLs- θ ) (θLs-θ )T ] = σ2P
[ 证明]：E [ ( θLs- θ ) (θLs - θ )T ] = E [ PΦT ( y -
Φθ) ( y-Φθ)TΦP] = E [ PΦT εεT ΦP ] = PΦT E ( εεT) ΦP =
PΦTσ2 I N*NΦP = PΦTΦσ2P=σ2P
d) 若{ εk }为正态分布零均值白噪声时，则θLs是线性无偏最小方差估计（证明从略）。如若{ εk }是有色噪声，则θLs不具有上述性质，即为有偏估计。
四、最小二乘估计θLs的几何意义和计算问题
1. 最小二乘估计的几何意义
最小二乘估计的模型输出值为y k= ?k T θLs k = 1,2,…N
输出实际测量值与模型输出值之差叫残差：εk = y k –y k
模型输出向量为y = ΦθLs ，而残差向量为：
ε= y –y= y–ΦθLs
ΦT ε= ΦT y –ΦTΦ（ΦTΦ）-1 ΦT y=ΦT y –ΦT y= 0
即残差向量ε与由测量数据矩阵Φ的各个向量：Φ1, Φ2 ,…, Φ
张成的超平面（估计空间）正交，而最小二乘模型输出向量y 为N
实际输出向量y 在估计空间上的正交投影，这就是最小二乘估计的几何意义。
最小二乘估计的几何意义
2. 关于最小二乘估计计算中的病态问题
估计参数向量θLs一般是求解正则方程：
（ΦTΦ）θ = ΦT y 式（2 -1- 6）
得出。可以利用消元法等一系列求解多元线性一次方程组的方法，计
算得出，其有解的条件是（ΦTΦ）=P –1 矩阵非奇异（行列式数值大于零）。但有时在求解式（2 -1- 6）方程组是会出现矩阵接近于奇异（行列式数值接近于零），即所谓“病态”的情况。由此导致参数估
计的结果不稳定，不可信。出现上述情况的原因可能是由于①被辨识的过程受到的外加激励不够；②采样间隔太密；③A/D转换的位数太短，计算舍入误差累计所致。
为解决最小二乘计算中可能出现的病态问题，提出了不少改进算法，例如：Householder变换法、改进的平方根法和U—D分解算法。后者是Bierman 1977提出的改善P阵计算性质（对称性、正定性和稳定性）而又不增加计算量的算法。正定P阵可以分解成一个上三角阵U（其对角线元素都为1）和一个对角阵D
P = U D U T
由此可解决最小二乘计算中可能出现的病态问题，具体可参阅关于《计算方法》的文献。总之，我们在使用最小二乘的辨识方法时，应该注意避免出现和克服病态问题。
应用举例
在建立生产过程的静态模型时，特别是在机理不清之时常用多元线性回归方法，例如：水泥凝固放热量与水泥成分的关系模型y = a0+ a1x1+ a2x2+ a3x3+ a4x 4 +
y 水泥凝固时的放热量（卡/克）; x1 ~ x1 水泥的几种成分。
五、非线性最小二乘法（Nonlinear Least Square）
以“误差平方总和为最小”的估计准则，估计非线性模型参数的方法。假设非线性静态系统模型为
y = f ( x, θ )+ ε
非线性模型 f 的形式是已知的，参数 θ 未知。经过N 次实验，取得N 组数据（x 1, y 1） （x N , y N ）。准则：
需要用优化算法求解，常
用的算法有两类——搜索法和迭代法。前者如单纯型法；后者如梯度法、高斯法、牛顿—拉夫森法、变尺度法等等。该类方法也还可应用于动态模型和时间连续模型的参数估计。
单纯型法是先给出参数空间的几个猜想点，构成正多面体，计算各点的目标函数值，比较各值后舍去最差的点，按照反射、开拓、收缩等步骤确定新的估计点，直到预定的精度要求后停止搜索。
迭代法是先猜想一个估计的初值，确定一个向量为可接受的方向和步长，进行迭代计算 θk+1 –θ k =μ?v … 。具体内容可阅有关计算方法的参考书籍。
近年来发展出一系列基于生物进化论的优化新算法，如遗传算法（Genetic Algorithms ）(基于改进遗传算法的系统辨识方法. 北方工业大学学报. 第10卷, 第1期,P62-67.)和免疫算法(Immune Algorithms)，使得优化算法的性能得到了很大的改善。
∑=-=N
k k k x f y J 1
2
)]
([θ，
§2—2 动态过程参数估计的线性最小二乘法
一、模型类：考虑CAR 模型
式（2 -2- 1）
其中{ y(k) }和{ u(k) }为可测的输出和输入，{ ε(k) }为不可测的随机干扰。上式还可表示成：
A(z -1)y(k)= B(z -1)u(k)+ ε(k) 式（2 -2- 2） 其中：A(z -1) = 1+ a 1z - 1+ a 2z - 2+ 。。。。 +a n z - n
B(z -1) = b 1z - 1+ b 2z - 2+ +b n z - n
还可表示为
式（2 -2- 3）
其中：
当进行了 k = 1-n ,2-n ,..,0,1,2,…,N 共计（N+n ）次采样，得到N 个方程：
)
()(k k y T
k
εθ?+=)](),...,1(),(),...,1([]
,...,,,,....,,[2121n k u k u n k y k y b b b a a a T k
n n T k ------==?θ∑∑==+-=-+n i n
i i i k i k u b i k y a k y 1
1
)
()()()(ε
y(1)= -a 1y(0) -… -a n y(1-n)+b 1u(0)+ … +b n u(1-n)+ ε(1) y(2)= -a 1y(1) -… -a n y(2-n)+b 1u(1)+ … +b n u(2-n)+ ε(2) ………………………………………………
y(N)=-a 1y(N-1)-…-a n y(N -n)+b 1u(N-1)+…+b n u(N-n)+ε(N)
用矩阵表示成
y N = ΦN θ + ε N 式（2 -2- 4）
其中：
y N = [ y(1), y(2), … , y(N) ]T
ε N = [ ε (1), ε (2), … , ε (N) ] T 二、 参数最小二乘估计 θ Ls 的导出
估计准则为
式（2 -2- 5）
由
解出：
?????
???
?
??
?--------------=)
(...)1(...
......)2(...)1()1(...)0(,)(..)1(..
....,
)
2(..)1(,)1(..)0(n N u N u n u u n u u n N y N y n y y n y y N φ0=??θ
J
∑=-=N
k T k
k y J 1
2
])
([θ?
θ N =（Φ N T Φ N ）-1 Φ N T y N 式（2 -2- 6） 上式可视为以下正则方程的解
（Φ N T Φ N ）θ N = Φ N T y N 式（2 -2- 7） 称为最小二乘的“一次完成算法”，是离线算法，有解的条件是（Φ N
T
Φ N ）2n *2n 满秩。用消元法或平方根法解线性方程组，得出θ N 。
三、 用配方法导出 θ Ls （略）
= ( y N -ΦN θ )T ( y N -ΦN θ )+ y N T ΦN （ΦN T ΦN ）-1 ΦN T y N - y N T ΦN （ΦN T ΦN ）-1 ΦN T y N =
{ θ-（ΦN T ΦN ）-1 ΦN T y N }T ΦN T ΦN { θ-（ΦN T ΦN ）-1 ΦN T y N } + y N T y N - y N T ΦN （ΦN T ΦN ）-1 ΦN T y N
上式的后两项中均不含θ ，能使得J = nim 的条件是： θ =（Φ N T Φ N ）-1 Φ N T y N 即前 式（2 -2- 6） 用两种方法推证出相同结论。
∑=-=N
k T k
k y J 1
2
])
([θ???
???
????
?--?--=θ?θ?θ?θ?T N T T
N T N y y N y y J )(.....)1(])(,...,)1([1
1
四、线性动态参数最小二乘估计θLs 的性质
在静态模型: y k = ?k T θ + εk式(2 -1- 2)
中的?k = [ 1, x1, , x N ] T 为确定性量，取值与y k 统计性质无关；
在动态模型: y(k)= ?k T θ + ε(k) 式(2 -2- 3)
的最小二乘估计θLs 虽然形式上与静态的相同，但是式的?k 中包含y(k-1)、y(k-2)、…，导致有关估计的统计性质的证明要困难得多，不能简单地套用静态模型多元回归的结果。动态参数最小二乘估计θLs 的估计性质的主要结果是：
当N→∞时: EθN = 0 ( 渐进无偏估计)
a.s.
θN→θ( 强一致性收敛)
如若{ ε(k) } 为有色噪声，θLs是有偏估计。
五、数字仿真
y(k)-1.5y(k-1)+0.7y(k-2)=u(k-1)+0.5u(k-2)+ ε(k)
一般取N = 100 ~ 200。仿真结果如下表：
练习：P60例3.3，P62例3.4
§2 - 3 递推最小二乘方法 ( RLS 法 )
一、递推算法的导出
对式（2 -2- 1）的CAR 过程{y(k)}和{u(k)}进行了k=1-n 、… 、N, 共(n+N) 次观测，组成了y N 和ΦN ，可得出参数估计 θ N ，现在再进行一次新的采样，又得出ΦN+1 和新的估计 θ N+1 。如何由估计向量 θ N 经过递推直接得到由新的估计向量 θ N+1 ，而不必反复做一次完成 LS 法的计算？先分析y N+1 与 y N 以及由估计向量 θ N+1与 θ N 的关系，用分块矩阵：
式（2-3-1）
式（2-3-2）
??????????+--=????????
?
?????????+=+)1()1()(....)2()1(1
N y y N y N y y y y N
N ?????
????
???+-+-------------=+)1(...)()1(...)()(...)1()(...
)1(.
.....)1(...)()1(...)0(1
n N u N u n N y N y n N u N u n N y N y n u o u n y y N φ??
???
?
????-
-=??????
?
?
????????=++T N N T N T N T 111....?φ???
由式（2 -2- 6）有由估计向量
θ N+1=（Φ N+1 T Φ N+1）-1 Φ N+1 T y N+1=P N+1Φ N+1 T y N+1 其中
= (Φ N T Φ N + ? N+1? N+1 T )-1=( P N -1+ ? N+1? N+1 T )-1
根据以下矩阵求逆公式：若A 是n ?n 满秩矩阵，B 和C 是n ?m 阵，且 (A+BC T )n ?n 和 ( I +C T A -1B)m ?m 都满秩（I 为m 维单位阵），则有以下矩阵恒等式成立：
(A+BC T ) –1 = A –1 - A –1B ( I +C T A -1B) –1 C T A -1 （矩阵论公式） 现令：
P –1 = A 和 ? N+1 = B = C m=1 ,考虑到前面得到的 P N+1 = ( P N + ? N+1? N+1 T ）-1 得出
式（2-3-3）
其中 ：
即相当于矩阵
恒等式中的 ( I + C T A -1B) –1
将式（2-3-3）、式（2-3-2）和式（2-3-1）代入由估计向量
1
11111++++++-
=N N T N N T N N N N N P P P P P ????(
)
11
11
1111
-+++++=
+N N T
N N N T N P P ????()
[
]
1
111
111.-++-+++?
???
?
?????
??????????==T N N N T N N T
N N P ?φ?φφφ
θ N+1= P N+1Φ N+1 T y N+1 并令：
式（2-3-4）
将上式打开:
θ N+1 = P N Φ N T y N + P N ?N+1 y(N+1) –
- K N+1 ?N+1T P N Φ N T y N – K N+1 ?N+1T P N ?N+1 y(N+1)
θ N+1= θ N +( P N ?N+1- K N+1 ?N+1T P N ?N+1) y(N+1) – K N+1?N+1T θ N 可以证明： ( P N ?N+1- K N+1 ?N+1T P N ?N+1) = K N+1 式（2-3-4） ∴ θ N+1 = θ N + K N+1(y(N+1) – ?N+1T θ N ) 式（2-3-5）
1
1111+++++=
N N T N N N N P P K ???[
]
???
?
?
????????
?????+-=
+++++++1111111..1N N N T
N
N N T
N N
T N N N N N y y P P P P ?φ????θ1
1
11111
1111
11111111111++++++++++++++++++++=+-+=
+-=-N N N T N N N T N N N N N T N N N N N N N T N N N T N N N N N N N T N N N n K P P P P P P P P P P P K P ??????????????????()()
)
1(.111++-
=+++N y y P K P
N N T N
N
T
N N N
?φ
?
二、递推算式的物理含义
θ N+1 = θ N + K N+1(y(N+1) – ?N+1T θ N ) 式（2-3-5）
式（2-3-4）
式（2-3-3）
?N+1T = [-y(N)，? -y(N -n+1) , u(N) ，? , u(N -n+1) ] 式（2-3-6） （巧妙地设计出Ф使CAR 能用LS 法） 模型：y(N+1) = ?N+1T θ + ε(N+1) N 时刻对N+1时刻的预报
y(N+1∣N) = ?N+1T θN 式（2-3-7） （估计值θ N 代入?N+1T θ）
预报误差(被称为 新息 )，用绿色表示
ε(N+1)= y(N+1) - y(N+1∣N) = y(N+1) - ?N+1T θN
式（2-3-8） 则式（2-3-5）可表达成
θ N+1 = θ N + K N+1ε(N+1) 式（2-3-5） 物理意义：新的参数估计θ N+1是对上次老的估计 θ N 进行修正而得出的，修正是利用在θ N 对新的输出y(N+1)预报的预报误差乘以一个修正系数向量。K N+1是修正系数向量，它需要递推计算得出，在递推计算K N+1时要用到估计误差的协方差阵P N ，而后者也是递推得出的。
1
1111+++++=
N N T N N N N P P K ???1
11111++++++-
=N N T N N T N N N N N P P P P P ????
三、初值选择和计算框图
递推计算需要初值θ0和P0 。初值的选择有两种方法：其一是，
可以用初始的3n组数据用一次完成算法解出：P0 =（φTφ）-1 和θ0=P0
φT y , 但是实际上并不用上述办法，而是用以下更为简便的方法。其
二是令：θ0= 0 和P0 = α I 2n?2n ,其中α = 103 ~ 106（即假设为足够
大的正数）。可以证明：在递推2n步后，估计结果与前面介绍的精确
初值相接近。递推计算框图如下图所示。
四、LS法和RLS法的讨论
（1）LS 和RLS 法数学等价
a) 均由使准则J = ∑ [ y(k) -?k T θ ]2 = min 得出
b) 不要求对{ ε（k）} 的统计特性有任何验前知识。
c) 如果{ ε（k）}为零均值白噪声，则可得渐进无偏估计，即当n→∞
时，Eθ= 0 , 且θ→θ。
d) 若{ ε（k）}为有色噪声，θ是有偏估计，但是因该算法简单，所
以应用广泛。
e) 均可推广到多输入/多输出系统。
（2） LS法和RLS法的比较
a)LS法是一次完成算法,适于离线辩识,要记忆全部测量数据,算法复杂；
b)RLS法是递推算法，适于在线辩识和时变过程，只需要记忆n+1步数据，
程序简单；
c) RLS 法用粗糙初值时，如若 N 较小时，估计精度不如 LS 法。
开始置初值
是
输出模型
§2 – 4 时变过程的参数估计（时变递推最小二乘法）参数的递推最小二乘估计(RLS)与一次完成的最小二乘估计(LS)是数学等价的，它们都仅适用于估计时间定常过程的参数，而不适用于估计时变过程的参数。时变过程的特点是过程的参数可能随着时间变化而改变。因此，它的数学模型参数具有“时间性”，在利用动态过程的输入—输出数据来辨识模型参数时，“老”的数据往往只能反映“老”的过程参数；而改变后的“新”参数，要靠用新的和比较新的实验数据来估计。因此时变过程参数估计的特点是，不同时段的实验数据的作用是有区别的。时变过程的参数估计有多种不同的算法，本节讲授最常用的“带遗忘因子的递推最小二乘估计算法”，以下简称为“遗忘因子法”。
一、遗忘因子算法的思路
算法的主要思路是“厚今薄古”，即对新--老数据给予不同的对待，逐渐遗忘老数据的影响。具体做法是每采得一个新的 y(N+1) 时，将以前的所有数据乘以小于1 的加权因子 ρ（0 < ρ < 1）,
乘以加权因子 ρ 后的估计准则为 ：
即对不同时刻的残差予以不同加权的平方和，老数据的作用按照指数衰减，被遗忘。
二、遗忘因子递推最小二乘算法的递推算式
利用矩阵求逆公式得出 ：
??
?????
?????????=???
???????=????????????????+=??????????+=++++T N T N T N T
N N N N N N N y N y y N y y y 11
111..;)1()(..)1()1(??ρ?ρ?ρφφρρρ ∑=--=N
k T k
k N k y J 12
))((θ?ρ(
)
11
11
2
11
11)(-++--++++==T
N N N
N T N N P P ??ρ
φφ
令：α = ρ2 ，遗忘因子（ 0 < α < 1 ）; α 取值范围 （0.95~0.995）, α 值愈小，“遗忘”愈快。
带遗忘因子的 RLS 法由以下几个递推算式组成： θ N+1 = θ N + K N+1(y(N+1) – ?N+1T θ N ) 式（2-3-5）
式（2-4-1）
式（2-4-2）
三、遗忘因子α的作用
对于遗忘因子α 的不同值，得到了不同的遗忘效果：α值较小时θ的估计跟踪参数时变的能力强（优点），但是噪声干扰影响造成的估计波动亦大（缺点），可通过以下的计算机仿真说明 α 值的影响。 模拟如下 2 阶过程：
y(k)+a 1y(k-1)+ a 2y(k-2)=b 1u(k-1)+ b 2u(k-2)+ε(k)
1
11
1+++++=
N N T
N N N N P P K ??α
?21
121111
ρ??ρ?????
? ?
?
+-
=+++++N N T N N T N N N N N P P P P P α??α??1
11111
???? ?
?+-=+++++N N T N N T
N N N N N P P P P P
2 极大似然参数辨识方法 极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。 2.1 极大似然原理 设有离散随机过程}{k V 与未知参数θ有关，假定已知概率分布密度)(θk V f 。如果我们得到n 个独立的观测值,21,V V …n V ,，则可得分布密度)(1θV f ，)(2θV f ，…,)(θn V f 。要求根据这些观测值来估计未知参数θ，估计的准则是观测值{}{k V }的出现概率为最大。为此，定义一个似然函数 ) ()()(),,,(2121θθθθn n V f V f V f V V V L = （2.1.1） 上式的右边是n 个概率密度函数的连乘，似然函数L 是θ的函数。如果L 达到极大值，}{k V 的出现概率为最大。因此，极大似然法的实质就是求出使L 达到极大值的θ的估值∧ θ。为了便于求∧ θ，对式（2.1.1）等号两边取对数，则把连乘变成连加，即 ∑== n i i V f L 1)(ln ln θ （2.1.2） 由于对数函数是单调递增函数，当L 取极大值时，lnL 也同时取极大值。求式（2.1.2）对θ的偏导数，令偏导数为0，可得 0ln =??θL （2.1.3） 解上式可得θ的极大似然估计ML ∧ θ。 2.2 系统参数的极大似然估计 设系统的差分方程为 )()()()()(1 1 k k u z b k y z a ξ+=-- （2.2.1） 式中 111()1...n n a z a z a z ---=+++ 1101()...n n b z b b z b z ---=+++ 因为)(k ξ是相关随机向量，故（2.2.1）可写成 )()()()()()(1 11k z c k u z b k y z a ε---+= （2.2.2） 式中 )()()(1 k k z c ξε=- （2.2.3） n n z c z c z c ---+++= 1 11 1)( （2.2.4） )(k ε是均值为0的高斯分布白噪声序列。多项式)(1-z a ，)(1-z b 和)(1-z c 中的系数n n c c b b a a ,,,,,10,1和序列)}({k ε的均方差σ都是未知参数。 设待估参数
实验6 数据拟合及参数辨识方法 一、实验目的及意义 [1] 了解最小二乘拟合的基本原理和方法； [2] 掌握用MATLAB作最小二乘多项式拟合和曲线拟合的方法； [3] 通过实例学习如何用拟合方法解决实际问题，注意与插值方法的区别。 [4] 了解各种参数辨识的原理和方法； [5] 通过范例展现由机理分析确定模型结构，拟合方法辨识参数，误差分析等求解实 际问题的过程； 通过该实验的学习，掌握几种基本的参数辨识方法，了解拟合的几种典型应用，观察不同方法得出的模型的准确程度，学习参数的误差分析，进一步了解数学建模过程。这对于学生深入理解数学概念，掌握数学的思维方法，熟悉处理大量的工程计算问题的方法具有十分重要的意义。 二、实验内容 1．用MATLAB中的函数作一元函数的多项式拟合与曲线拟合，作出误差图； 2．用MATLAB中的函数作二元函数的最小二乘拟合，作出误差图； 3．针对预测和确定参数的实际问题，建立数学模型，并求解。 三、实验步骤 1．开启软件平台——MATLAB，开启MATLAB编辑窗口； 2．根据各种数值解法步骤编写M文件 3．保存文件并运行； 4．观察运行结果(数值或图形)； 5．根据观察到的结果写出实验报告，并浅谈学习心得体会。 四、实验要求与任务 根据实验内容和步骤，完成以下具体实验，要求写出实验报告（实验目的→问题→数学模型→算法与编程→计算结果→分析、检验和结论→心得体会） 应用实验 1．旧车价格预测 某年美国旧车价格的调查资料如下表，其中x i表示轿车的使用年数，y i表示相应的平均价格。试分析用什么形式的曲线来拟合上述的数据，并预测使用4.5年后轿车的平均价
最小二乘参数估计 摘要： 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。这种算法在使用时，占用内存大，离线辨识，观测被辨识对象获得的新数据往往是逐次补充到观测数据集合中去的。在应用一次完成算法时，如果要求在每次新增观测数据后，接着就估计出系统模型的参数，则需要每次新增数据后要重新求解矩阵方程()Z l T l l T l ΦΦΦ-∧=1θ。 最小二乘辩识方法在系统辩识领域中先应用上已相当普及，方法上相当完善，可以有效的用于系统的状态估计，参数估计以及自适应控制及其他方面。 关键词： 最小二乘（Least-squares ），系统辨识（System Identification ） 目录： 1.目的 (1) 2.设备 (1) 3引言 (1) 3.1 课题背景 (1) 4数学模型的结构辨识 (2) 5 程序 (3) 5.1 M 序列子函数 ................................................................................. 错误！未定义书签。 5.2主程序............................................................................................... 错误！未定义书签。 6实验结果： ................................................................................................................................... 3 7参考文献： ................................................................................................. 错误！未定义书签。 1.目的 1.1掌握系统辨识的理论、方法及应用 1.2熟练Matlab 下最小二乘法编程 1.3掌握M 序列产生方法 2.设备 PC 机1台（含Matlab 软件） 3引言 3.1 课题背景 最小二乘理论是有高斯（K.F.Gauss ）在1795年提出：“未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。”这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最
偏最小二乘法 ( PLS)是光谱多元定量校正最常用的一种方法 , 已被广泛应用 于近红外 、 红外 、拉曼 、核磁和质谱等波谱定量模型的建立 , 几乎成为光谱分析中建立线性定量校正模型的通用方法 〔1, 2〕 。近年来 , 随着 PLS 方法在光谱分析尤其是分子光谱如近红外 、 红外和拉曼中应用 的深入开展 , PLS 方法还被用来解决模式识别 、定量校正模型适用性判断以及异常样本检测等定性分析问题 。 由于 PLS 方法同时从光谱阵和浓度阵中提取载荷和得分 , 克服主成分分析 ( PCA)方法没有利用浓度阵的缺点 , 可有效降维 , 并消除光谱间可能存在的复共线关系 , 因此取得令人非常满意的定性分析结果 〔3 ～ 5〕 。 本文主要介绍PLS 方法在光谱定性分析方面的原理及应用 实例 。 偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。如美国Tripos 公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS 。在PLS 方法中用的是替潜变量，其数学基础是主成分分析。替潜变量的个数一般少于原自变量的个数，所以PLS 特别适用于自变量的个数多于试样个数的情况。在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。 §§ 6.3.1 基本原理 6.3 偏最小二乘（PLS ） 为了叙述上的方便，我们首先引进“因子”的概念。一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。 在主成分回归中，第一步，在矩阵X 的本征矢量或因子数测试中，所处理的仅为X 矩阵，而对于矩阵Y 中信息并未考虑。事实上，Y 中亦可能包含非有用的信息。所以很自然的一种想法是，在矩阵X 因子的测试中应同时考虑矩阵Y 的作用。偏最小二乘正是基于这种思想的一种回归方法。 偏最小二乘和主成分分析很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，在数学上是以矩阵Y 的列去计算矩阵X 的因子，与此同时，矩阵Y 的因子则由矩阵X 的列去预测。其数学模型为： E P T X +'=F Q U Y +'=
用matlab实现最小二乘递推算法辨识系统参 数 自动化系统仿真实验室指导教师： 学生姓名班级计082-2 班学号撰写时间： 全文结束》》-3-1 成绩评定： 一．设计目的 1、学会用Matlab实现最小二乘法辨识系统参数。 2、进一步熟悉Matlab的界面及基本操作； 3、了解并掌握Matlab中一些函数的作用与使用；二．设计要求最小二乘递推算法辨识系统参数，利用matlab编程实现，设初始参数为零。z(k)-1、5*z(k-1)+0、7*z(k-2)=1*u(k-1)+0、5*u(k-2)+v(k); 选择如下形式的辨识模型：z(k)+a1*z(k- 1)+a2*z(k-2)=b1*u(k-1)+b2*u(k-2)+v(k);三．实验程序 m=3;N=100;uk=rand(1,N);for i=1:Nuk(i)=uk(i)*(-1)^(i-1);endyk=zeros(1,N); for k=3:N yk(k)=1、5*yk(k-1)-0、 7*yk(k-2)+uk(k-1)+0、5*uk(k-2); end%j=100;kn=0;%y=yk(m:j);%psi=[yk(m-1:j-1);yk(m-2:j-2);uk(m-1:j-1);uk(m-2:j- 2)];%pn=inv(psi*psi);%theta=(inv(psi*psi)*psi*y);theta=[0 ;0;0;0];pn=10^6*eye(4);for t=3:Nps=([yk(t-1);yk(t-
2);uk(t-1);uk(t-2)]);pn=pn- pn*ps*ps*pn*(inv(1+ps*pn*ps));theta=theta+pn*ps*(yk(t)-ps*theta);thet=theta;a1=thet(1);a2=thet(2);b1=thet(3);b2= thet(4); a1t(t)=a1;a2t(t)=a2;b1t(t)=b1;b2t(t)=b2;endt=1:N;plot(t,a 1t(t),t,a2t(t),t,b1t(t),t,b2t(t));text(20,1、 47,a1);text(20,-0、67,a2);text(20,0、97,b1);text(20,0、47,b2);四．设计实验结果及分析实验结果图：仿真结果表明，大约递推到第步时，参数辨识的结果基本到稳态状态，即a1=1、5999，b1=1，c1=0、5，d1=-0、7。五、设计感受这周的课程设计告一段落了，时间短暂，意义重大。通过这次次练习的机会，重新把matlab课本看了一遍，另外学习了系统辨识的有关内容，收获颇丰。对matlab的使用更加纯熟，也锻炼了自己在课本中搜索信息和知识的能力。在设计过程中虽然遇到了一些问题，但经过一次又一次的思考，一遍又一遍的检查终于找出了原因所在，也暴露出了前期我在这方面的知识欠缺和经验不足。同时我也进一步认识了matlab软件强大的功能。在以后的学习和工作中必定有很大的用处。
第二章 系统的数学模型 2．3图中三图分别表示三个机械系统。求出他们各自的微分方程，图中xi 表示输入位移，xo 表示输出位移，假设输出端无负载效应。 解：（1）、对图（a ）所示系统，有牛顿定律有 c 1(x i-x 0)-c 2x 0=m x 0 即 m x 0+(c 1-c 2) x 0= c 1x i （2）、对图（b ）所示系统，引入一中间变量x ，并有牛顿定律有 (x i -x)k 1=c(x -x 0) c(x -x 0)=k 2x 0 消除中间变量有 c(k 1+k 2)x 0+k 1k 2x 0=ck 1x i （3）、对图（c ）所示系统，有牛顿定律有 c(x i-x 0)+ k 1 (x i -x)= k 2x 0 即 c x 0+(k 1+k 2)x 0=c x i+ k 1x i 2.4 求出图（2.4）所示电网络图的微分方程。
解：（1）对图（a ）所示系统，设i x 为流过1R 的电流，i 为总电流，则有 ?+ =i d t C i R u o 2 21 11i R u u o i =- dt i i C u u o i ?-= -)(11 1 消除中间变量，并化简有 i i i o o o u R C u C C R R u R C u R C u C C R R u R C 1 22 11 221122 112211 )(1)1(++ +=++ ++ （2）对图（b ）所示系统，设i 为电流，则有 dt i C i R u u o i ?+ +=1 11 i R dt i C u o 2 2 1+= ? 消除中间变量，并化简有 i i o o u C u R u C C u R R 2 22 1 211)11()(+=+ ++ 2.5 求图2.5所示机械系统的微分方程。图中M 为输入转矩，C m 为圆周阻尼，J 为转动惯量。 解：设系统输入为M （即M （t ）），输出为θ（即θ（t ）），分别对圆盘和质块进行动力学分析，列写动力学方程如下：
偏最小二乘法 1.1 基本原理 偏最小二乘法（PLS ）是基于因子分析的多变量校正方法，其数学基础为主成分分析。但它相对于主成分回归（PCR ）更进了一步，两者的区别在于PLS 法将浓度矩阵Y 和相应的量测响应矩阵X 同时进行主成分分解： X=TP+E Y=UQ+F 式中T 和U 分别为X 和Y 的得分矩阵，而P 和Q 分别为X 和Y 的载荷矩阵，E 和F 分别为运用偏最小二乘法去拟合矩阵X 和Y 时所引进的误差。 偏最小二乘法和主成分回归很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，数学中是以矩阵Y 的列去计算矩阵X 的因子。同时，矩阵Y 的因子则由矩阵X 的列去预测。分解得到的T 和U 矩阵分别是除去了大部分测量误差的响应和浓度的信息。偏最小二乘法就是利用各列向量相互正交的特征响应矩阵T 和特征浓度矩阵U 进行回归： U=TB 得到回归系数矩阵，又称关联矩阵B ： B=(T T T -1)T T U 因此，偏最小二乘法的校正步骤包括对矩阵Y 和矩阵X 的主成分分解以及对关联矩阵B 的计算。 1.2主成分分析 主成分分析的中心目的是将数据降维，以排除众多化学信息共存中相互重叠的信息。他是将原变量进行转换，即把原变量的线性组合成几个新变量。同时这些新变量要尽可能多的表征原变量的数据结构特征而不丢失信息。新变量是一组正交的，即互不相关的变量。这种新变量又称为主成分。 如何寻找主成分，在数学上讲，求数据矩阵的主成分就是求解该矩阵的特征值和特征矢量问题。下面以多组分混合物的量测光谱来加以说明。假设有n 个样本包含p 个组分，在m 个波长下测定其光谱数据，根据比尔定律和加和定理有： A n×m =C n×p B p×m 如果混合物只有一种组分，则该光谱矢量与纯光谱矢量应该是方向一致，而大小不同。换句话说，光谱A 表示在由p 个波长构成的p 维变量空间的一组点（n 个），而这一组点一定在一条通过坐标原点的直线上。这条直线其实就是纯光谱b 。因此由m 个波长描述的原始数据可以用一条直线，即一个新坐标或新变量来表示。如果一个混合物由2个组分组成，各组分的纯光谱用b1，b2表示，则有： 1122 T T T i i i a c b c b =+ 有上式看出，不管混合物如何变化，其光谱总可以用两个新坐标轴b1,b2来表示。因此可以 推出，如果混合物由p 个组分组成，那么混合物的光谱就可由p 个主成分轴的线性组合表示。
基于最小二乘法的系统参数辨识 吴令红，熊晓燕，张涛 太原理工大学机械电子研究所，太原 (030024) E-mail lhwu0818@https://www.doczj.com/doc/1e7156868.html, 摘要：系统辨识是自动控制学科的一个重要分支，由于其特殊作用，已经广泛应用于各种领域，尤其是复杂系统或参数不容易确定的系统的建模。过去，系统辨识主要用于线性系统的建模，经过多年的研究，已经形成成熟的理论。但随着社会、科学的发展，非线性系统越来越受到人们的关注，其控制与模型之间的矛盾越来越明显，因而非线性系统的辨识问题也越来越受到重视，其辨识理论不断发展和完善本。文重点介绍了系统参数辨识中最小二乘法的基本原理，并通过悬臂梁模型的辨识实例，具体说明了基于最小二乘法参数辨识在Matlab 中的实现方法。结果表明基于最小二乘法具有算法简单、精度较高等优点。 关键词：系统辨识；参数辨识；滑动平均模型(ARX)；最小二乘法；Matlab 中图分类号：TH-9 1. 引言 所谓辨识就是通过测取研究对象在人为输入作用下的输出响应，或正常运行时的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。这是因为对象的动态特性被认为必然表现在它的变化着的输入输出数据之中，辨识只不过是利用数学的方法从数据序列中提炼出对象的数学模型而已[1]。 最小二乘法是系统参数辨识中最基本最常用的方法。最小二乘法因其算法简单、理论成熟和通用性强而广泛应用于系统参数辨识中。本文基于悬臂梁的实测数据，介绍了最小二乘法的参数辨识在Matlab中的实现。 2. 系统辨识 一般而言，建立系统的数学模型有两种方法：激励分析法和系统辨识法。前者是按照系统所遵循的物化（或社会、经济等）规律分析推导出模型。后者则是从实际系统运行和实验数据处理获得模型。如图1所示，系统辨识就是从系统的输入输出数据测算系统数学模型的理论和方法。更进一步的定义是L.A.Zadeh曾经与1962年给出的，即“系统辨识是在输入和输出的基础上，从系统的一类系统范围内，确立一个与所实验系统等价的系统”。另外，系统辨识还应该具有3个基本要素，即模型类、数据和准则[5]。被辨识系统模型根据模型形式可分为参数模型和非参数模型两大类。所谓参数模型是指微分方程、差分方程、状态方程等形式的数学模型；而非参数模型是指频率响应、脉冲响应、传递函数等隐含参数的数学模型。在辨识工程中，模型的确定主要根据经验对实际对象的特性进行一定程度上的假设，如对象的模型是线性的还是非线性的、是参数模型还是非参数模型等。在模型确定之后，就可以根据对象的输入输出数据，按照一定的辨识算法确定模型的参数[4]。 y 图1 被研究的动态系统
偏最小二乘法（PLS）简介 偏最小二乘法（PLS ）简介 偏最小二乘法（PLS ）简介 简介 偏最小二乘法是一种新型的多元统计数据分析方法，它于1983年由伍德（S.Wold）和阿巴诺（C.Albano）等人首次提出。近几十年来，它在理论、方法和应用方面都得到了迅速的发展。 偏最小二乘法 长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模（多元线性回归）、数据结构简化（主成分分析）以及两组变量之间的相关性分析（典型相关分析）。这是多元统计数据分析中 的一个飞跃。 偏最小二乘法在统计应用中的重要性体现在以下几个方面： 偏最小二乘法是一种多因变量对多自变量的回归建模方法。偏最小二乘法可以较好的解决许多以往用 普通多元回归无法解决的问题。 偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。 主成分回归的主要目的是要提取隐藏在矩阵X 中的相关信息，然后用于预测变量Y 的值。 这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分 进行挑选，那样又太困难了。 偏最小二乘回归可以解决这个问题。它采用对变量X 和Y 都进行分解的方法，从变量X 和Y 中同时提取成分（通常称为因子），再将因子按照它们之间的相关性从大到小排列。现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了 基本概念 偏最小二乘回归是对多元线性回归模型的一种扩展，在其最简单的形式中，只用一个线性模 型来描述独立变量Y 与预测变量组X 之间的关系: 偏最小二乘法(PLS) 简介
方法一、最小二乘一次性算法： 首先对最小二乘法的一次性辨识算法做简要介绍如下： 过程的黑箱模型如图所示： 其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。 过程的输入输出关系可以描述成以下最小二乘格式： )()()(k n k h k z T +=θ （1） 其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k) 是均值为0的随机噪声。 利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数： ∑=-=L k T k h k z J 12])()([)(θθ （2） 使J 最小的θ的估计值^ θ，成为最小二乘估计值。 具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3） 应该利用过程的输入、输出数据确定)(1-z A 和 )(1-Z B 的系数。 对于求解θ的估计值^θ，一般对模型的阶次 a n ， b n 已定，且b a n n >；其次将（3）模 型写成最小二乘格式 )()()(k n k h k z T +=θ （4） 式中 ?????=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）
L k ,,2,1 = 因此结合式（4）（5）可以得到一个线性方程组 L L L n H Z +=θ （6） 其中 ???==T L T L L n n n n L z z z z )](),2(),1([)](),2(),1([ （7） 对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。 在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出： L T L L T L z H H H 1^ )(-=θ （8） 其次，利用在Matlab 中编写M 文件，实现上述算法。 此次算法的实现，采用6阶M 序作为过程黑箱的输入；噪声采用方差为1，均值为0的随机数序列；黑箱模型假设为：y(k)-1.5y(k-1)+0.7y(k-2)=2u(k-1)+0.5u(k-2)，则系统输出为Z(k)-1.5Z(k-1)+0.7Z(k-2)=2U(k-1)+0.5U(k-2)+n （k ）；模型的阶次2,2==b a n n ；数据长度取L=200。 程序清单如下见附录：最小二乘一次性算法Matlab 程序 运行结果如下： 图1 最小二乘一次性算法参数真值与估计值 其中re 为真值，ans 为估计值^ θ 结果发现辨识出的参数与真值之间存在细微误差，这是由于系统噪声以及数据长度L 的限制引起的，最小二乘辨识法是一种无偏估计方法。 方法二、最小二乘递推算法： 最小二乘一次性算法计算量大，并且浪费存储空间，不利于在线应用，由此引出最小
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 基于最小二乘法的系统辨识的设计与开发（整理版）课程（论文）题目： 基于最小二乘法的系统辨识摘要： 最小二乘法是一种经典的数据处理方法。 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。 在系统辨识领域中, 最小二乘法是一种得到广泛应用的估计方法, 可用于动态系统, 静态系统, 线性系统, 非线性系统。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 关键词： 最小二乘法；系统辨识；参数估计 1 引言最小二乘理论是有高斯（ K.F.Gauss）在 1795 年提出： 未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。 这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最好拟合的数学模型。 递推最小二乘法是在最小二乘法得到的观测数据的基础上，用新引入的数据对上一次估计的结果进行修正递推出下一个参数估计值，直到估计值达到满意的精确度为止。 1 / 10
对工程实践中测得的数据进行理论分析，用恰当的函数去模拟数据原型是一类十分重要的问题，最常用的逼近原则是让实测数据和估计数据之间的距离平方和最小，这即是最小二乘法。 最小二乘法是一种经典的数据处理方法。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 2 最小二乘法的系统辨识设单输入单输出线性定常系统的差分方程为： 1),()()() 1()(01knkubkubnkxakxakxnn （ 1）上式中： )(ku为输入信号；)(kx为理论上的输出值。 )(kx只有通过观测才能得到，在观测过程中往往附加有随机干扰。 )(kx的观测值)(ky可表示为 （ 2）将式（ 2）代入式（ 1）得 1()()() 1()(101kubkubnkyakyakyn (3) 我们可能不知道)(kn的统计特性，在这种情况下，往往把)(kn看做均值为 0 的白噪声。 设 （ 4）则式（ 3）可以写成 (5) 在测量)(ku时也有测量误差，系统内部也可能有噪声，应当
系统辨识最小二乘法大作业 系统辨识大作业最小二乘法及其相关估值方法应用 学院:自动化学院 专业:信息工程 学号:2007302171 姓名:马志强 日期:2010.11.14 基于最小二乘法的多种系统辨识方法研究 1. 最小二乘法的引出 在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。 设单输入-单输出线性定长系统的差分方程为 (5.1.1) 式中:为随机干扰;为理论上的输出值。只有通过观测才能得到，在观测过程中往往附加有随机干扰。的观测值可表示为
(5.1.2) 式中:为随机干扰。由式(5.1.2)得 (5.1.3) 将式(5.1.3)带入式(5.1.1)得 (5.1.4) 我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。 设 (5.1.5) 则式(5.1.4)可写成 (5.1.6) 在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。假定是不相关随机序列(实际上是相关随机序列)。 现分别测出个随机输入值，则可写成个方程，即 上述个方程可写成向量-矩阵形式 (5.1.7) 设 则式(5.1.7)可写为 (5.1.8) 式中:为维输出向量;为维噪声向量;为维参数向量;为测量矩阵。因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出 (5.1.9) 如果噪声，则
(5.1.10) 从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。可用最小二乘法来求的估值，以下讨论最小二乘法估计。 2. 最小二乘法估计算法 设表示的最优估值，表示的最优估值，则有 (5.1.11) 写出式(5.1.11)的某一行，则有 (5.1.12) 设表示与之差，即 - (5.1.13) 式中 成为残差。把分别代入式(5.1.13)可得残差。设 则有 (5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数 (5.1.15) 为最小来确定估值。求对的偏导数并令其等于0可得 (5.1.16) (5.1.17) 由式(5.1.17)可得的最小二乘估计 (5.1.18) 3.递推最小二乘法 为了实现实时控制，必须采用递推算法，这种辨识方法主要用于在线辨识。 设已获得的观测数据长度为，将式(5.1.8)中的和分别用来代替， 即 (5.3.1) 用的最小二乘估计，则 (5.3.2)
第3章 线性动态模型参数辨识－最小二乘法 3.1 辨识方法分类 根据不同的辨识原理，参数模型辨识方法可归纳成三类： ① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数： min )()? (?== ∑=θ θL k k J 1 2ε 其中)(k ε代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度)|(θz p 最大限度地逼近条件0θ下的概率密度)|(0θz p ，即 )|()?|(0m a x θθz p z p ??→?。典型的方法是极大似然法。 3.2 最小二乘法的基本概念 ● 两种算法形式 ① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。 ② 递推算法：在上次模型参数估计值)(? 1-k θ的基础上，根据当前 获得的数据提出修正，进而获得本次模型参数估计值)(? k θ，广泛采用的递推算法形式为 () ()()()~()θθk k k k d z k =-+-1K h 其中)(? k θ表示k 时刻的模型参数估计值，K (k )为算法的增益，h (k -d ) 是由 观测数据组成的输入数据向量，d 为整数，)(~k z 表示新息。 ● 最小二乘原理
定义：设一个随机序列)},,,(),({L k k z 21∈的均值是参数θ 的线性函数 E{()}()T z k k θ=h 其中h (k )是可测的数据向量，那么利用随机序列的一个实现，使准则函数 21 ()[()()]L T k J z k k θθ==-∑h 达到极小的参数估计值θ? 称作θ的最小二乘估计。 ● 最小二乘原理表明，未知参数估计问题，就是求参数估计值θ? ，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式 ()()()T z k k e k θ=+h 式中z (k )为模型输出变量，h (k )为输入数据向量，θ为模型参数向量，e (k )为零均值随机噪声。为了求此模型的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列)}({k z 和)}({k h ，极小化下列准则函数 21()[()()]L T k J z k k θθ==-∑h 即可求得模型参数的最小二乘估计值θ? 。 ● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。 3.3 最小二乘问题的描述 (1) 考虑模型 )()()()()(11k e k u z B k z z A +=-- 式中u (k )和z (k ) 分别为过程的输入和输出变量，e (k )是均值为零、方差为2 n σ的随机噪声，)(1-z A 和)(1-z B 为迟延算子多项式，写成 A z a z a z a z B z b z b z b z n n n n a a b b ()()--------=++++=+++?????11122111221 (2) 假定模型阶次n a 和n b 为已知，且有b a n n ≥，也可设n n n b a ==, 并定义
基于最小二乘法的系统参数辨识 研究生二队李英杰 082068 摘要：系统辨识是自动控制学科的一个重要分支，由于其特殊作用，已经广泛应用于各种领域，尤其是复杂系统或参数不容易确定的系统的建模。过去，系统辨识主要用于线性系统的建模，经过多年的研究，已经形成成熟的理论。但随着社会、科学的发展，非线性系统越来越受到人们的关注，其控制与模型之间的矛盾越来越明显，因而非线性系统的辨识问题也越来越受到重视，其辨识理论不断发展和完善本。文重点介绍了系统参数辨识中最小二乘法的基本原理，并通过热敏电阻阻值温度关系模型的辨识实例，具体说明了基于最小二乘法参数辨识在Matlab中的实现方法。结果表明基于最小二乘法具有算法简单、精度较高等优点。 1. 引言 所谓辨识就是通过测取研究对象在人为输入作用下的输出响应，或正常运行时的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。这是因为对象的动态特性被认为必然表现在它的变化着的输入输出数据之中，辨识只不过是利用数学的方法从数据序列中提炼出对象的数学模型而已[1]。最小二乘法是系统参数辨识中最基本最常用的方法。最小二乘法因其算法简单、理论成熟和通用性强而广泛应用于系统参数辨识中。本文基于热敏电阻阻值与温度关系数据，介绍了最小二乘法的参数辨识在Matlab中的实现。 2. 系统辨识 一般而言，建立系统的数学模型有两种方法：激励分析法和系统辨识法。前者是按照系统所遵循的物化（或社会、经济等）规律分析推导出模型。后者则是从实际系统运行和实验数据处理获得模型。如图1 所示，系统辨识就是从系统的输入输出数据测算系统数学模型的理论和方法。更进一步的定义是L.A.Zadeh 曾经与1962 年给出的，即“系统辨识是在输入和输出的基础上，从系统的一类系统范围内，确立一个与所实验系统等价的系统”。另外，系统辨识还应该具有3 个基本要素，即模型类、数据和准则[5]。被辨识系统模型根据模型形式可分为参数模型和非参数模型两大类。所谓参数模型是指微分方程、差分方程、状态方程等形式的数学模型；而非参数模型是指频率响应、脉冲响应、传递函数等隐含参数的数学模型。在辨识工程中，模型的确定主要根据经验对实际对象的特性进行一定程度上的假设，如对象的模型是线性的还是非线性的、是参数模型还是非参数模型等。在模型确定之后，就可以根据对象的输入输出数据，按照一定的辨识算法确定模型的参数[4]。 图1 被研究的动态系统 3. 最小二乘法（LS）参数估计方法 对于参数模型辨识结构，系统辨识的任务是参数估计，即利用输入输出数据估计这些参数，建立系统的数学模型。在参数估计中最常用的是最小二乘法(LS)、
最小二乘法参数辨识 201403027 摘要:系统辨识在工程中的应用非常广泛,系统辨识的方法有很多种,最小 二乘法是一种应用极其广泛的系统辨识方法.阐述了动态系统模型的建立及其最小二乘法在系统辨识中的应用,并通过实例分析说明了最小二乘法应用于系统辨识中的重要意义. 关键词:最小二乘法;系统辨识;动态系统 Abstract: System identification in engineering is widely used, system identification methods there are many ways， least squares method is a very wide range of application of system identification method and the least squares method elaborated establish a dynamic system models in System Identification applications and examples analyzed by the least squares method is applied to illustrate the importance of system identification. Keywords: Least Squares; system identification; dynamic system
引言 随着科学技术的不断发展,人们认识自然、利用自然的能力越来越强,对于未知对象的探索也越来越深入.我们所研究的对象,可以依据对其了解的程度分为三种类型:白箱、灰箱和黑箱.如果我们对于研究对象的内部结构、内部机制了解很深入的话,这样的研究对象通常称之为“白箱”;而有的研究对象,我们对于其内部结构、机制只了解一部分,对于其内部运行规律并不十分清楚,这样的研究对象通常称之为“灰箱”;如果我们对于研究对象的内部结构、内部机制及运行规律均一无所知的话,则把这样的研究对象称之为“黑箱”.研究灰箱和黑箱时,将研究的对象看作是一个系统,通过建立该系统的模型,对模型参数进行辨识来确定该系统的运行规律.对于动态系统辨识的方法有很多,但其中应用最广泛,辨识 效果良好的就是最小二乘辨识方法,研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义. 1．1 系统辨识简介 系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。现代控制理论中的一个分支。通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。而系统辨识所研究的问题恰好是这些问题的逆问题。通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。系统辨识包括两个方面：结构辨识和参数估计。在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。 1.2系统辨识的目的 在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。通过辨识建立数学模型通常有四个目的。 ①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。 ②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。用于系统分析的仿真模型要求能真实反映系统的特性。用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。 ③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。预测模型辨识的等价准则主要是使预测误差平方和最小。只要预测误差小就是好的预测
最小二乘法： %递推公式，更新 p0=p2; for n=2:N-1%%递推最小二乘法 K0=p0*X(n,:)'*inv(1+X(n,:)*p0*X(n,:)');%计算Ｋ Theta_abs=Theta_abs+K0*(Y(n)-X(n,:)*Theta_abs);%计算估计值Theta ； p3=p0-K0*X(n,:)*p0;%计算P p0=p3; %误差平方和最小 Y1=X(n,:)*Theta_abs;%递推值 J=(Y(n,:)-Y1)*(Y(n,:)-Y1)' if (J 上式可以改写为()()()()l k k v i k u b i k z a k z b a n i i n i i ,..,2,1,1 1 =+-+--=∑∑== 上式改写为最小二乘格式()())(k v k h k z T +=θ（3） 对于（3）式的l 次观测构成一个线性方程组 [][] ?????=------=T n n T b a n a b b b a a a n k u k u n k z k z k h ,...,,,,...,,)(),...,1(),(),...,1()(2121θ即 l l l V H Z +=θ. ()()()[]()()()[]T l T l l v v v V l z z z Z ,...2,1,,...,2,1= ()()()()()()()()()???? ? ?? ?????-------------=?? ??????? ???=)()1()(21)2()1(10)1(021b a b a b a l n l u l u n l z l z n u u n z z n u u n z z l h h h H K K K K K K M 取极小化准则函数()()[]()()θθθL T L l l k T H z H z k h k z J --=-=∑=1 2 ，极小化()θJ ，求得参 数θ的估计值θ?，[] T n n n a b b b a a a ?,...,?,?,?,...,?,??2121=θ ()()[]()() θθθ???12l l T l l l k T H Z H Z k h k z J --=-=∑=表示为了确定使准则最小的条件，将该式对各参数求导，并令其结果等于零： ()() l T l l T l l l l Z H H H H Z H J 1 ?,0?2?-==--=??θθθ 即，只要矩阵l H 是满秩的，l T l H H 则是 正定的，使准则为极小的条件得到满足， 最小二乘估计的递推算法（RLS ） 最小二乘法，不仅占用大量内存，而且不适合于在线辨识，为了解决这个问题， 把它转化为递推算法：修正项+=+k k θθ??1 ()()()()()()()()()???? ? ?? ? ????-------------=????????? ???=)()1()(21)2()1(10)1(021b a b a b a l n l u l u n l z l z n u u n z z n u u n z z l h h h H K K K K K K M
相关主题
文本预览