最小二乘参数估计
1 系统辨识的概念 (1)
2 最小二乘参数估计法 (1)
2.1 最小二乘估计的统计特性 (2)
2.2 加权最小二乘 (2)
2.3 递推最小二乘估计 (3)
2.4 相关最小二乘法 (3)
1 系统辨识的概念
系统辨识是研究建立被控对象或过程数学模型的一种理论和方法。它是在输入和输出数据的基础上，从一组给定的模型类别中，确定一个与所研究系统等价的数学模型。
数学模型是指用数学形式来描述实际对象或过程行为特性和运动规律，微分方程、差分方程、传递函数和状态方程式常用的数学形式。建立数学模型的主要方法有机理法和测试法。而机理法的应用是十分有限的，实践中大量采用的还是测试法。系统辨识就是一种测试法。
2 最小二乘参数估计法
最小二乘估计是一种经典的数据处理方法，最早的应用可以追溯到18世纪，大约在1795年由高斯在他著名的星体运动轨道预报研究工作中提出的。高斯提出：对于未知的但要求估计的参数的最适宜的值是最可能的值。他定义：“未知量最可能的值是这样一个数值，它使得实测值与计算值的差的平方乘以测量测量精度后所得的积最小。”后来，在控制系统的参数估计领域也发现个采用了这种方法，这样，最小二乘法就成了估计离乱的奠基石。由于最小二乘法原理简单，编制程序也不困难，因而颇受人们重视，应用相当广泛。目前它已成为动态系统辨识的主要手段。从计算方法讲，它既可以离线计算，也可以在线递推计算，并可在非线性系统中扩展为迭代计算。从计算的数学模型看，它既可以用于参数模型估计可以用于非参数模型估计。
最小二乘估计开始用于处理整批数据的静态参数估计，这里称为一般的最小二乘估计，它能提供一个在最小方差意义下与实验数据最好拟合的数学模型。由
最小二乘发获得的估计在一定条件下有最佳的统计特性，即估计的结果是无偏的、一致的和有效的，而经典辨识法中的相关辨识法、频率辨识法等也可以从最小二乘推导演绎而成。
2.1 最小二乘估计的统计特性
对于一个估计算法除了计算简单和便于应用等要求外，更重要的是所得出的估计值能不能再某种意义下满足估计的精度要求，即满足估计值的优良性。一般来说，一种估计值的统计特性是可以用来衡量它的“优良度”和“可信度”的。通过研究它的统计特性，可以帮助确认该方法的使用价值。
最小二乘估计具有以下特性：无偏性、一致性、有效性等。
2.2 加权最小二乘
通常，各次观测数据是在不同情况下取得的，因而对估计的作用也不相同，当利用这些数据来估计参数是，总是希望“价值大”的观测数据占比较大的比重，使其对估计的结果产生较多的影响。为此，计算中用一个称为权的数来反映数据价值的大小，即对各次数据加不同的权，若果有理由认为现时刻的数据可靠，那么现时刻的加权值就要大于过去时刻的加权值。
在目标函数中引入正定加权矩阵：
100
n w w ??????????
则有目标函数： ()()T T w J Y w Y w φθφθεε=--=
1
1120[,,,]0
n n n w w εεεεε????????=???????????? 222
211
121n n n i i i w w w w εεεε==++
+=∑ 可以解出： 1?()T T w
w wY θφφφ-=
该方法称作最小二乘法，对应的?w
θ称为加权最小二乘估计值，当w 为单位矩阵的时候，加权最小二乘就成为最小二乘估计，所以最小二乘法是加权最小二乘的一种特例。
当过程噪声是均值为为0、方差为2σ的白噪声序列时，加权最小二乘具有无偏性、有效性和一致性等良好的统计特性。
2.3 递推最小二乘估计
在生产过程中，系统的输入、输出往往是逐步得到的，调节器参数的设计要求在线参数估计，利用新的信息来改善精度。
一次完成算法是直接利用已获得的所有观测数据进行运算处理。使用这种算法时，需要计算机存储全部测量数据，占用了较多的存储单元，同时，每采样一次，就需要增添一组新的观测数据，也逐步扩大矩阵N φ的行数，还需要完成矩阵T φφ的求逆运算，这样计算是很费时的。
在已知N 组数据后，有Y e φθ=+，可以构成N Y ，N φ，从而可以求出?N
θ，当又获得一组新的测量数据1N y +，1N u +后，同样可以计构成1N Y +，1N φ+，并计算出1
?N θ+，通过分析第N 次和第N +1次估计间的关系，可以把最小二乘法化成递推算法。递推算法的基本思路可以概括为：
N+1??N
θθ=+新的估计值旧的估计值修正值 这种方法的特点是每取得一次新的观测数据后，在原来估计结果的基础上，用新引入的观测数据对上一次估计的结果进行修正，从而递推地得到下一个参数估计值。这样，随着的新的观测数据的引入，逐步地进行参数估计，直到估计值达到满意的精度为止。这样不仅可以减少计算量和存储量，而且能够实现 在线实时辨识。
2.4 相关最小二乘法
相关最小二乘法的基本思想是把辨识分成两部进行。第一步利用相关分析法，获得对象的非参数模型—脉冲响应或相关函数；第二步是利用最小二乘法、辅助变量法或增光最小二乘法等，进一步求得对象的参数模型。
第二章 参数估计的最小二乘方法Least Squares §2—１静态线性模型参数的最小二乘估计（多元线性回归） 一、 什么是最小二乘估计 系统辨识三要素：模型，数据，准则。 例： y = ax + ε 其中：y 、x 可测；ε — 不可测的干扰项； a —未知参数。通过 N 次实验，得到测量数据 y k 和 x k k = 1、2、3 …，确定未知参数 a 称“参数估计”。 使准则 J 为 最小 ： 令：? J / ? a = 0 , 导出 a = ? 称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss 于 1792 年提出。 min )(2 1 =-=∑=k N k k ax y J 0)(21 =--=??∑=k k N k k ax y x a J
二、多元线性回归 线性模型 y = a 0+ a 1x 1+ + a n x n + ε 式(2 - 1- 1) 引入参数向量: θ = [ a 0,a 1, a n ]T (n+1)*1 进行 N 次试验，得出N 个方程： y k = ?k T θ + εk ; k=1、2…、N 式(2 -1- 2) 其中：?k = [ 1,x 1,x 2, ,x N ] T (n+1) *1 方程组可用矩阵表示为 y = Φ θ + ε 式（2 -1- 3） 其中：y = [ y 1,y 2, 。。。,y N ] T (N *1) ε = [ ε1, ε2, 。。。,ε N ] T (N *1) N *(n+1) 估计准则有： = （y — Φ θ）T ( y — Φ θ) (1*N) ( N *1) ?????? ? ???????=??????? ?? ???=T N T T nN N n n x x x x x x ???φ.... 1...........1 (1211212) 111 21)(θ?T k N k k y J -=∑=[] ? ? ?? ? ?????----=)(..)(*)(...)(1 111θ?θ?θ?θ?T N N T T N N T y y y y J
非线性最小二乘法 编辑词条分享 ?新知社新浪微博腾讯微博人人网QQ空间网易微博开心001天涯飞信空间MSN移动说客 非线性最小二乘法 非线性最小二乘法是以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估 计方法。 编辑摘要 目录 1 简介 2 推导 3 配图 4 相关连接 非线性最小二乘法 - 简介 以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。设非线性系统的模型为y＝f(x，θ) 式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。这里的非线性是指对参数θ的非线性模型，不包括输入输出变量随时间的变化关系。在估 计参数时模型的形式f是已知的，经过N次实验取得数据(x1,y1),(x2,y1)， ,(xn，yn)。估计参数的准则（或称目标函数）选为模型的误差平方和非线性最小二乘法就是求使Q达到极小的参数估计值孌。 推导 非线性最小二乘法 - 推导 以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。设非线 性系统的模型为 y＝f(x，θ) 式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。这里的非线性是指对参数θ的非线性模型，不包括输入输出变量随时间的变化关系。在估计参数时模型的形式f是已知的，经过N次实验取得数据(x1,y1),(x2,y1)， ,(x n，y n)。估计参数的准则（或称目标函数）选为模型的误差平方和
非线性最小二乘法就是求使Q达到极小的参数估计值孌。 由于f的非线性，所以不能象线性最小二乘法那样用求多元函数极值的办法来得到参 数估计值，而需要采用复杂的优化算法来求解。常用的算法有两类，一类是搜索算法，另 一类是迭代算法。 搜索算法的思路是：按一定的规则选择若干组参数值，分别计算它们的目标函数值并 比较大小；选出使目标函数值最小的参数值，同时舍弃其他的参数值；然后按规则补充新 的参数值，再与原来留下的参数值进行比较，选出使目标函数达到最小的参数值。如此继 续进行，直到选不出更好的参数值为止。以不同的规则选择参数值，即可构成不同的搜索 算法。常用的方法有单纯形搜索法、复合形搜索法、随机搜索法等。 迭代算法是从参数的某一初始猜测值θ(0)出发，然后产生一系列的参数点θ(1)、θ(2) ，如果这个参数序列收敛到使目标函数极小的参数点孌，那么对充分大的N就可用θ(N)作为孌。迭代算法的一般步骤是： ① 给出初始猜测值θ(0)，并置迭代步数i＝1。 ② 确定一个向量v(i)作为第i步的迭代方向。 ③ 用寻优的方法决定一个标量步长ρ(i)，使得 Q(θ(i))=Q(θ(i))，其中θ(i)＝θi-1+ρ(i)v(i)。 ④ 检查停机规则是否满足，如果不满足,则将i加1再从②开始重复；如果满足，则 取θ(i)为孌。 典型的迭代算法有牛顿－拉夫森法、高斯迭代算法、麦夸特算法、变尺度法等。 非线性最小二乘法除可直接用于估计静态非线性模型的参数外，在时间序列建模、连 续动态模型的参数估计中，也往往遇到求解非线性最小二乘问题。 非线性最小二乘法 - 配图 非线性最小二乘法
第三章 多元线性回归与最小二乘估计 3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理 1、多元线性回归模型： y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。 对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。 当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1, y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ……….. y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T 经济意义：x t j 是y t 的重要解释变量。 代数意义：y t 与x t j 存在线性关系。 几何意义：y t 表示一个多维平面。 此时y t 与x t i 已知，βj 与 u t 未知。 ) 1(21)1(110)(11 1222111111)1(21111??-?---?? ????? ??????+??????????????????????? ???=? ? ?? ?? ??????T T k k k T k T Tj T k j k j T T u u u x x x x x x x x x y y y βββ (3.3) Y = X β + u (3.4) 2假定条件 为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。 假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2相同且为有限值，即
普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下 （见图中的散点），假如模型（）的参数估计量已经求得到， 为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见 图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最 好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即
0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （） 所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成
用matlab实现最小二乘递推算法辨识系统参 数 自动化系统仿真实验室指导教师： 学生姓名班级计082-2 班学号撰写时间： 全文结束》》-3-1 成绩评定： 一．设计目的 1、学会用Matlab实现最小二乘法辨识系统参数。 2、进一步熟悉Matlab的界面及基本操作； 3、了解并掌握Matlab中一些函数的作用与使用；二．设计要求最小二乘递推算法辨识系统参数，利用matlab编程实现，设初始参数为零。z(k)-1、5*z(k-1)+0、7*z(k-2)=1*u(k-1)+0、5*u(k-2)+v(k); 选择如下形式的辨识模型：z(k)+a1*z(k- 1)+a2*z(k-2)=b1*u(k-1)+b2*u(k-2)+v(k);三．实验程序 m=3;N=100;uk=rand(1,N);for i=1:Nuk(i)=uk(i)*(-1)^(i-1);endyk=zeros(1,N); for k=3:N yk(k)=1、5*yk(k-1)-0、 7*yk(k-2)+uk(k-1)+0、5*uk(k-2); end%j=100;kn=0;%y=yk(m:j);%psi=[yk(m-1:j-1);yk(m-2:j-2);uk(m-1:j-1);uk(m-2:j- 2)];%pn=inv(psi*psi);%theta=(inv(psi*psi)*psi*y);theta=[0 ;0;0;0];pn=10^6*eye(4);for t=3:Nps=([yk(t-1);yk(t-
2);uk(t-1);uk(t-2)]);pn=pn- pn*ps*ps*pn*(inv(1+ps*pn*ps));theta=theta+pn*ps*(yk(t)-ps*theta);thet=theta;a1=thet(1);a2=thet(2);b1=thet(3);b2= thet(4); a1t(t)=a1;a2t(t)=a2;b1t(t)=b1;b2t(t)=b2;endt=1:N;plot(t,a 1t(t),t,a2t(t),t,b1t(t),t,b2t(t));text(20,1、 47,a1);text(20,-0、67,a2);text(20,0、97,b1);text(20,0、47,b2);四．设计实验结果及分析实验结果图：仿真结果表明，大约递推到第步时，参数辨识的结果基本到稳态状态，即a1=1、5999，b1=1，c1=0、5，d1=-0、7。五、设计感受这周的课程设计告一段落了，时间短暂，意义重大。通过这次次练习的机会，重新把matlab课本看了一遍，另外学习了系统辨识的有关内容，收获颇丰。对matlab的使用更加纯熟，也锻炼了自己在课本中搜索信息和知识的能力。在设计过程中虽然遇到了一些问题，但经过一次又一次的思考，一遍又一遍的检查终于找出了原因所在，也暴露出了前期我在这方面的知识欠缺和经验不足。同时我也进一步认识了matlab软件强大的功能。在以后的学习和工作中必定有很大的用处。
【2-1】 设某物理量Y 与X1、X2、X3的关系如下：Y=θ1X 1+θ2X 2+θ3X 3 由试验获得的数据如下表。试用最小二乘法确定模型参数θ1、θ2和θ3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB 程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=inv(A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A 是ΦN, B 是YN ，运行M 文件可得结果： 在matlab 中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】 考虑如下模型 )()(3.03.115.0)(2 12 1t w t u z z z z t y ++-+=---- 其中w(t)为零均值、方差为1的白噪声。根据模型生成的输入/输出数据u(k)和y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法（λ=0.95）和递推最小二乘法估计模型参数（限定数据长度N 为某一数值，如N=150或其它数
最小二乘参数估计 摘要： 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。这种算法在使用时，占用内存大，离线辨识，观测被辨识对象获得的新数据往往是逐次补充到观测数据集合中去的。在应用一次完成算法时，如果要求在每次新增观测数据后，接着就估计出系统模型的参数，则需要每次新增数据后要重新求解矩阵方程()Z l T l l T l ΦΦΦ-∧=1θ。 最小二乘辩识方法在系统辩识领域中先应用上已相当普及，方法上相当完善，可以有效的用于系统的状态估计，参数估计以及自适应控制及其他方面。 关键词： 最小二乘（Least-squares ），系统辨识（System Identification ） 目录： 1.目的 (1) 2.设备 (1) 3引言 (1) 3.1 课题背景 (1) 4数学模型的结构辨识 (2) 5 程序 (3) 5.1 M 序列子函数 ................................................................................. 错误！未定义书签。 5.2主程序............................................................................................... 错误！未定义书签。 6实验结果： ................................................................................................................................... 3 7参考文献： ................................................................................................. 错误！未定义书签。 1.目的 1.1掌握系统辨识的理论、方法及应用 1.2熟练Matlab 下最小二乘法编程 1.3掌握M 序列产生方法 2.设备 PC 机1台（含Matlab 软件） 3引言 3.1 课题背景 最小二乘理论是有高斯（K.F.Gauss ）在1795年提出：“未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。”这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最
精心整理 第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据 其后在 x x, , 2 1 n 2 1 显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即 权因子： 2 2 o i i w 即权因子 i w∝ 2 1 i ，则 再用微分法，得最可信赖值x
11 n i i i n i i w x x w 即加权算术平均值 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法 1x +3x =0.5 2x +3x =-0.3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理 Min v i 2 分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。
(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0 可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。 以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。 即 x j ][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量 ][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211
第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即
权因子：2 2o i i w σσ=即权因子i w ∝21i σ，则 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5
非线性最小二乘平差 6-1问题的提出 经典平差是基于线性模型的平差方法。然而在现实世界中，严格的线性模型并不多见。测量上大量的数学模型也是非线性模型。传统的线性模型平差中的很多理论在非线性模型平差中就不一定适用；线性模型平差中的很多结论在非线性模型平差中就不一定成立；线性模型平差中的很多优良统计性质在非线性模型平差中就不一定存在。例如，在线性模型平差中，当随机误差服从正态分布时，未知参数X 的最小二乘估计具有一致无偏性和方差最小性。但在非线性模型平差中，即使随机误差严格服从正态分布，未知参数X的非线性最小二乘估计也是有偏的。其方差一般都不能达到最小值。 对于测量中大量的非线性模型，在经典平差中总是进行线性近似（经典的测量平差中称之为线性化），即将其展开为台劳级数，并取至一次项，略去二次以上各项。如此线性近似，必然会引起模型误差。过去由于测量精度不高，线性近似所引起的模型误差往往小于观测误差，故可忽略不计。随着科学技术的不断发展，现在的观测精度已大大提高，致使因线性近似所产生的模型误差与观测误差相当，有些甚至还会大于观测误差。例如，GPS载波相位观测值的精度很高，往往小于因线性近似所产生的模型误差。因此，用近似的理论、模型、方法去处理具有很高精度的观测结果，从而导致精度的损失，这显然是不合理的。现代科学技术要求估计结果的精度尽可能高。这样，传统线性近似的方法就不一定能满足当今科学技术的要求。另外，有些非线性模型对参数的近似值十分敏感，若近似值精度较差，则线性化会产生较大的模型误差。由于线性近似后，没有顾及因线性近似所引起的模型误差，而用线性模型的精度评定理论去评定估计结果的精度，从而得到一些虚假的优良统计性质，人为地拔高了估计结果的精度。 鉴于上述各种原因，对非线性模型平差进行深入的研究是很有必要的。非线性模型的平差和精度估计以及相应的误差理论研究也是当前国内外测绘界研究的前沿课题之一。 电子教材 > 第六章非线性模型平差 > 6-2 非线性模型平差原理
第三节 最小二乘估计量的性质 三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义 线性特性是指参数估计值1?β和2?β分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。 1、2?β的线性特征证明 （1）由2?β的计算公式可得： 2 22 2 2 2()?t t t t t t t t t t t t t t t t x y x Y x Y x x x x x x x x β--== =??= = ? ?? ? ∑∑∑∑∑∑∑∑∑ ∑∑Y Y Y Y 需要指出的是，这里用到了 因为t x 不全为零，可设 2t t t x b x = ∑，从而，t b 不全为零，故2?t t b β=∑Y 。这说明2?β是t Y 的线性组 合。 （2）因为12t t t Y X ββμ=++，所以有 () 21 2 12 2 ?t t t t t t t t t t t t b b X b b X b b βββμββμ βμ ==++=++=+∑∑∑∑∑∑Y 这说明2?β是t μ的线性组合。 需要指出的是，这里用到了
2 2 t t t t t x x b x x == =∑∑∑ ∑∑以及 ( )2 2 2 2222201 t t t t t t t t t t t t t t t t x x X x b X X x x x x X x X x x x x x ??+ ? = = ??? + += = +=∑∑ ∑ ∑ ∑∑∑∑∑∑∑∑∑ 2、1?β的线性特征证明 （1）因为12 ??Y X ββ=-，所以有 () 121??1 t t t t t Y X Y X b n X b n ββ=-=-??= - ??? ∑∑∑ Y Y 这里，令1a X b n = -，则有1?t a β=∑Y 这说明1?β是t Y 的线性组合。 （2）因为回归模型为12t t t Y X ββμ=++，所以 ()11 2 1 2 ?t t t t t t t t t t a a X a a X a βββμββμ ==++=++∑∑∑∑∑Y 因为111t t t a X b X b n n ?? =-=-= ?? ? ∑∑∑∑。而 1 10 t t t t t t t a X X b X X X b X n n X X ??= -=- ??? -=∑ ∑ ∑ ∑ 所以，11?t t a ββμ=+∑ 这说明1?β是t μ的线性组合。 至此，参数的线性特性证明完毕。 问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、
方法一、最小二乘一次性算法： 首先对最小二乘法的一次性辨识算法做简要介绍如下： 过程的黑箱模型如图所示： 其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。 过程的输入输出关系可以描述成以下最小二乘格式： )()()(k n k h k z T +=θ （1） 其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k) 是均值为0的随机噪声。 利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数： ∑=-=L k T k h k z J 12])()([)(θθ （2） 使J 最小的θ的估计值^ θ，成为最小二乘估计值。 具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3） 应该利用过程的输入、输出数据确定)(1-z A 和 )(1-Z B 的系数。 对于求解θ的估计值^θ，一般对模型的阶次 a n ， b n 已定，且b a n n >；其次将（3）模 型写成最小二乘格式 )()()(k n k h k z T +=θ （4） 式中 ?????=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）
L k ,,2,1 = 因此结合式（4）（5）可以得到一个线性方程组 L L L n H Z +=θ （6） 其中 ???==T L T L L n n n n L z z z z )](),2(),1([)](),2(),1([ （7） 对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。 在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出： L T L L T L z H H H 1^ )(-=θ （8） 其次，利用在Matlab 中编写M 文件，实现上述算法。 此次算法的实现，采用6阶M 序作为过程黑箱的输入；噪声采用方差为1，均值为0的随机数序列；黑箱模型假设为：y(k)-1.5y(k-1)+0.7y(k-2)=2u(k-1)+0.5u(k-2)，则系统输出为Z(k)-1.5Z(k-1)+0.7Z(k-2)=2U(k-1)+0.5U(k-2)+n （k ）；模型的阶次2,2==b a n n ；数据长度取L=200。 程序清单如下见附录：最小二乘一次性算法Matlab 程序 运行结果如下： 图1 最小二乘一次性算法参数真值与估计值 其中re 为真值，ans 为估计值^ θ 结果发现辨识出的参数与真值之间存在细微误差，这是由于系统噪声以及数据长度L 的限制引起的，最小二乘辨识法是一种无偏估计方法。 方法二、最小二乘递推算法： 最小二乘一次性算法计算量大，并且浪费存储空间，不利于在线应用，由此引出最小
非线性最小二乘lsqnonlin 数学规划模型的matlab求解 数学规划模型的matlab求解 var OsObject = ""; if(https://www.doczj.com/doc/f59649506.html,erAgent.indexOf("MSIE")>0) { document.write(""); } if (isFirefox=https://www.doczj.com/doc/f59649506.html,erAgent.indexOf("Firefox")>0){ document.write(" "); } if(isSafari=https://www.doczj.com/doc/f59649506.html,erAgent.indexOf("Safari")>0) { //return "Safari"; } if(isCamin o=https://www.doczj.com/doc/f59649506.html,erAgent.indexOf("Camino")>0){ //return "Camino"; } if(isMozilla=navigato https://www.doczj.com/doc/f59649506.html,erAgent.indexOf("Gecko/")>0){ //return "Gecko"; } 今天胡老师给我们讲了数学规划模型，数学规划模型是优化模型的一种，包括线性规划模型(目标函数和约束条件都是线性函数的优化问题); 非线性规划模型(目标函数或者约束条件是非线性的函数); 整数规划(决策变量是整数值得规划问题); 多目标规划(具有多个目标函数的规划问题) ；目标规划(具有不同优先级的目标和偏差的规划问题) 动态规划(求解多阶段决策问题的最优化方法) 。数学规划模型相对比较好理解，关键是要能熟练地求出模型的解。 以下是解线性规划模型的方法： 1.线性规划问题 线性规划问题的标准形式为： min f ' *x sub.to：A*x基于最小二乘法的系统参数辨识
基于最小二乘法的系统参数辨识 吴令红，熊晓燕，张涛 太原理工大学机械电子研究所，太原 (030024) E-mail lhwu0818@https://www.doczj.com/doc/f59649506.html, 摘要：系统辨识是自动控制学科的一个重要分支，由于其特殊作用，已经广泛应用于各种领域，尤其是复杂系统或参数不容易确定的系统的建模。过去，系统辨识主要用于线性系统的建模，经过多年的研究，已经形成成熟的理论。但随着社会、科学的发展，非线性系统越来越受到人们的关注，其控制与模型之间的矛盾越来越明显，因而非线性系统的辨识问题也越来越受到重视，其辨识理论不断发展和完善本。文重点介绍了系统参数辨识中最小二乘法的基本原理，并通过悬臂梁模型的辨识实例，具体说明了基于最小二乘法参数辨识在Matlab 中的实现方法。结果表明基于最小二乘法具有算法简单、精度较高等优点。 关键词：系统辨识；参数辨识；滑动平均模型(ARX)；最小二乘法；Matlab 中图分类号：TH-9 1. 引言 所谓辨识就是通过测取研究对象在人为输入作用下的输出响应，或正常运行时的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。这是因为对象的动态特性被认为必然表现在它的变化着的输入输出数据之中，辨识只不过是利用数学的方法从数据序列中提炼出对象的数学模型而已[1]。 最小二乘法是系统参数辨识中最基本最常用的方法。最小二乘法因其算法简单、理论成熟和通用性强而广泛应用于系统参数辨识中。本文基于悬臂梁的实测数据，介绍了最小二乘法的参数辨识在Matlab中的实现。 2. 系统辨识 一般而言，建立系统的数学模型有两种方法：激励分析法和系统辨识法。前者是按照系统所遵循的物化（或社会、经济等）规律分析推导出模型。后者则是从实际系统运行和实验数据处理获得模型。如图1所示，系统辨识就是从系统的输入输出数据测算系统数学模型的理论和方法。更进一步的定义是L.A.Zadeh曾经与1962年给出的，即“系统辨识是在输入和输出的基础上，从系统的一类系统范围内，确立一个与所实验系统等价的系统”。另外，系统辨识还应该具有3个基本要素，即模型类、数据和准则[5]。被辨识系统模型根据模型形式可分为参数模型和非参数模型两大类。所谓参数模型是指微分方程、差分方程、状态方程等形式的数学模型；而非参数模型是指频率响应、脉冲响应、传递函数等隐含参数的数学模型。在辨识工程中，模型的确定主要根据经验对实际对象的特性进行一定程度上的假设，如对象的模型是线性的还是非线性的、是参数模型还是非参数模型等。在模型确定之后，就可以根据对象的输入输出数据，按照一定的辨识算法确定模型的参数[4]。 y 图1 被研究的动态系统
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 基于最小二乘法的系统辨识的设计与开发（整理版）课程（论文）题目： 基于最小二乘法的系统辨识摘要： 最小二乘法是一种经典的数据处理方法。 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。 在系统辨识领域中, 最小二乘法是一种得到广泛应用的估计方法, 可用于动态系统, 静态系统, 线性系统, 非线性系统。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 关键词： 最小二乘法；系统辨识；参数估计 1 引言最小二乘理论是有高斯（ K.F.Gauss）在 1795 年提出： 未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。 这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最好拟合的数学模型。 递推最小二乘法是在最小二乘法得到的观测数据的基础上，用新引入的数据对上一次估计的结果进行修正递推出下一个参数估计值，直到估计值达到满意的精确度为止。 1 / 10
对工程实践中测得的数据进行理论分析，用恰当的函数去模拟数据原型是一类十分重要的问题，最常用的逼近原则是让实测数据和估计数据之间的距离平方和最小，这即是最小二乘法。 最小二乘法是一种经典的数据处理方法。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 2 最小二乘法的系统辨识设单输入单输出线性定常系统的差分方程为： 1),()()() 1()(01knkubkubnkxakxakxnn （ 1）上式中： )(ku为输入信号；)(kx为理论上的输出值。 )(kx只有通过观测才能得到，在观测过程中往往附加有随机干扰。 )(kx的观测值)(ky可表示为 （ 2）将式（ 2）代入式（ 1）得 1()()() 1()(101kubkubnkyakyakyn (3) 我们可能不知道)(kn的统计特性，在这种情况下，往往把)(kn看做均值为 0 的白噪声。 设 （ 4）则式（ 3）可以写成 (5) 在测量)(ku时也有测量误差，系统内部也可能有噪声，应当
§2 回归系数的最小二乘估计 设分别为的最小二乘估计值, 于是的观测值 , , (2.1) 其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有 , (2.2) , , (2.3) (2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和 达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组 , (2.4) 即 , (2.5) 整理并化简则得以下正规方程组: , (2.6)
如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有 , (2.7) , (2.8) 因此正规方程(2.6)的矩阵形式为 , (2.9) 或 , (2.10) 其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有 , (2.11) (2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。 正规方程组(2.6)亦可表达为下述另一种形式, 如果记 , , ,
则由(2.6)式中第一等式可解出 , (2.12) 再将(2.12)代入到(2.6)其它各式中并经化简整理可得 , (2.13) 又由 , , , , 如果记 , , (2.14) , , (2.15) 则(2.13)式可以表示为 , (2.16) (2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程 , (2.17) (2.17)式称为回归超平面方程。
如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则 , , 且记, 则正规方程组(2.16)的矩阵形式为 , (2.18) 解(2.18)得 , (2.19) 再代回到(2.12), 则得到。 以下是一对多线性回归分析的两个例子。 例2.1某养猪场估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表１, 试建立与及的预测方程。 表2.1 经计算: , , , ,
第3章 线性动态模型参数辨识－最小二乘法 3.1 辨识方法分类 根据不同的辨识原理，参数模型辨识方法可归纳成三类： ① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数： min )()? (?== ∑=θ θL k k J 1 2ε 其中)(k ε代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度)|(θz p 最大限度地逼近条件0θ下的概率密度)|(0θz p ，即 )|()?|(0m a x θθz p z p ??→?。典型的方法是极大似然法。 3.2 最小二乘法的基本概念 ● 两种算法形式 ① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。 ② 递推算法：在上次模型参数估计值)(? 1-k θ的基础上，根据当前 获得的数据提出修正，进而获得本次模型参数估计值)(? k θ，广泛采用的递推算法形式为 () ()()()~()θθk k k k d z k =-+-1K h 其中)(? k θ表示k 时刻的模型参数估计值，K (k )为算法的增益，h (k -d ) 是由 观测数据组成的输入数据向量，d 为整数，)(~k z 表示新息。 ● 最小二乘原理
定义：设一个随机序列)},,,(),({L k k z 21∈的均值是参数θ 的线性函数 E{()}()T z k k θ=h 其中h (k )是可测的数据向量，那么利用随机序列的一个实现，使准则函数 21 ()[()()]L T k J z k k θθ==-∑h 达到极小的参数估计值θ? 称作θ的最小二乘估计。 ● 最小二乘原理表明，未知参数估计问题，就是求参数估计值θ? ，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式 ()()()T z k k e k θ=+h 式中z (k )为模型输出变量，h (k )为输入数据向量，θ为模型参数向量，e (k )为零均值随机噪声。为了求此模型的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列)}({k z 和)}({k h ，极小化下列准则函数 21()[()()]L T k J z k k θθ==-∑h 即可求得模型参数的最小二乘估计值θ? 。 ● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。 3.3 最小二乘问题的描述 (1) 考虑模型 )()()()()(11k e k u z B k z z A +=-- 式中u (k )和z (k ) 分别为过程的输入和输出变量，e (k )是均值为零、方差为2 n σ的随机噪声，)(1-z A 和)(1-z B 为迟延算子多项式，写成 A z a z a z a z B z b z b z b z n n n n a a b b ()()--------=++++=+++?????11122111221 (2) 假定模型阶次n a 和n b 为已知，且有b a n n ≥，也可设n n n b a ==, 并定义