精心整理
第四章最小二乘法与组合测量
§1概述
最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据
其后在
x
x,
,
2
1
n
2
1
显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即
权因子：
2
2
o
i
i
w
即权因子
i
w∝
2
1
i
，则
再用微分法，得最可信赖值x
11
n
i i
i n
i
i w x
x w
即加权算术平均值
这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有：
以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法
1x +3x =0.5
2x +3x =-0.3
这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理
Min v
i 2
分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。
(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0
可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。 以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。
即
x j
][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量
][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211
正规方程组有如下特点：
（1）主对角线系数是测量方程组各列系数的平方和，全为正数。 （2）其它系数关于主对角线对称
（3）方程个数等于待求量个数，有唯一解。
由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。 和n 令
x
1.矩阵的导数
设n t 阶矩阵。
1112121222122
()()
t i t ij t ni n nt a a a A a a a a A A A a a a
L L L L )
n 阶列向量（n+1阶矩阵）V 和t 阶列向量X
V 与X 的转置（行向量）记为T V 与T X . 关于向量X 的标量函数。 定义如下几个导数。
（1）矩阵对标量x 的导数
阵。
（3）行（列）向量对列（行）向量的导数
行向量T V 对列向量X 的导数等于行向量各组成元素，对列向量各组成元素分别求得
1111
2221n n i n n t
t v v x x v v v v v x x x x x x
v v x x
L
L
M L M L
T
V
(E-4) 1
11
t v v x x L （1（2（3（4()2 T T T T V V V V X X
(E-10) （5）关于常数矩阵与向量乘积的导数
()
T X A A X (E-11) () T T
T
A X =A X
(E-12)
() T T
V V AV =2AV X X
(E-13) () T T
T T
V AV =2V A X X
(E-14) 利用（E-1）、（E-4）、和（E-5）三个定义式，容易证明式（E-6）、（E-7）、（E-8）、和（E-11）、（E-11）成立。
①以下证明式（E-9）
由于1211121121212()()n n i i i T n i in n n nn i i i v v v a a a x x x V v v v x v v v a
a a x x x
L L L L
L AV
1111
1111n n i i n n n nn n i i v v a v a v x x v v a v a v x ax L L L L ＝11111111n n i i n n n nn n i n v v a v a v x x v v a v a v x x
L L L
L L 所以式（E-13）左()+2i i i AV x x x 右T T T V V AV V AV 2.正规方程
2,n l L 均令
g T T A A X =A L (E-18)
当T A A 满秩的情形，可求出
1() T T X A A A L (E-19)
一般地，可从式（E-15）出发，用稳定的数值解法，计算A 的广义逆阵1A 得
1A X L (E-20)
要进一步去研究此问题，可参阅有关近代矩阵分析及其数值方法的专着3．待求量X的协方差矩阵。
已知测量向量L协方差矩阵。
()()T D E E E
L L L L L=
11121
21222
12
n
n
n n nn Dl Dl Dl Dl Dl Dl Dl Dl Dl
L
L
L L
L
ij
Dl
所以
2 .无偏性
对X的估计式（E-19）求数学期望。
3 .有效性
设另有X的无偏估计
则有
故G I A
又
而12()D T X A A 引入单位向量
其中第i 行为1，其它为0
*
X 的y 的。
二是1对t 个未知量的线性测量方程组 AX Y 进行n 次独立的等精度测量，得12,,,n l l l K 其残余误差
12,,,n v v v K 标准偏差 。如果i v 服从正态分布，那么2][ vv 服从2 分布，其自由度n-t ，有2 变量
的数学期望t n vv E }/]{[2 ，以S 代 。
即有t
n vv S
]
[
令t=1，由上式又导出了Bessel 公式。 2．待求量的精度估计
按照误差传播的观点，估计量12,,,t x x x K 的精度取决于直接测量数据12,,,n l l l K 的精度以及建立它们之间联系的测量方程组。
可求待求量的协方差（见二·3） 矩阵
测量。测得1号电容值1C =0.3，2号电容值2C =-0.4，1号和3号并联电容值3C =0.5，2号和3号并联电容值4C =-0.3。试用最小二乘法求123,,x x x 及其标准差。
解：
①列出残差方程组
为计算方便，将数据列表如下：
②按上表计算正规方程组各系数和常数项后，列出正规方程组 解出1x =0.325,2x =-0.425,3x =0.150 ③由 Y AX V 求得V (14)i v i ～
④t
n v i
2
⑤由1() T D A A ，jj d 可得112233,,d d d ⑥ jj xj d
⑦写出结果。
§4非线性参数的最小二乘法
在例5-1中，除了进行4次测量外，又对1号和2号电容器的串联电容)/(2121x x x x 进行测量，测得5y ，方差仍为2 ，那么如何处理呢？简单的办法是把它线性化。所谓线性化，就是在未知量的附近，按泰勒级数展开取一次项，然后按线性参数最小二乘法进行迭代求解。
则有4-3），式（例5-2在例5-1的基础上，再增加一次测量串联电容)/(2121x x x x ，测得5y =0.14。试用最小二乘法求123,,x x x 及其标准差
解：先列出测量方程组
1x =0.32x =-0.4 1x +3x =0.52x +3x =-0.3
对前4个线性测量方程组，按例5-1求出解，作为初次近似解
在(0.325,-0.425,0.150)附近，取泰勒展开的一阶近似，
写出线性化残差方程组
整理得正规方程组
解出
例4-3如图所示，要求检定线纹尺0,1,2,3刻线间的距离x1,x2,x3。已知用组全测量法测得图所示刻线间隙的各种组合量。
L1=1.01,L2=0.98,L3=1.02
L4=2.02,L5=1.98,L6=3.03
解：按前述方法，可以解得
x 1=1.028(0.011)，x 2=0.983(0.011)，x 3=1.013(0.011) 这里，着重说明组合测量方法的优点。
本例对刻度间隔x 1,x 2与x 3分别测了3次，总共测量6次。
若不采用组合测量，按每刻度间隔重复测量3次计，共需作9次测量，比组合测量法多测3次。如果待检定的刻度间隔远多于3个。那么可以类似分析得出，采用组合测量法可以大大减少测
t n v 2
有2S jj 相近，
A=48.0933,w 1=1 B=60.4233,w 2=2 A+B=109.298,w 3=3
按下表运算，写出不等权的正规方程组
4A+3B=375.9873
3A+5B=448.7406 解出A=48.5195,B=60.6364
对比分析最小二乘法与回归分析
摘要 最小二乘法是在模型确定的情况下对未知参数由观测数据来进行估计，而回归分析则是研究变量间相关关系的统计分析方法。 关键词：最小二乘法回归分析数据估计
目录 摘要 (2) 目录 (3) 一：最小二乘法 (4) 主要内容 (4) 基本原理 (4) 二：回归分析法 (6) 回归分析的主要内容 (6) 回归分析原理 (7) 三：分析与总结 (10)
一：最小二乘法 主要内容 最小二乘法又称最小平方法是一种数学优化技术。它通过定义残差平方和的方式，最小化残差的平方和以求寻找数据的最佳函数匹配，可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称 为经验公式.利用最小二乘法可以十分简便地求得未知的数据，并使 得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化 熵用最小二乘法来表达。 基本原理 考虑超定方程组（超定指未知数大于方程个数）： 其中m 代表有m 个等式，n 代表有n 个未知数（m>n）；将其进行向量化后为： ，
， 显然该方程组一般而言没有解，所以为了选取最合适的 让该等式"尽量成立"，引入残差平方和函数S （在统计学中，残差平方和函数可以看成n 倍的均方误差当时， 取最小值，记作： 通过对进行微分求最值，可以得到： 如果矩阵非奇异则 有唯一解：
二：回归分析法 回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种 统计分析方法。回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，建立不同的回归模型，确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。当自变量的个数等于一时称为一元回归，大于1时称为多元回归，当因变量个数大于1时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性 回归。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，叫一元线性回归。 回归分析的主要内容 ①从一组数据出发，确定某些变量之间的定量关系式，即建立数 学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。 ②对这些关系式的可信程度进行检验。 ③在许多自变量共同影响着一个因变量的关系中，判断哪个（或 哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影 响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。 ④利用所求的关系式对某一生产过程进行预测或控制。
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
第八章参数估计 一、思考题 1.什么是参数估计？参数估计有何特点？ 2.评价估计量优劣的准则是什么？ 3.什么是点估计、区间估计？二者有何联系和区别？ 4.确定必要的抽样数目有何意义？必要抽样数目受哪些因素影响？ 二、练习题 （一）填空题 1．参数估计的方法有_________和_________。 2．若样本方差（s n21-）的期望值等于总体方差（σ2），则称s n21-为σ2的____________估计量 3．总体参数的估计区间是由_________和_________组成。 4．允许误差是指与的最大绝对误差范围。 5．如果总体平均数落在区间960～1040内的概率是95%，则抽样平均数是 ______，允许误差是______。 6．在同样的精度要求下，不重复抽样比重复抽样需要的样本容量。 x=5，7．设总体X的方差为1，从总体中随机取容量为100的样本，得样本均值 =2.58) 则总体均值的置信水平为99%的置信区间_____________。(Z 0.005 （二）判断题 1( )参数估计就是用样本统计量去估计总体的参数。 2( )随机抽样是参数估计的前提。 3( )参数估计的抽样误差可以计算和控制。 4( )估计量的数学期望等于相应的总体参数值，则该估计量就被称为相应总体参数的无偏估计量。 5( )区间估计就是根据样本估计量以一定的置信度推断总体参数所在的区间范围。
6( )样本统计量n x x s ∑-=22)(是总体参数2σ的无偏估计量。 7（ ）估计量的有效性是指估计量的方差比其它估计的方差小。 8（ ）点估计是以样本估计量的实际值直接作为相应总体参数的估计值。 9（ ）抽样估计的置信水平就是指在抽样指标与总体参数构造的置信区间中， 包含总体参数真值的区间所占的比重。 10（ ）样本容量一定时，置信区间的宽度随置信水平的增大而减小。 （三）单选题 1．极限误差是指样本统计量和总体参数之间( )。 A.抽样误差的平均数 B.抽样误差的标准差 C.抽样误差的可靠程度 D.抽样误差的最大可能范围 2.参数估计的主要目的是( )。 A.计算和控制抽样误差 B. 为了深入开展调查研究 C.根据样本统计量的数值来推断总体参数的数值 D. 为了应用概率论 3.参数是指基于( )计算的指标值。 A.样本 B.某一个样本 C.多个样本 D.总体 4.总体参数很多，就某一参数(如均值)而言,它的取值( )。 A.是唯一的 B.不是唯一的 C.随样本的变化而变化 D.随抽样组织形式的变化而变化 5.样本统计量很多，就某一统计量(如均值)而言,它的取值( )。 A.是唯一的 B.随样本的变化而变化 C.由总体确定 D.由抽样的组织形式唯一确定 6.以样本均值x 估计正态总体的均值μ时,如果总体方差2σ已知,这时将会需要查阅( )。 A.正态分布表 B.标准正态分布表 C.t 分布表 D.2χ分布表 7.以样本均值x 估计正态总体的均值μ时,如果总体方差2σ未知,这时将会需要查阅( )。
数值计算方法 实际应用（论文） 题目最小二乘法原理实际生活应用 学院信息工程学院 专业软件工程 姓名张同 班级 13级2班 学号1402130235
摘要 最小二乘法（又称最小平方法）是一种数学优化技术，是利用最小化误差的平方和寻找数据的最佳函数匹配的一种计算方法[1]，目前在测量学、城市道路规划、物理学、地质勘探学、概率论、统计学等领域有着广泛的应用。本文对最小二乘法进行了深入细致的研究，利用Visual C++编制程序实现最小二乘法的界面化设计，通过实验数据的输入，实现线性和二次拟合曲线的输出，并利用设计的程序实现了一些实际问题的求解和处理。 关键词：最小二乘法曲线拟合Visual C++
最小二乘法在实际生活中的应用 一．实际问题描述： 早在19世纪后期，英国生物学家Galton 在研究父母身高与子女身高关系时，观察了1078个家庭中父亲、母亲身高的平均值x 和其中一个成年儿子身高y,建立了x 与y 之间的线性关系。 二．提出问题： 通过父母平均身高推算出成年儿子身高 三．分析问题： 平时我们在实验过程中会遇到两量y x ,如果存在b ax y +=的线性关系时，其中b a ,为线性函数的参数。当实验数据存在这种线性关系时，通常我们运用作图法对其参数进行处理运算、进而求出实验结果。但是作图法很难得到好的结果，而运用最小二乘法可以得到比较好的线性拟合 [19] 。对其两种方法比较可以最小二乘法的数据处理方法是比较理想的办法。 四．实验原理: 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 最小二乘法拟合:对给定数据点{(Xi ，Yi)}(i=0,1,…，m)，在取定的函数类Φ 中，求p(x)∈Φ ,使误差的平方和E ^2最小，E^2=∑[p(Xi)-Yi]^2。从几何意义上讲，就是寻求与给定点 {(Xi ，Yi)}(i=0,1,…，m)的距离平方和为最小的曲线y=p(x)。函数p(x)称为拟合函数或最小二乘解，求拟合函数p(x)的方法称为曲线拟合的最小二乘法。 五．解决方案： 运用数值计算方法中的最小二乘法处理数据，计算出a 与b ，得到y=a+bx 关系式。 1.根据实验数据列以下表格： 表1 实验数据收集 父母平均身高x （cm ） 155 160 165 170 175 180 成年儿子身高y （cm ） 158 164 168 175 178 188 2.主要程序代码： #include
普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下 （见图中的散点），假如模型（）的参数估计量已经求得到， 为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见 图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最 好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即
0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （） 所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成
系统辨识大作业 最小二乘法及其相关估值方法应用 学院：自动化学院 学号： 姓名：日期：
基于最小二乘法的多种系统辨识方法研究 一、实验原理 1.最小二乘法 在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。 设单输入-单输出线性定长系统的差分方程为 (5.1.1) 式中:为随机干扰；为理论上的输出值。只有通过观测才能得到，在观测过程中往往附加有随机干扰。的观测值可表示为 (5.1.2) 式中:为随机干扰。由式(5.1.2)得 (5.1.3) 将式(5.1.3)带入式(5.1.1)得 (5.1.4) 我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。 设 (5.1.5) 则式(5.1.4)可写成 (5.1.6) 在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。假定是不相关随机序列(实际上是相关随机序列)。 现分别测出个随机输入值，则可写成个方程，即 上述个方程可写成向量-矩阵形式 (5.1.7) 设 则式(5.1.7)可写为
(5.1.8) 式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出 (5.1.9) 如果噪声，则 (5.1.10) 从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。可用最小二乘法来求的估值，以下讨论最小二乘法估计。 2.最小二乘法估计算法 设表示的最优估值，表示的最优估值，则有 (5.1.11) 写出式(5.1.11)的某一行，则有 (5.1.12) 设表示与之差，即 - (5.1.13)式中 成为残差。把分别代入式(5.1.13)可得残差。设 则有 (5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数 (5.1.15) 为最小来确定估值。求对的偏导数并令其等于0可得 (5.1.16) (5.1.17)
第二章 参数估计的最小二乘方法Least Squares §2—１静态线性模型参数的最小二乘估计（多元线性回归） 一、 什么是最小二乘估计 系统辨识三要素：模型，数据，准则。 例： y = ax + ε 其中：y 、x 可测；ε — 不可测的干扰项； a —未知参数。通过 N 次实验，得到测量数据 y k 和 x k k = 1、2、3 …，确定未知参数 a 称“参数估计”。 使准则 J 为 最小 ： 令：? J / ? a = 0 , 导出 a = ? 称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss 于 1792 年提出。 min )(2 1 =-=∑=k N k k ax y J 0)(21 =--=??∑=k k N k k ax y x a J
二、多元线性回归 线性模型 y = a 0+ a 1x 1+ + a n x n + ε 式(2 - 1- 1) 引入参数向量: θ = [ a 0,a 1, a n ]T (n+1)*1 进行 N 次试验，得出N 个方程： y k = ?k T θ + εk ; k=1、2…、N 式(2 -1- 2) 其中：?k = [ 1,x 1,x 2, ,x N ] T (n+1) *1 方程组可用矩阵表示为 y = Φ θ + ε 式（2 -1- 3） 其中：y = [ y 1,y 2, 。。。,y N ] T (N *1) ε = [ ε1, ε2, 。。。,ε N ] T (N *1) N *(n+1) 估计准则有： = （y — Φ θ）T ( y — Φ θ) (1*N) ( N *1) ?????? ? ???????=??????? ?? ???=T N T T nN N n n x x x x x x ???φ.... 1...........1 (1211212) 111 21)(θ?T k N k k y J -=∑=[] ? ? ?? ? ?????----=)(..)(*)(...)(1 111θ?θ?θ?θ?T N N T T N N T y y y y J
第四章习题参考答案P 135 7. 1）用OLS法建立居民人均消费支出与可支配收入的线性模型。create u 20； data consump income； ls consump c income Dependent Variable: CONSUMP Method: Least Squares Sample: 1 20 Included observations: 20 Variable Coefficient Std. Error t-Statistic Prob. C INCOME R-squared Mean dependent var Adjusted R-squared . dependent var . of regression Akaike info criterion Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) 线性模型如下： CONSUMP = 5389 + *INCOME 2）检验模型是否存在异方差性
i) X Y -图：是否有明显的散点扩大/缩小/复杂型趋势 scat income consump ii)解释变量—残差图：是否形成一条斜率为0的直线 scat income resid^2 或者 genr ei2=resid^2； scat income ei2 由两个图形，均可判定存在递增型异方差。 还可以用帕克检验，戈里瑟检验，戈德菲尔德-匡特检验，怀 特检验等方法。 iii) 戈德菲尔德-匡特检验：共有20个样本，去掉中间1/4个样本（4 个），剩余大样本、小样本各8个。 Sort income ； smpl 1 8； ls consump C income Smpl 13 20； ls consump C income 21 0.050.05615472.0126528.3 4.86 (,)(81,81) 4.28 11 811811 1111RSS RSS F F F n k n k n k n k = ==--=>= --------------，存在异方差。
精心整理 第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据 其后在 x x, , 2 1 n 2 1 显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即 权因子： 2 2 o i i w 即权因子 i w∝ 2 1 i ，则 再用微分法，得最可信赖值x
11 n i i i n i i w x x w 即加权算术平均值 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法 1x +3x =0.5 2x +3x =-0.3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理 Min v i 2 分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。
(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0 可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。 以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。 即 x j ][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量 ][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211
第四章一元线性回归 第一部分学习目的和要求 本章主要介绍一元线性回归模型、回归系数的确定和回归方程的有效性检验方法。回归方程的有效性检验方法包括方差分析法、t检验方法和相关性系数检验方法。本章还介绍了如何应用线性模型来建立预测和控制。需要掌握和理解以下问题： 1 一元线性回归模型 2 最小二乘方法 3 一元线性回归的假设条件 4 方差分析方法 5 t检验方法 6 相关系数检验方法 7 参数的区间估计 8 应用线性回归方程控制与预测 9 线性回归方程的经济解释 第二部分练习题 一、术语解释 1 解释变量 2 被解释变量 3 线性回归模型 4 最小二乘法 5 方差分析 6 参数估计 7 控制 8 预测 二、填空 ξ，目的在于使模型更1 在经济计量模型中引入反映（）因素影响的随机扰动项 t 符合（）活动。 2 在经济计量模型中引入随机扰动项的理由可以归纳为如下几条：（1）因为人的行为的（）、社会环境与自然环境的（）决定了经济变量本身的（）；（２）建立模型时其他被省略的经济因素的影响都归入了（）中；（３）在模型估计时，（）与归并误差也归入随机扰动项中；（4）由于我们认识的不足，错误的设定了（）与（）之间的数学形式，例如将非线性的函数形式设定为线性的函数形式，由此产生的误差也包含在随机扰动项中了。 3 （）是因变量离差平方和，它度量因变量的总变动。就因变量总变动的变异来源看，它由两部分因素所组成。一个是自变量，另一个是除自变量以外的其他因素。（）是拟合值的离散程度的度量。它是由自变量的变化引起的因变量的变化，或称自变量对因变量变化的贡献。（）是度量实际值与拟合值之间的差异，它是由自变量以外的其他因素所致，它又叫残差或剩余。 4 回归方程中的回归系数是自变量对因变量的（）。某自变量回归系数β的意义，指
第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即
权因子：2 2o i i w σσ=即权因子i w ∝21i σ，则 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5
【2-1】 设某物理量Y 与X1、X2、X3的关系如下：Y=θ1X 1+θ2X 2+θ3X 3 由试验获得的数据如下表。试用最小二乘法确定模型参数θ1、θ2和θ3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB 程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=inv(A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A 是ΦN, B 是YN ，运行M 文件可得结果： 在matlab 中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】 考虑如下模型 )()(3.03.115.0)(2 12 1t w t u z z z z t y ++-+=---- 其中w(t)为零均值、方差为1的白噪声。根据模型生成的输入/输出数据u(k)和y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法（λ=0.95）和递推最小二乘法估计模型参数（限定数据长度N 为某一数值，如N=150或其它数
第八章 参数估计习题 一、 填空题： 1．设总体),(~2σμN X ，n X X X ,,,21 是来自X 的一个样本，参数2,σμ都是未知的， 则μ的矩估计量为 。2 σ的矩估计量为 。 2．设总体),(~2σμN X ，其中2 σ未知，μ已知，n X X X ,,,21 是来自X 的一个样本， 做样本函数如下①∑=-n i i X n 12)(1μ，②2 1])([∑=-n i i X σμ，③∑=-n i i X X n 12)(1，④ ∑=--n i i X X n 12 )(11，⑤∑=+--n i i i X X n 121)() 1(21，这些样本函数中，是统计量的有 , 统计量中是的无偏估计量的有 。 3．设某总体X 的密度函数为?? ???<<-=其他 ,00, )(2 );(2ααα αx x x f ，对容量为n 的样本， 参数α的矩估计量为 。 4.假设总体)81.0,(~μξN ，n X X X ,,,21 是来自ξ的样本，测得样本均值5=x ，则置 信度是0.99的μ的置信区间是 5．设n X X X ,,,21 是来自总体X 的样本，对总体方差进行估计时，常用的无偏估计量是 。 6．设总体X 在区间],0[θ上服从均匀分布，则未知参数θ的矩法估计量为 。 二、选择题： 1．设n X X X ,,,21 是来自总体X 的样本，2 )(,)(σμ==x D x E ，并且和是未知参数，下面结论中是错误的[ ]。 （A ）X =1?μ 是μ的无偏估计； （B ）12?X =μ是μ的无偏估计； （C ）21??μμ比有效； （C ）21 )(1∑=-n i i X n μ是2σ的 极大似然估计量。
第四章 习 题 一、单选题 1、如果回归模型违背了同方差假定，最小二乘估计量＿＿＿＿ A ．无偏的，非有效的 B.有偏的，非有效的 C ．无偏的，有效的 D.有偏的，有效的 2、Goldfeld-Quandt 方法用于检验＿＿＿＿ A ．异方差性 B.自相关性 C ．随机解释变量 D.多重共线性 3、DW 检验方法用于检验＿＿＿＿ A ．异方差性 B.自相关性 C ．随机解释变量 D.多重共线性 4、在异方差性情况下，常用的估计方法是＿＿＿＿ A ．一阶差分法 B.广义差分法 C ．工具变量法 D.加权最小二乘法 5、在以下选项中，正确表达了序列自相关的是＿＿＿＿ j i u x Cov D j i x x Cov C j i u u Cov B j i u u Cov A j i j i j i j i ≠≠≠≠≠=≠≠,0),(.,0),(.,0),(.,0),(. 6、如果回归模型违背了无自相关假定，最小二乘估计量＿＿＿＿ A ．无偏的，非有效的 B.有偏的，非有效的 C ．无偏的，有效的 D.有偏的，有效的 7、在自相关情况下，常用的估计方法＿＿＿＿ A ．普通最小二乘法 B.广义差分法 C ．工具变量法 D.加权最小二乘法 8、White 检验方法主要用于检验＿＿＿＿ A ．异方差性 B.自相关性 C ．随机解释变量 D.多重共线性 9、Glejser 检验方法主要用于检验＿＿＿＿ A ．异方差性 B.自相关性 C ．随机解释变量 D.多重共线性 10、简单相关系数矩阵方法主要用于检验＿＿＿＿ A ．异方差性 B.自相关性 C ．随机解释变量 D.多重共线性 11、所谓异方差是指＿＿＿＿ 22 22 )(.)(.)(.)(.σσσσ==≠≠i i i i x Var D u Var C x Var B u Var A
题目:最小二乘法的综述及算例院系：航天学院自动化 班级： 学号： 学生签名： 指导教师签名： 日期：2011年12月6日
目录 1．综述 (3) 2．概念 (3) 3．原理 (4) 4．算例 (6) 5．总结 (10) 参考文献 (10)
1．综述 最小二乘法最早是由高斯提出的，这是数据处理的一种很有效的统计方法。高斯用这种方法解决了天文学方面的问题，特别是确定了某些行星和彗星的天体轨迹。这类天体的椭圆轨迹由5个参数确定，原则上，只要对它的位置做5次测量就足以确定它的整个轨迹。但由于存在测量误差，由5次测量所确定的运行轨迹极不可靠，相反，要进行多次测量，用最小二乘法消除测量误差，得到有关轨迹参数的更精确的值。最小二乘法近似将几十次甚至上百次的观察所产生的高维空间问题降到了椭圆轨迹模型的五维参数空间。 最小二乘法普遍适用于各个科学领域，它在解决实际问题中发挥了重要的作用。它在生产实践、科学实验及经济活动中均有广泛应用。比如说，我们引入等效时间的概念,根据Arrhenius 函数和指数函数研究水化热化学反应速率随温度的变化,最后采用最小二乘法回归分析试验数据,确定绝热温升和等效时间的关系式。 为了更好地掌握最小二乘法，我们引入以下两个问题： (1)假设已知一组二维数据（i i y x ,），（i=1,2,3···n ），怎样确定它的拟合曲线y=f(x)（假 设为多项式形式f(x)=n n x a x a a +++...10）,使得这些点与曲线总体来说尽量接近？ (2)若拟合模型为非多项式形式bx ae y =，怎样根据已知的二维数据用最小二乘线性拟合确定其系数，求出曲线拟合函数？ 怎样从给定的二维数据出发，寻找一个简单合理的函数来拟合给定的一组看上去杂乱无章的数据，正是我们要解决的问题。 2．概念 在科学实验的统计方法研究中，往往要从一组实验数（i i y x ,）（i=1,2,3···m ）中寻找自变量x 与y 之间的函数关系y=F(x).由于观测数据往往不准确，此时不要求y=F(x)经过所有点（i i y x ,），而只要求在给定i x 上误差i δ=F （i x ）i y -（i=1,2,3···m ）按某种标准最小。 若记δ= ()δδ δm T 2 ,1,就是要求向量δ的范数δ 最小。如果用最大范数，计算上困 难较大，通常就采用Euclid 范数2 δ 作为误差度量的标准。 关于最小二乘法的一般提法是：对于给定的一组数据（i i y x ,） (i=0,1,…m)要求在函数空间Φ=span{ n ???,....,,10}中找一个函数S*(x)，使加权的误差平方和22 δ =
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 第四章参数的最小二乘法估计 第四章参数的最小二乘法估计第四章最小二乘法与组合测量 1 概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。 对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。 例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。 另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了 200 多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 2 最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。 对某量 x 测量一组数据 x1, x2, , xn，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏 1 / 22
差依次为： 1, 2, n 记最可信赖值为，相应的残差 vi xi 。 测值落入(xi, xi dx) 的概率。 vi21Pi exp( 2) dx 2 i i2 根据概率乘法定理，测量 x1, x2, , xn 同时出现的概率为 P Pi vi211n exp[ () ](dx) n2ii i() 显然，最可信赖值应使出现的概率 P 为最大，即 使上式中页指数中的因子达最小，即ivi22 i Min 2 o1 权因子： wi 2 即权因子 wi2，则i i 2[wvv] wvii Min 再 用微分法，得最可信赖值wxi 1 nii 即加权算术平均值 w i 1i 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： [vv] vi2 Min 以上最可信赖值是在残差平方和或 加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。 它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如（1）最小绝对残差和法： vi Min （2）最小最大残差法： maxvi Min （3）最小广义权差法： maxvi minvi Min 以上方法随着电子计算机的应用才逐渐 引起注意，但最小二乘法便于解析，至今仍用得最广泛。 3. 线性参数最小二乘法先举一个实际遇到的测量问题，
最小二乘法在曲线拟合中比较普遍。拟合的模型主要有 1.直线型 2.多项式型 3.分数函数型 4.指数函数型 5.对数线性型 6.高斯函数型 ...... 一般对于LS问题，通常利用反斜杠运算“\”、fminsearch或优化工具箱提供的极小化函数求解。在Matlab 中，曲线拟合工具箱也提供了曲线拟合的图形界面操作。在命令提示符后键入：cftool，即可根据数据，选择适当的拟合模型。 “\”命令 1.假设要拟合的多项式是：y=a+b*x+c*x^ 2.首先建立设计矩阵X： X=[ones(size(x)) x x^2]; 执行： para=X\y para中包含了三个参数：para(1)=a;para(2)=b;para(3)=c; 这种方法对于系数是线性的模型也适应。 2.假设要拟合：y=a+b*exp(x)+cx*exp(x^2) 设计矩阵X为 X=[ones(size(x)) exp(x) x.*exp(x.^2)]; para=X\y 3.多重回归(乘积回归) 设要拟合：y=a+b*x+c*t，其中x和t是预测变量，y是响应变量。设计矩阵为 X=[ones(size(x)) x t] %注意x,t大小相等！ para=X\y polyfit函数 polyfit函数不需要输入设计矩阵，在参数估计中，polyfit会根据输入的数据生成设计矩阵。 1.假设要拟合的多项式是：y=a+b*x+c*x^2 p=polyfit(x,y,2) 然后可以使用polyval在t处预测： y_hat=polyval(p,t) polyfit函数可以给出置信区间。 [p S]=polyfit(x,y,2) %S中包含了标准差 [y_fit,delta] = polyval(p,t,S) %按照拟合模型在t处预测 在每个t处的95%CI为：(y_fit-1.96*delta, y_fit+1.96*delta) 2.指数模型也适应 假设要拟合：y = a+b*exp(x)+c*exp(x.?2) p=polyfit(x,log(y),2) fminsearch函数
第4章违背基本假设的情况 思考与练习参考答案 4.1 试举例说明产生异方差的原因。 答：例4.1：截面资料下研究居民家庭的储蓄行为 Y i=β0+β1X i+εi 其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。 由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。 例4.2：以某一行业的企业为样本建立企业生产函数模型 Y i=A iβ1K iβ2L iβ3eεi 被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。 4.2 异方差带来的后果有哪些？ 答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果： 1、参数估计量非有效 2、变量的显著性检验失去意义 3、回归方程的应用效果极不理想 总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。 4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。 答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差
的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。 加权最小二乘法的方法： 4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。 答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为： ∑=----=n i ip p i i i p w x x y w Q 1211010)( ),,,(ββββββ （2） 加权最小二乘估计就是寻找参数p βββ,,,10 的估计值pw w w βββ?,,?,?10 使式（2）的离差平方和w Q 达极小。所得加权最小二乘经验回归方程记做 22011 1 ???()()N N w i i i i i i i i Q w y y w y x ββ===-=--∑∑22 __ 1 _ 2 _ _ 02 222 ()() ?()?1 11 1 ,i i N w i i i w i w i w w w w w kx i i i i m i i i m i w x x y y x x y x w kx x kx w x σβββσσ==---=-= = ===∑∑1N i =1 1表示=或