第四章 最小二乘法与组合测量
§1概述
最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。
最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。
本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。
§2最小二乘法原理
最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。
dx v P i i i
i )2exp(21
22
σπ
σ-=
根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为
n i i
i n
i i dx v P P )]()(21exp[)2(12∑-
∏=
∏=σπσ 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即
∑=i
i
i Min v 2
2
σ
权因子：22o i i w σσ=即权因子i w ∝21
i
σ，则
2
[]i i wvv wv Min ==∑
再用微分法，得最可信赖值x
1
1
n
i i
i n
i
i w x
x w
===
∑∑ 即加权算术平均值
这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有：
∑===Min v vv i 2][
以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。
为从一组测量数据中求得最佳结果，还可使用其它原理。 例如
（1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-min max
以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，
至今仍用得最广泛。
§3.线性参数最小二乘法
先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。
1x =0.3
2x =-0.4
1x +3x =0.5
2x +3x =-0.3
这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理
∑=Min v
i
2分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程
组。
(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0
可求出唯一解1x =0.325,2x =-0.425, 3x =0.150这组解称之为原超定方程组的最小二乘解。
以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。 一、正规方程组
设线性测量方程组的一般形式为：
t it i i i x a x a x a y +++= 2211 ),,2,1(n i =
即
t
nt n n n t
t t t x a x a x a y x a x a x a y x a x a x a y +++=+++=+++=
22112222121212121111
式中，有n 个直接测得值n y y y ,,,21 ，t 个待求量t x x x ,,,21 。n>t,各i y 等权，无系统误差和粗大误差。
固i y 含有测量误差，每个测量方程都不严格成立，故有相应的测量残差方程组
∑=-=t
j j ij i i x a y v 1
),,2,1(n i =
i y 实测值
j x 待估计量，最佳估计值，最可信赖值
∑=t
j j ij
x a
1
最可信赖的“y ”值。
按最小二乘法原理，待求的j x 应满足
∑∑∑====-==n i t
j j ij i n i i Min x a y v vv 1
21
1
2
][][
上式分别对j x 求偏导数，且令其等于零，经推导得
??
?
?
?
??
=+++=+++=+++][][][][][][][][][][][][22112222211211221111a x a a x a a x a a a x a a x a a x a a a x a a x a a x a a t t t t t t t t t t 正规方程组
式中，j a ，y 分别为如下列向量
1122j n n a j y a j y a a j y ??
??
? ? ? ?== ? ? ? ???
??
y
][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a +++ 2211
][y a j =n nj j j y a y a y a +++ 2211 正规方程组有如下特点：
（1）主对角线系数是测量方程组各列系数的平方和，全为正数。 （2）其它系数关于主对角线对称
（3）方程个数等于待求量个数，有唯一解。
由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。 为了便于进一步讨论问题，下面借助矩阵工具给出正规方程组的矩阵形式。 记列向量
12n y y y ?? ? ?= ? ???Y 12t x x x ??
? ?= ? ?
??X 12n v v v ?? ? ?= ? ???V 12n l l l ?? ? ? ? ???
L =
和n ×t 阶矩阵
1112
12122
212
t t n n nt a a a a a a a a a ??
?= ? ???
A 则测量方程组可记为：
AX =Y —— 一般意义下的方程组
测量残差方程组记为
12L L Ln ?? ? ?= ? ???
L 当估计出的j x 已经是最可信赖的值，则AX 是i y 的最佳结果。
最小二乘原理记为
T ()()Min =L -AX L -AX
利用矩阵的导数及其性质有
()2()2()()
2()
22x x
x x ??=????=-??==①②T T
T T T T T T V V V V L X A L -AX A L -AX A L -A AX
令
()0x
?
=?T V V ，得正规方程组的矩阵形式。 T A AX =AL
展开系数矩阵T A A 和列向量T A L ，可得代数形式的正规方程组。 上述①②和矩阵的导数有关，因此，我们来分析“矩阵最小二乘法”。 二、矩阵最小二乘法 1. 矩阵的导数
设n t ?阶矩阵。
1112
12122
2122()()
t i t ij t ni n nt a a a A a a a a A A A a a a ??
?
=== ? ???
)
n 阶列向量（n+1阶矩阵）V 和t 阶列向量X
1122n t v x v x v x ???? ? ? ?
?== ? ? ? ???
??
V X
V 与X 的转置（行向量）记为T V 与T X .
关于向量X 的标量函数。
12()()t x x x ??=X
定义如下几个导数。
（1）矩阵对标量x 的导数
矩阵内A 元素ij a 是x 的函数，对矩阵AX 的导数，定义为各元素对x 的导数，构成新的导数矩阵。
若ij a 是变量x 的函数，则定义
()ij
da d dx dx
=A (E-1) （2）标量函数对向量的导数
标量函数?，对列向量X 的导数，等于标量函数?对向量X 的组成元素
(1)i x i t =～的导数组成的列向量（行向量的转置）
12
(
)T
t
y y y y x x x x ????=???? (E-2) 标量函数?，对行向量T X 的导数，等于标量函数?对向量X 的组成元素
(1)i x i t =～的导数组成的行向量。
21()()T T t y y y y y
x x x x x
?????==????? (E-3) （3）行（列）向量对列（行）向量的导数
12
()n v v v =T V
行向量T V 对列向量X 的导数等于行向量各组成元素，对列向量各组成元素分别求得
1
111
2
221n n i n n t t v v x x v v v v v x x x x x
x v v x x ???? ??? ? ???????
???==
????? ? ??? ? ?????
T V (E-4)
1
112
2121()t T
T n t T T
T n n i
t v v x x v v v v v x x x x x
v v x x ???? ??? ? ?????????? ???== ? ???????
? ? ??? ? ?????
＝T T V
V X X (E-5)
关于矩阵的导数有如下性质： （1）矩阵A 和B 乘积对标量x 的导数
()d d d dx dx dx
=+AB B A
A B (E-6) （2）常数阵的导数为零矩阵。
0d dx
=A
(E-7) （3）向量关于自身转置向量的导数为单位方阵。
I ?=?T T
X dX
=X dX
(E-8) （4）向量与向量转置乘积的导数
()????T T
V V V =2V x x (E-9) ()2??=??T T T T V V V V X X
(E-10) （5）关于常数矩阵与向量乘积的导数
()?
=?T X A A X (E-11) ()??T T
T
A X =A X
(E-12) ()????T T
V V AV =2AV X X (E-13) ()????T T
T T
V AV =2V A X X (E-14) 利用（E-1）、（E-4）、和（E-5）三个定义式，容易证明式（E-6）、（E-7）、（E-8）、和（E-11）、（E-11）成立。
①以下证明式（E-9）
注意到式（E-2）和式（E-4）即， 标量对列向量求导
12
()T
t
x x x x ???
?????=???? (E-2) 行向量对列向量求导1
111
12221()n n T
n n t t v v x x v v v v v x x v v x x ???? ??? ? ??????? ???== ????? ? ??? ? ?????
V X X X
X
(E-4) 式（E-9）
左11112122()22n n
i i n n
t t v v v v x x v x v v v v x
x ???
?+
+ ??? ??
?==?
??? ?++ ????
?∑ 1
1112
122n n n t
t v v v x x v x v v v x x ????
?? ??? ? ?? ? ?=== ?? ??? ?
??? ?????
右T V
V 类似地，可以证得式（E-10）成立。 ②再证明式（E-13）
注意到T V AV 是关于x 的标量函数，由式（E-2）知，只需证明
()2i i
x x ??=??T T
V V AV AV 由于121112112
1212()
()n n i i i T
n i
in n n nn i i i v v v a a a x x x V v v v x v v v a a a x x x ????
? ???? ?
?
?=? ?
??? ? ????
??
AV 11111111n n
i i n n n
nn n i i v v a v a v x x v v a v a v x ax α????+
+ ???
?
?=
?? ?+
+ ???
?＝1
111111
1n n i
i
n n n nn n i n
v v a v a v x x v v a v a v x x ????
++
??? ? ? ?
?? ?+
+ ?????
111112
11(
)n i n i
i n nn n i
a v a v v v v x x x an v a v x ++????? ?= ???? ?++???=?T V AV
所以式（E-13）左()+2i i i AV x x x ???===???右T T T V V AV V AV 2. 正规方程
设线性测量方程组与基残差方程组分别为
AX =Y (E-15)
L AX =V - (E-16)
式中A 为n t ?阶常数矩阵，
X 为t 阶待求向量，L 是已知的n 阶的测量向量，（注意12,,n l l l 均是已测量所得）
，V 是n 阶残差向量。 由最小二乘原理
()()Min =T T V V =L AX L AX --
求
()2??=??T T
V V V V X X
（矩阵性质(E-9)式） ()
2()()??=--??T T L X A L AX X X
注意到式（E-7）即常数阵的导数为零矩阵。
0?=?T
L X
注意到式（E-11）即
()?
=?T X A A X
，故 ()?=?T T T X A A X
所以
()2()
2()
?
=-?=-T T T T V V A L A X
A L A AX -- 令
()0?
=?T V V X
得正规方程组的矩阵形式 T T A A X =A L (E-18)
当T A A 满秩的情形，可求出
1()-=T T X A A A L (E-19)
一般地，可从式（E-15）出发，用稳定的数值解法，计算A 的广义逆阵1A -得
1A -=X L (E-20)
要进一步去研究此问题，可参阅有关近代矩阵分析及其数值方法的专著 3．待求量X 的协方差矩阵。 已知测量向量L 协方差矩阵。
()()T D E E E =--L L L L L =111212122
212n n n n nn Dl Dl Dl Dl Dl Dl Dl Dl Dl ??
?
?
?
???
式中，ii Dl 为ii l 的方差：
22(())ii i i i Dl E l E l σ=-=
ij Dl 为i l 与j l 的协的方差：
ij ij i j Dl ρσσ=
这里，假设12,,
,n l l l 为等精度、独立测量的结果，有
2D I σ=L
利用式（E-19）待求量X 的协方差
1111111
111121
()()[()(())][()(())]()(())()[()]()(())()()()()T
T T T T
E E E E E E E E E D D I σ--------------=--===T T T T T T T T T T T T T
T
T
T T T T T T X X X X A A A L A A A L A A A L A A A L A A A L L L L A A A A A A LA A A A A A LA A A =A A A A A A --
所以
12()D σ-=T X A A (E-21)
4.最小二乘法解的最佳性
可以证明，在等精度、独立和无系统误差的测量条件下，最小二乘法的解具有唯一性、无偏性、有效性和充分性。
证明：
1?.唯一性
因测量方程相互独立，且n>t,则T A A 满秩，式（E-18）有唯一解
2?.无偏性
对X 的估计式（E-19）求数学期望。
11(())()()E E x x --===T -1T T T T T A A A Y A A A Y A A A A
3?.有效性
设另有X 的无偏估计
*=G X Y
则有
E GE G *===X Y AX X
故 G I =A
又
22*()T T T D D G GG D GG I GG σσ====X Y Y
而 12()D σ-=T X A A 引入单位向量
???????
? ??=010 i ε
其中第i 行为1，其它为0
*i X 与i X 的方差分别为
22*σεεσT i T i i GG =
22*)(σεεσT i T i i A A =
以下证22*i i σσ≥
T i T T i A A GG εε))((1--
T i T T T T T T i GG A A GA G A A A A A εε))()()((111+--=---
T i T T T T i G A A A G A A A εε))()()((11--=--
0≥=T CC
其中第一等式利用了GA I =，1(())T T i C A A A G ε-==-是一常数，故
2
T C C C =。最后得证X 的方差最小，即X 的有效性成立。
4?.充分性
y 取到了测量样本12,,,n y y y 中的所有信息，故按（E-18）式求得x 的估计
量，显然也是充分的。
正是由于最小二乘法的解具有最佳性，所以，最小二乘法在精密测量的各个领域获得广泛应用。 三、精度估计
对测量数据的最小二乘法处理，其最终结果不仅要给出待求量的最可信赖值，还要确定其可信赖程度，即估计其精度。具体内容包含有两方面：一是估计直接测量结果12,,
,n y y y 的精度；二是估计待求量12,,,t x x x 的精度。
1．直接测量结果的精度估计
对t 个未知量的线性测量方程组 =AX Y 进行n 次独立的等精度测量，得
12,,,n l l l 其残余误差12,,
,n v v v 标准偏差σ。
如果i v 服从正态分布，那么2][σvv 服从2χ分布，其自由度n-t ，有2χ变量的数学期望t n vv E -=}/]{[2σ，以S 代σ。
即有 t
n vv S -=
]
[ 令t=1，由上式又导出了Bessel 公式。 2．待求量的精度估计
按照误差传播的观点，估计量12,,
,t x x x 的精度取决于直接测量数据
12,,,n l l l 的精度以及建立它们之间联系的测量方程组。
可求待求量的协方差（见二·3）
12()D σ-=T X A A
矩阵
1112121
2221
1
2
()t t t t tt d d d d
d d d d d -??????=??????
T A A 各元素ij d 可由矩阵T A A 求逆得，也可由下列各方程组分别解得。
111112121121112212211112121[][][]1[][][]0[][][]0t t t t t t t t t a a d a a d a a d a a d a a d a a d a a d a a d a a d +++=??+++=????+++=
?
112112221221212222221212222[][][]1[][][]0[][][]0t t t t t t t t t a a d a a d a a d a a d a a d a a d a a d a a d a a d +++=??+++=????+++=
?
111122121122221122[][][]1[][][]0[][][]0
t t t tt t t t tt t t t t t t tt a a d a a d a a d a a d a a d a a d a a d a a d a a d +++=??+++=????++
+=
? (5-51)
σ是直接测量数据的标准差，可按
t
n vv S -=
]
[估计 待求量j x 的方差
),,2,1(2
2
t j d jj xj ==σσ (5-52)
矩阵1()-T A A 中对角元素jj d 就是误差传播系数。 待求量i x 与j x 的相关系数。
),,2,1,(t j i d d d jj
ii ij ij ==
ρ
现在，可以解决本节开始提出的测量问题
例5-1 为精密测定1号、2号和3号电容器的电容123,,x x x ，进行了等权独立、无系统误差的测量。测得1号电容值1C =0.3，2号电容值2C =-0.4，1号和3号并联电容值3C =0.5，2号和3号并联电容值4C =-0.3。试用最小二乘法求
123,,x x x 及其标准差。
解：
①列出残差方程组
11223124230.30.40.5()0.3()
v x v x v x x v x x =-=--=-+=--+
为计算方便，将数据列表如下：
②按上表计算正规方程组各系数和常数项后，列出正规方程组
123123123200.8020.720.2
x x x x x x x x x ++=++=-++= 解出1x =0.325,2x =-0.425,3x =0.150 ③代入残差方程组，计算
12340.025v v v v ==-==-
0025.0][2
4232221=+++=v v v v vv
05.03
40025
.0=-=
σ ④按式（5-51），求出
11d =0.75, 22d =0.75, 33d =1 ⑤按式（5-52）
，求出xj σ=
10.0433x σ=，20.0433x σ=，30.050x σ=
⑥最后得1号、2号和3号电容器的精密电容值
113325.0x x σ±=,223425.0x x σ±-=，333150.0x x σ±-=
也可以用矩阵形式，这里显然：
①1
000101010
1
1?????
?=??
????A 0.30.40.50.3??
??-??=????-??
Y ②这样可求得1,()-T T T A ,A A A A 求逆阵： 则1()-=T T X A A A Y
③由-=Y AX V 求得V (14)i v i =～
④t
n v i
-∑=2σ
⑤由1()-=T D A A ，jj d 可得112233,,d d d ⑥σσjj xj d = ⑦写出结果。
§4 非线性参数的最小二乘法
在例5-1中，除了进行4次测量外，又对1号和2号电容器的串联电容
)/(2121x x x x +进行测量，测得5y ，方差仍为2σ，那么如何处理呢？简单的办法是把它线性化。所谓线性化，就是在未知量的附近，按泰勒级数展开取一次项，
然后按线性参数最小二乘法进行迭代求解。
线性化的具体步骤如下： 设测量残差方程组
i t i i v x x x y +=),,,(21 ?
(4-1)
取j x 的初始近似值j C 记
j j j x C ε=-
(4-2)
则有 i t i i v x x x y +=),,,(21 ?
1
1211(,,
,)i
i t t i t C
C
C C C v x x ???εε??=+
++
+?? 令 ),,,(21't i i i C C C y y ?-=
(4-3)
11i i C a x ??=
?，2i
i i
C
a x ?
?=?，i
it t C
a x ??=
?
(4-4)
于是得线性化残差方程组
i t it i i i v a a a y ++++=εεε 2211'
(4-5)
作法：按线性参数最小二乘法解得j ε，以至j x ，将此j x 作为新的j C ，按式（4-2），式（4-3），式（4-4）和式（4-5）进行反复迭代求解，直至j ε符合精度要求为止。
例5-2 在例5-1的基础上，再增加一次测量串联电容)/(2121x x x x +，测得
5y =0.14。试用最小二乘法求123,,x x x 及其标准差
解：先列出测量方程组
1x =0.3 2x =-0.4 1x +3x =0.5 2x +3x =-0.3
14.0)
(212
1=+x x x x
对前4个线性测量方程组，按例5-1求出解，作为初次近似解
150.0,425.0,325.0)
1(3)1(2)1(1=-==C C C
在(0.325,-0.425,0.150)附近，取泰勒展开的一阶近似，
'1
11112131
0.30.3250.025,
1,0y a a a x ??=-=-=
===? 1,0,
025.0425.04.0222321'2====+-=a a a y
0,1,
025.0)150.0325.0(5.0323331'3====+-=a a a y
1,0,025.0)150.0425.0(3.0434241'4===-=+---=a a a y
24125.1)425
.0325.0425
.0325.0(
14.0'5-=-?--=y
0625.18)
(2
2122
51=+=x x x a 0,5625.10)(532
212
152==+=a x x x a
写出线性化残差方程组
112233451
000.025
0100.025
1010.0250
110.025
18.062510.5625
0 1.24125v v v v v εεε=---?
??
?????-???
?????????
=-????
??
??--??????????--??
??
A
L V
ε
整理得正规方程组
????
?
??--=????? ??????? ??01107.134201.222111566.113785.1901785.190254.328321εεε
解出
0418.0,0363.0,0473.0321=-=-=εεε
取j x 的二次近似值
1918.0,4613.0,2777.0)
2(32)1(2)2(21)1(1)2(1=-=+==+=C C C C C εε
重复上述过程再求出321,εεε和。
依次迭代结果如表所示。
可见，经6次迭代，精度已达10-3，满足要求即可结束迭代。
§5 组合测量问题
所谓组合测量，是指直接或间接测量一组被测量的不同组合值，从它们相互组合所依赖的若干函数关系中，确定出各被测量的最佳估计值。组合测量的问题常用最小二乘法，以上两节所举精密测量电容值的问题就是一例。本节再介绍几个实例，以进一步说明组合测量方法的特点。
例4-3 如图所示，要求检定线纹尺0,1,2,3刻线间的距离x 1,x 2,x 3。已知用组全测量法测得图所示刻线间隙的各种组合量。
L 1=1.01, L 2=0.98, L 3=1.02 L 4=2.02,L 5=1.98,L 6=3.03 解：按前述方法，可以解得
x 1=1.028(0.011)，x 2=0.983(0.011)，x 3=1.013(0.011) 这里，着重说明组合测量方法的优点。
对比分析最小二乘法与回归分析
摘要 最小二乘法是在模型确定的情况下对未知参数由观测数据来进行估计，而回归分析则是研究变量间相关关系的统计分析方法。 关键词：最小二乘法回归分析数据估计
目录 摘要 (2) 目录 (3) 一：最小二乘法 (4) 主要内容 (4) 基本原理 (4) 二：回归分析法 (6) 回归分析的主要内容 (6) 回归分析原理 (7) 三：分析与总结 (10)
一：最小二乘法 主要内容 最小二乘法又称最小平方法是一种数学优化技术。它通过定义残差平方和的方式，最小化残差的平方和以求寻找数据的最佳函数匹配，可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称 为经验公式.利用最小二乘法可以十分简便地求得未知的数据，并使 得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化 熵用最小二乘法来表达。 基本原理 考虑超定方程组（超定指未知数大于方程个数）： 其中m 代表有m 个等式，n 代表有n 个未知数（m>n）；将其进行向量化后为： ，
， 显然该方程组一般而言没有解，所以为了选取最合适的 让该等式"尽量成立"，引入残差平方和函数S （在统计学中，残差平方和函数可以看成n 倍的均方误差当时， 取最小值，记作： 通过对进行微分求最值，可以得到： 如果矩阵非奇异则 有唯一解：
二：回归分析法 回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种 统计分析方法。回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，建立不同的回归模型，确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。当自变量的个数等于一时称为一元回归，大于1时称为多元回归，当因变量个数大于1时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性 回归。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，叫一元线性回归。 回归分析的主要内容 ①从一组数据出发，确定某些变量之间的定量关系式，即建立数 学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。 ②对这些关系式的可信程度进行检验。 ③在许多自变量共同影响着一个因变量的关系中，判断哪个（或 哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影 响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。 ④利用所求的关系式对某一生产过程进行预测或控制。
1. 2 y a bx =+. 解：1010654542.80a b a ε?=+-=?，1065414748998738643.00a b b ε?=+-=?，解方程得 4.00955,0.0471846a b ==，均方误差13.0346ε=。 2.下述矩阵能否分解为LU （其中L 为单位下三角阵，U 为上三角阵）？若能分解，那么分解是否唯一？ .461561552621,133122111,764142321??????????=??????????=??????????=C B A 解: 按高斯消去法，A 无法进行第二次消去，换行后可以分解，B 第二次消去可乘任意系数，分解不唯一，C 可唯一分解。 3.设方程组 ?????=+-=++--=++3103220241225321321321x x x x x x x x x (a) 考察用雅可比迭代法,高斯-塞德尔迭代法解此方程组的收敛性; (b) 用雅可比迭代法,高斯-塞德尔迭代法解此方程组,要求当4)()1(10||||-∞+<-k k x x 时迭代终止． 解： (a) Jacobi 迭代矩阵 ????? ??--=+=-03.02.05.0025.02.04.00)(1U L D B 特征方程为 0055.021.0||3=-+=-λλλB I 特征根均小于1，Jacobi 迭代法收敛。 Gauss-Seidel 迭代矩阵 ????? ??=-=-17.004.007.04.002.04.00)(1U L D G 特征方程为 0096.057.0||23=+-=-λλλλG I 特征根均小于1，Gauss-Seidel 迭代法收敛。 (b) Jacobi 迭代格式为 1)()1(f BX X k k +=+ 其中B 如上，T b D f )3.052.1(11-==-， 迭代18次得
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
最小二乘法拟合圆公式推导及vc实现[r] 最小二乘法(least squares analysis)是一种数学优化技术，它通过最小化 误差的平方和找到一组数据的最佳函数匹配。最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。最小二乘法通常用于曲线拟合 (least squar es fitting) 。这里有拟合圆曲线的公式推导过程和 vc实现。
此处使用平方差与最小二乘法差的平方不一样，但是仍然具有实用估计价值，并且可以化简公式。
VC实现的代码：C++类 void CViewActionImageTool::LeastSquaresFitting() { if(m_nNum<3) { return; } int i=0; double X1=0; double Y1=0; double X2=0; double Y2=0; double X3=0;
double Y3=0; double X1Y1=0; double X1Y2=0; double X2Y1=0; for(i=0;i 数学必修3测试题 说明：全卷满分100分，考试时间120分钟，交卷时只需交答题卷，考试时不能使用计算器. 参考:用最小二乘法求线性回归方程系数公式x b y a x n x y x n y x b n i i n i i i -=-?-= ∑∑==, 1 2 21 一、选择题：本大题共10小题，每小题3分，共30分．在每小题给出的四处备选项中，只有一项是符合 题目要求的． 1 ”可用于（ ） A 、输出a=10 a=10 C 、判断a=10 D 、输入a=10 2、已知甲、乙两名同学在五次数学测验中的得分如下：甲：85，91，90，89，95； 乙：95，80，98，82，95。则甲、乙两名同学数学学习成绩（ ） A 、甲比乙稳定 B 、甲、乙稳定程度相同 C 、乙比甲稳定 D 、无法确定 3、下列程序语句不正确．．． 的是（ ） A 、INPUT “MA TH=”；a+b+c B 、PRINT “MA TH=”；a+b+c C 、c b a += D 、1a =c b - 4、 在调查分析某班级数学成绩与 物理成绩的相关关系时，对数据进行 统计分析得到散点图（如右图所示）， 用回归直线?y bx a =+近似刻画 其关系，根据图形，b 的数值最有 可能是（ ） A 、 0 B 、 1.55 C 、 0.85 D 、 —0.24 5、用秦九韶算法求n 次多项式011 1)(a x a x a x a x f n n n n ++++=-- ，当0x x =时，求)(0x f 需要算 乘方、乘法、加法的次数分别为（ ） A 、 n n n n ,,2 ) 1(+ B 、n,2n,n C 、 0,2n,n D 、 0,n,n 6、为了在运行下面的程序之后得到输出16，键盘输入x 应该是（ ） INPUT x IF x<0 THEN y=(x+1)*(x+1) ELSE y=(x-1)*(x-1) END IF 第4题 第五章 最小二乘问题的解法 1.最小二乘问题 1)回归方程问题 []T i i l i y t t )() ()(1 ,,...,,m i ,...,2,1=是m 个实验点。现要根据这些点确定y 与l 个物理量 l t t t ,...,,21之间的关系式。 设这种关系式为),...,,,...,(11n l x x t t F y =，其中n x x ,...,1是方程中需要待定的n 个参数(系数)。 因此问题是如何通过)(n m m >个实验点，确定方程中的系数。 由于实验点的个数大于待定系数的个数，因此方程中系数的确定是一个超静定问题，无法按一般的方法进行求解。 此时将实验点到曲面距离最短的那个曲面作为所求曲面，从而求取该曲面方程。 即求解[]∑=-m i i i y x t F 12 )()(),(min ，这就是最小二乘问题。 2)非线性方程组问题 求解非线性方程组?? ? ?? ??===0),...,(. 0 ),...,(0 ),...,(11211n n n n x x f x x f x x f 可转化为求解如下形式的最小二乘问题。 ∑ =m i n i x x f 1 12 ),...,(min 显而易见，最小二乘法的一般形式可写为)()(min x f x f T 最小二乘法问题实际上是具有n 个变量的无约束极小化问题，前面解无约束优化问题的方法均可应用。 但是最小二乘问题具有一定的特殊性，即目标函数的表达式是由多个表达 式的平方和组成，理应有更、更有效的方法。这正是最小二乘解法要解决的问题。 2.线性最小二乘问题的解法 最小二乘法的一般形式可写为)()(min x f x f T 特别地，当b Ax x f -= )(，即)(x f 为线性函数时，则最小二乘问题可表示为： 2 min b Ax - 1) 线性最小二乘问题解的条件 定理1:*x 是线性最小二乘问题极小点的充要条件是*x 满足b A Ax A T T =。 证明：(1)必要性 令2 )(b Ax x s -= ，于是有： b b Ax b b A x Ax A x b Ax b A x b Ax b Ax x s T T T T T T T T T T +--=--=--=))(()()()( 由于b A x T T 是一个数，而一个数的转置是它的本身，因此有： Ax b A x b b A x b A x T T T T T T T T T T ===) () ( 故上式可化为：b b Ax b Ax A x x s T T T T +-= 2)( b A Ax A x s T T 22)(-=? 若*x 是)(x s 的极小点，则必有0)(=?x s ，则必有：b A Ax A T T = (2)充分性 若*x 满足b A Ax A T T =* ，即0)(*=-b Ax A T 考虑任一点n R z x v ∈+=*，计算 ---------------------------------------------------------------最新资料推荐------------------------------------------------------ 1 / 11 数学建模课件--最小二乘法拟合 4. 最小二乘法线性拟合 我们知道， 用作图法求出直线的斜率 a 和截据 b ， 可以确定这条直线所对应的经验公式， 但用作图法拟 合直线时， 由于作图连线有较大的随意性， 尤其在测量数据比较分 散时， 对同一组测量数据， 不同的人去处理， 所得结果有差异， 因 此是一种粗略的数据处理方法， 求出的 a 和 b 误差较大。 用最小二乘法拟合直线处理数据时, 任何人去处理同一组数据， 只要处理过程没有错误， 得到的斜率 a 和截据 b 是唯一的。 最小二乘法就是将一组符合 Y=a+bX 关系的测量数据， 用计算 的方法求出最佳的 a 和 b 。 显然， 关键是如何求出最佳的 a 和 b 。 (1) 求回归直线 设直线方程的表达式为： (2-6-1) 要根据测量数据求出最佳的 a 和 b 。 对满足线性关系的一组等精度测量数据（xi ， yi ），假定自变量 xi 的误差可以忽略， 则在同一 xi 下， 测量点 yi 和直线上的点 a+bxi 的偏差 di 如下： 显 然最好测量点都在直线上（即 d1=d2==dn=0）， 求出的 a 和 b 是最 理想的， 但测量点不可能都在直线上， 这样只有考虑 d1、 d2、 、 dn 为最小， 也就是考虑 d1+d2++dn 为最小， 但因 d1、 d2、 、 dn 普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下 （见图中的散点），假如模型（）的参数估计量已经求得到， 为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见 图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最 好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即 0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （） 所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成 最小二乘法圆拟合 1.最小二乘法圆拟合原理 理论 最小二乘法(Least Square Method )是一种数学优化技术。它通过最小化误差的平方和找到一组数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 最小二乘圆拟合模型公式推导 在二维平面坐标系中，圆方程一般可表示为: ()22020)(r y y x x =-+- （1） 对于最小二乘法的圆拟合，其误差平方的优化目标函数为： [] 2 12020)()(∑=--+-=n i i i r y y x x S 式中：()i i y x ,n i ,...,2,1=为圆弧上特征点坐标；n 为参与拟合的特征点数。 在保持这优化目标函数特征的前提上，我们需要对其用一种稍微不同的改进方法来定义误差平方，且其避免了平方根，同时可得到一个最小化问题的直接解，定义如下: [] 2 122020)()(∑=--+-=n i i i r y y x x E （2） 则（2）式可改写为： ( )2 12 20 0220 02 22∑=-+-++-=n i i i i i r y y y y x x x x E （3） 令,02y B -=,02x A -=22020r y x C -+= 即（3）式可表示为： () 2 22∑=++++=n i i i i i C By Ax y x E 由最小二乘法原理，参数A ,B ,C 应使E 取得极小值。根据极小值的求法，A ,B 和C 应满足 () 020 22=++++=??∑=i n i i i i i x C By Ax y x A E (4) () 020 22=++++=??∑=i n i i i i i y C By Ax y x B E (5) () 020 22=++++=??∑=n i i i i i C By Ax y x C E (6) 求解方程组，先消去参数C ,则 式()()∑=*-*n i i x n 064得 ( )0 02 202 030000002=+-++?? ? ??-+??? ??-∑∑∑∑∑∑∑∑∑∑==========n i i n i i i n i i i n i i n i n i i i n i i i n i n i i i n i i x y x y x n x n B y x y x n A x x x n （7） 式()()∑=*-*n i i y n 065得 ( )0 02 202 030002000=+-++?? ? ??-+??? ??-∑∑∑∑∑∑∑∑∑∑==========n i i n i i i n i i i n i i n i n i i i n i i n i n i i i n i i i y y x y x n y n B y y y n A y x y x n （8） 令 ??? ??-=∑∑∑===n i n i n i i i i x x x n M 000211（9） ?? ? ??-==∑∑∑===n i n i i i n i i i y x y x n M M 0002112（10） ?? ? ??-=∑∑∑===n i n i i i n i i y y y n M 000222（11） 应用EXCEL实现最小二乘法计算的方法有：利用EXCEL函数、利用数据分析工具、添加趋势线等。 ⑴表格与公式编辑 将最小二乘法计算过程，应用电子表格逐步完成计算，得到结果。 ⑵应用EXCEL的统计函数 A、LINEST（） 使用最小二乘法对已知数据进行最佳直线拟合，然后返回描述此直线的数组。也可以将LINEST 与其他函数结合以便计算未知参数中其他类型的线性模型的统计值，包括多项式、对数、指数和幂级数。因为此函数返回数值数组，所以必须以数组公式的形式输入。 B、SLOPE（） 返回根据known_y's和known_x's中的数据点拟合的线性回归直线的斜率。斜率为直线上任意两点的重直距离与水平距离的比值，也就是回归直线的变化率。 C、INTERCEPT（） 利用现有的x值与y值计算直线与y轴的截距。截距为穿过已知的known_x's和known_y's数据点的线性回归线与y轴的交点。当自变量为0（零）时，使用INTERCEPT函数可以决定因变量的值。 D、CORREL（） 返回单元格区域array1和array2之间的相关系数。使用相关系数可以确定两种属性之间的关系。 ⑶添加趋势线 添加趋势线的应用较其他方法直观，可以用来完成直线回归，也可以用来完成非线性回归。具体方法不再赘述。 ⑷数据分析工具 “回归”分析工具通过对一组观察值使用“最小二乘法”直线拟合来执行线性回归分析。本工具可用来分析单个因变量是如何受一个或几个自变量的值影响的。 “回归分析”对话框 Y值输入区域在此输入对因变量数据区域的引用。该区域必须由单列数据组成。 X值输入区域在此输入对自变量数据区域的引用。Microsoft Office Excel 将对此区域中的自变量从左到右进行升序排列。自变量的个数最多为16。 标志如果数据源区域的第一行或第一列中包含标志项，请选中此复选框。如果数据源区域中没有标志项，请清除此复选框，Excel将在输出表中生成适当的数据标志。 置信度如果需要在汇总输出表中包含附加的置信度，请选中此选项。在框中，输入所要使用的置信度。默认值为95%。 常数为零如果要强制回归线经过原点，请选中此复选框。 输出区域在此输入对输出表左上角单元格的引用。汇总输出表至少需要有七列，其中包括方差分析表、系数、y 估计值的标准误差、r2值、观察值个数以及系数的标准误差。 新工作表单击此选项可在当前工作簿中插入新工作表，并从新工作表的A1 单元格开始粘贴计算结果。若要为新工作表命名，请在框中键入名称。 新工作簿单击此选项可创建新工作簿并将结果添加到其中的新工作表中。 残差如果需要在残差输出表中包含残差，请选中此复选框。 标准残差如果需要在残差输出表中包含标准残差，请选中此复选框。 残差图如果需要为每个自变量及其残差生成一张图表，请选中此复选框。 线性拟合图如果需要为预测值和观察值生成一张图表，请选中此复选框。 正态概率图如果需要生成一张图表来绘制正态概率，请选中此复选框。 第二章 参数估计的最小二乘方法Least Squares §2—１静态线性模型参数的最小二乘估计（多元线性回归） 一、 什么是最小二乘估计 系统辨识三要素：模型，数据，准则。 例： y = ax + ε 其中：y 、x 可测；ε — 不可测的干扰项； a —未知参数。通过 N 次实验，得到测量数据 y k 和 x k k = 1、2、3 …，确定未知参数 a 称“参数估计”。 使准则 J 为 最小 ： 令：? J / ? a = 0 , 导出 a = ? 称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss 于 1792 年提出。 min )(2 1 =-=∑=k N k k ax y J 0)(21 =--=??∑=k k N k k ax y x a J 二、多元线性回归 线性模型 y = a 0+ a 1x 1+ + a n x n + ε 式(2 - 1- 1) 引入参数向量: θ = [ a 0,a 1, a n ]T (n+1)*1 进行 N 次试验，得出N 个方程： y k = ?k T θ + εk ; k=1、2…、N 式(2 -1- 2) 其中：?k = [ 1,x 1,x 2, ,x N ] T (n+1) *1 方程组可用矩阵表示为 y = Φ θ + ε 式（2 -1- 3） 其中：y = [ y 1,y 2, 。。。,y N ] T (N *1) ε = [ ε1, ε2, 。。。,ε N ] T (N *1) N *(n+1) 估计准则有： = （y — Φ θ）T ( y — Φ θ) (1*N) ( N *1) ?????? ? ???????=??????? ?? ???=T N T T nN N n n x x x x x x ???φ.... 1...........1 (1211212) 111 21)(θ?T k N k k y J -=∑=[] ? ? ?? ? ?????----=)(..)(*)(...)(1 111θ?θ?θ?θ?T N N T T N N T y y y y J 最小二乘法拟合椭圆 设平面任意位置椭圆方程为： x 2+Axy +By 2+Cx +Dy +E =0 设P i (x i ,y i )(i =1,2,…,N )为椭圆轮廓上的N (N ≥5) 个测量点，依据最小二乘原理，所拟合的目标函数为： F (A,B,C,D,E )=∑(x i 2+Ax i y i +By i 2+Cx i +Dy i +E)2 N i=1 欲使F 为最小，需使 ?F ?A =?F ?B =?F ?C =?F ?D =?F ?E =0 由此可以得方程： [ ∑x i 2y i 2∑x i y i 3∑x i 2y i ∑x i y i 2∑x i y i ∑x i y i 3∑y i 4∑x i y i 2∑y i 3∑y i 2∑x i 2y i ∑x i y i 2∑x i 3∑x i y i ∑x i ∑x i y i 2∑y i 3∑x i y i ∑y i 2∑y i 2∑x i y i ∑y i 2∑x i ∑y i N ] [ A B C D E ] =-[ ∑x i 3y i ∑x i 2y i 2∑ x i 3∑x i 2y i ∑ x i 2] 解方程可以得到A ，B ，C ，D ，E 的值。 根据椭圆的几何知识，可以计算出椭圆的五个参数：位置参数(θ,x 0,y 0)以及形状参数(a,b )。 x 0=2BC?AD A 2?4B y 0=2D ?AD A 2?4B a =√2(ACD ?BC 2?D 2+4BE ?A 2E )(A 2?4B )(B ?√A 2+(1?B 2)+1) b =√2(ACD ?BC 2?D 2+4BE ?A 2E )(A 2?4B )+√A 2+(1?B 2)+1) θ=tan ?1√ a 2? b 2B a 2B ?b 2 最小二乘法公式 ∑(X--X平)(Y--Y平) =∑(XY--X平Y--XY平+X平Y平) =∑XY--X平∑Y--Y平∑X+nX平Y平 =∑XY--nX平Y平--nX平Y平+nX平Y平 =∑XY--nX平Y平 ∑(X --X平)^2 =∑(X^2--2XX平+X平^2) =∑X^2--2nX平^2+nX平^2 =∑X^2--nX平^2 最小二乘公式（针对y=ax+b形式） a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2) b=y(平均)-ax（平均） 最小二乘法 在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1),(x2, y2).. (xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。 Y计= a0 + a1 X (式1-1) 其中：a0、a1 是任意实数 为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)²〕最小为“优化判据”。 令: φ = ∑(Yi - Y计)² (式1-2) 把(式1-1)代入(式1-2)中得: φ = ∑(Yi - a0 - a1 Xi)2 (式1-3) 当∑(Yi-Y计)²最小时，可用函数φ 对a0、a1求偏导数，令这两个偏导数等于零。 (式1-4) (式1-5) 亦即 m a0 + (∑Xi ) a1 = ∑Yi (式1-6) (∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7) 得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出： a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8) a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式 1-9) 这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即：数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、 x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。 R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊ 在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一最小二乘法 从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公式. 假定实验测得变量之间的个数据, , …, , 则在平面上, 可以得到个点 , 这种图形称为“散点图”, 从图中可以粗略看出这些点大致散落在某直线近旁, 我们认为与之间近似为一线性函数, 下面介绍求解步骤. 考虑函数 , 其中和是待定常数. 如果在一直线上, 可以认为变量之间的关系为 . 但一般说来, 这些点不可能在同一直线上. 记 , 它反映了用直线来描述 , 时, 计算值与实际值产生的偏差. 当然要求偏差越小越好, 但由于可正可负, 因此不能认为总偏差时, 函数就很好地反 精心整理 第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据 其后在 x x, , 2 1 n 2 1 显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即 权因子： 2 2 o i i w 即权因子 i w∝ 2 1 i ，则 再用微分法，得最可信赖值x 11 n i i i n i i w x x w 即加权算术平均值 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法 1x +3x =0.5 2x +3x =-0.3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理 Min v i 2 分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。 (1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0 可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。 以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。 即 x j ][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量 ][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211 第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即 权因子：2 2o i i w σσ=即权因子i w ∝21i σ，则 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5 【2-1】 设某物理量Y 与X1、X2、X3的关系如下：Y=θ1X 1+θ2X 2+θ3X 3 由试验获得的数据如下表。试用最小二乘法确定模型参数θ1、θ2和θ3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB 程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=inv(A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A 是ΦN, B 是YN ，运行M 文件可得结果： 在matlab 中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】 考虑如下模型 )()(3.03.115.0)(2 12 1t w t u z z z z t y ++-+=---- 其中w(t)为零均值、方差为1的白噪声。根据模型生成的输入/输出数据u(k)和y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法（λ=0.95）和递推最小二乘法估计模型参数（限定数据长度N 为某一数值，如N=150或其它数 用最小二乘法计算拟合曲线系数的MATLAB 程序 （1） 输入数据点m k y x k k ,,2,1),,( = 选择逼近函数类：)}(,),(),({10x x x span D n ??? = （2）求解法方程y A Ac A T T =* （3）得出拟合函数)()(0* *x c x n j j j ∑==?? clear all %% 清除了所有的变量，包括全局变量global load('F:\XX\XXX\datafile.mat') %%加载数据（mat 数据格式是matlab 的数据存储的标准格式） [r,c]=size(data); %%data 数据第一列为点序号，第二列为x 坐标，第三列为y 坐标 m=20; %%假设其运行次数 for n=1:m; for i=1:r/2 %%用数据的前半部分计算系数 x1=data(i,2); %%把数据的第i 行第2列赋值给x1 y1=data(i,3); %%把数据的第i 行第3列赋值给y1 for j=1:n; B1(i,j)=x1^(j-1); %%B1矩阵计算 end l(i,1)=y1; %%l 矩阵 end X=inv(B1'*B1)*B1'*l; %%系数矩阵 V=B1*X-l; [r1,c1]=size(B1); m0(n,1)=sqrt((V'*V)/(r1-c1)); %%单位权中误差 if n>2&&m0(n,1)>=m0(n-1,1); %%判断单位权中误差 disp(n) xsgs=n-1; %%单位权中误差最小时其系数的个数 zgcs=n-2; %%单位权中误差最小时其x 的最高次数 break %%如果找到了最优值时跳出循环 end end for i=1:r x2=data(i,2); y2=data(i,3); for k=1:xsgs; B2(i,k)=x2^(k-1); end 浅谈加权最小二乘法及其残差图 ——兼答孙小素副教授 何晓群 刘文卿 ABSTRACT The paper introduces some problems in relation to weighted least square regression ,and answers a question about weighted residual plots. 关键词：异方差；加权最小二乘法；残差图；SPSS 一、引言 好几年没有翻《统计研究》了。最近，有一同行朋友打电话告诉我《统计研究》2005年第11期上刊登了一篇有关我与刘文卿合作编著的《应用回归分析》（2001.6.中国人民大学出版社）教材的文章。赶紧找到这期的《统计研究》，看到其中孙小素副教授的文章《加权最小二乘法残差图问题探讨——与何晓群教授商榷》一文，以下简称《孙文》。认真拜读后感触良多。首先衷心感谢孙小素副教授阅读了我们《应用回归分析》拙作的部分章节，同时感谢《统计研究》给我们提供这样一个好的机会，使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。 《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。摆出了与加权最小二乘法相关的三类残差图，指出第三类残差图的局限性。直接的问题是三类残差图的作用，而更深层的原因应该是对加权最小二乘法统计思想的理解和认识上的差异。 二、对加权最小二乘法的认识 1. 加权最小二乘估计方法 拙作《应用回归分析》中对加权最小二乘法有详尽的讲述，这里仅做简要介绍。多元线性回归方程普通最小二乘法的离差平方和为： ∑=----=n i ip p i i p x x y Q 1 211010)(),,,(ββββββ （1） 普通最小二乘估计就是寻找参数p βββ,,,10 的估计值p βββ?,,?,?10 使式（1）的离差平方和Q 达极小。式（1）中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项i ε等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。 然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项i ε的方差2i σ大的项，在式（1）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估计 的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。 由式（1）求出的p βββ?,,?,?10 仍然是p βββ,,,10 的无偏估计，但不再是最小方差线性无偏估计。 加权最小二乘估计的方法是在平方和中加入一个适当的权数i w ，以调整各项在平方和最小二乘法求线性回归方程
第五章--最小二乘问题的解法
数学建模课件--最小二乘法拟合
普通最小二乘法(OLS)
最小二乘法圆拟合
应用EXCEL实现最小二乘法计算的方法
2动态过程数学模型参数估计的最小二乘方法
(完整版)最小二乘法拟合椭圆附带matlab程序
最小二乘法公式
第四章参数的最小二乘法估计
参数的最小二乘法估计
最小二乘法参数估计
用最小二乘法计算拟合曲线系数
最小二乘法
相关主题
文本预览