回归直线方程的推导
山东 王加祥范玉峰
设x 与y 是具有线性相关关系的两个变量,且相应于样本的一组观测值的 n 个点的坐标
分别是:(X i %),区,y 2),(X 3, y 3),L ,(x n ,y n ),下面给出回归方程的推导.
设所求的回归方程为$i bX i a , (i 1,2,3,L , n ).显然,上面的各个偏差的符号有正、
有负,如果将他们相加会相互抵消一部分, 上的接近程度,因而采用 n 个偏差的平方和 因此他们的和不能代表 n 个点与回归直线的整体
Q 来表示n 个点与相应直线(回归直线)在整体
上的接近程度,
n
即 Q
(y i %)2
i
n
2
(y i a)
(y 2
i
求出当Q 取最小值时的a b 的值,就求出了回归方程.
2 2 bx 2
a)
(y 3 bx 3 a) 2
L (y n bX n a).
、先证明两个在变形中用到的公式
_2
nx ,其中x 公式(一)
n
2 X
i
i i
证明:
n
2
(X i X)
i i n
(X i X)2 (X x)2
1
(X 2 X)2 X i X 2 L
X n
(X n
x)2
2 X i
2 X
2
L X n ) -2
nx
(X i 2
2 X
2
x 2) 2n=
n
-2
nx
(x f
2 X
2
x f )
2 X
i
i i
-2
nx
(
X
X)2
n
2
2
一
2
公式(二)
证明:?
(X i x)(y i
i i n
_
_
(X i x)(y i y)
i i
y)
(X i (X i y
X 2 y 2 L X n y n ) (X i y X i y i
1
x)(y i nxy
y) (X 2 y ?x
X)(y 2
y)
L
X n y
y n X) (X n X)(y n
y)
nxy
n
X i y i i n
XN
i i n X i y i i n
(X i
i i
[(X i X 2 L
X n )y (y i y ? L
n (X X 2 L Xn)~ (y i y 2
n
n
n
2nxy nxy
xy i
i i
_
_
n
x)(y i y)
X i y i nxy .
i i
nxy ,
y n )x] nxy
nxy
二、推导: 将Q 的表达式的各项先展开,
再合并、变形
2 2
Q (y i bx i a) (y 2 bx 2 a) S
2
bx 3 a) L (y n bX n
a)2
配方法
a, b 无关,为常数;前两项是两个非负数的和,因此
n
_
_
_ _
(X i x )(y i y )
要使得Q 取得最小值,当且仅当前两项的值都为
0 ?所以a y bX , b 宀
或
(X i x )2
i 1
n
__
X i y i nxy
b —n
L L 用公式(一)、(二)变形得
2 一2
X nx
i 1
三、总结规律
上述推导过程是围绕着待定参数 a, b 进行的,只含有X i , y i 的部分是常数或系数,用到 的方法有:①配方法,有两次配方,分别是
a 的二次三项式和
b 的二次三项式;②变形时,
用到公式(一)、(二)和整体思想;③用平方的非负性求最小值?④实际计算时,通常是分
2 2 (y
1
y 2 L
y n ) [2%(bx 1
a)
2y 2(bx 2
2
a) ]L L 展开 n
2
y i
i 1
n
2a y i
i 1 n .2 2 b X i
i 1
n
2ab x
i 1
na 2L L 合并同类项
na 2 n
y i
2na 丄-
n
n
X i b 亠 n
n .2 2
b X i
i 1
n 2b Xi%
i 1
n
y i 2以a, b 的次数为标准整理
i 1
na 2 2n a(y bx) n .2 2 b x i
i 1
n[a (y bx)]2
n(y bx )2
n 2b x y
i 1 n
.2 2
b X j
i 1
n[a (y bx)]2
_2 ____________ 2_2
ny 2nbxy nb x n[a (y 2
bx)]
n[a (y
2
bx)]
n
2 2
b ( X i
i 1 n 2
b (X i
i 1 -2
nx ) 2b( 变形
n[a (y
2
bx)]
n (X i i 1
(y _ 2
bx)
n
(x
i 1
2
x)
2
x)
x)2 b
n
y 2L
i 1
n
2b X i y i
i 1 n .2 2 b
X i
i 1
n
转化为平均数x y
n
y i 2L L
i 1
n
X i y i
1 n
(y i 2
i 1 n
(y i
i 1
配方法
2b i n
y i 2L
i 1 展开
X i y i nxy)
i 1 n
2b (X i x)(y y)
i 1
n
_ _
(X x)(y i
y)
i 1
n ~
(X i X)2
i 1
(y
1
—2
ny )L 2
y) L L
整理
用公式
2
y) L L 配方
n
(X i x)(y i
y)
i 1
n
(为 X)2
i 1
(X i x)(y i
y)
i 1
n
(X i X)2
i 1
n
2
(y y)2
L L
i 1
上式中,共有四项,后两项与
n n n n
x2 nx2步计算:先求出x,y,再分别计算(菁x)(y y) , (x x)2或x i y i nxy ,
i 1 i 1 i 1 i 1
的值,最后就可以计算出a, b的值.