一元，多元线形回归分析：
一. 请分别叙述变量间统计关系与函数关系的区别，以及相关分析与回归分析的联系与区别。 答：各自然现象或社会现象之间普遍存在着各种联系，根据这些联系的紧密程度不同，可将之分为函数关系与统计关系。 一种情况下某变量Y 能被其余的一类变量1,,n X X K 完全决定，这时两者之间存在着完全的确定性关系，这种关系可以通过一个函数
1(,,)n Y f X X =K 表示。这样的确定性关系被称为函数关系。
另一种情况下变量之间虽然存在紧密的联系，但并不能互相唯一确定，这种非确定性的紧密联系被称为统计关系。 相关分析与回归分析都是研究两边统计关系的方法，在实际问题的处理中往往结合使用两者。两者的区别主要在于：1.目标不同：相关分析主要用于刻画X,Y 两变量间的联系的密切程度，而回归分析除此之外，还关心对未观察Y 值的预测与控制。2.角度不同：相关分析中X ，Y 两变量地位相同，因此假设两者都是随机变量；而回归分析中只将变量Y 作为主要研究对象，因而往往假设Y 是随机变量，而X 是非随机变量。
二. 请叙述（一元）多元线性回归模型及其基本假设 答：1.一元线性模型的基本形式是：
i 01i i y =+x +ββε ，其中01ββ，称为回归系数，i ε称为随机误差。 其基本假设为：
G-M 假设：
i i j 2
E =00Cov =,i j i j
εεεσ≠??=?，（，）
或者更强的正态性假设：
i ε独立同分布，21N εσ:（0，） 。
2.多元线性模型的基本假设是：
0p y=X +=,,T
βεβββK ，其中（）
称为回归系数阵，1=,,T n εεεK （）称为随机
误差.
其基本假设为： a. G-M 假设：
i i j 2
E =00Cov =,i j i j
εεεσ≠??=?，（，）
或者更强的正态性假设：
i ε独立同分布，21N εσ:（0，） 。 b.rank(X)=p+1 三． 请叙述最小二乘法（最大似然法）的基本思路、理论基础与性质，并对两者作比较。 答： 1. 最小二乘法的基本思路是通过最小化残差平方和 20p 011p 1 Q(,,)=(y )=(y x )'(y x )n i i ip i βββββββ=--∑K --x -...-x 求得回归系数i β的估计值。其理论基础是函数极值理论。 2．最大似然法的基本思路是最大化似然函数 /22/221 (2)()exp{(y x )'(y x )}2n n L πσββσ --=--- 求得回归系数i β的估计值。其理论基础是函数极值理论。 3.两者对β的估计结论是一致的，且结果均具有线性，无偏性，稳定性（在G-M 假设下是最小方差线性无偏估计，在正态性假设下是最小方差无偏估计，具体参见问题四）。 4.相对来说，使用最大似然法需要的假设较强，需要正态性假设，而最小二乘法本身不需要任何假设。但是，最大似然法可以得到2σ的估计，而最小二乘法不行。 四. 假设通过最小二乘估计得到回归方程01122y ...+i i i p pi x x x ββββε=++++ 的 估计，请叙述估计量1???=,,p βββK （）以及残差1n e=e ,,e K （）的定义及其性质。 答：1.估计量具有线性，无偏性，稳定性，即： a. ?β 是y 的线性变换1?=x'x xy β-（） b. ?β 是无偏的。?E ββ= c ．在G-M 假设下?β 是最小方差线性无偏估计，在正态性假设下是最小方差无偏估计。21?D()=x'x βσ-（）。 2. 残差?i i i e y y =-，它具有以下性质 a. i i Ee =E =0ε b. 21 D e =I-H),H=x x'x x',I σ-（）（ 其中（）是单位阵，即2,h H i ii ii σD （e ）=(1-h )是的主对角线元素。 c. x'e=0 d. ?(,)0Cov e β =,且正态性假设下两者独立 e ． 21 2 n i i e σ =∑服从自由度为n-p-1的开方分布，即 221 2 (n p 1)n i i e χσ =--∑: 五、叙述多元线性回归中常见的显著性检验方法及其关系。 答：常见的显著性检验方法有t 检验，F 检验，偏F 检验三种。假设检验水平 为α。 1.F 检验 012i H ==...00p ββββ==?≠原假设：备择假设：存在 检验统计量：/F= (p,n p 1)/1 SSR p F SSE n p ----: 判断法则：(p,n p 1)F F α>--时拒绝原假设。 2.t 检验 0H 00j j j ββ=?≠原假设：备择假设： 检验统计量：1?(n p 1),c x'x)jj t β---:其中是矩阵(的主对角元素 判断法则：/2|t|t (n p 1)α≥--时拒绝原假设。 3.偏F 检验 0H 00j j j ββ=?≠原假设：备择假设： 检验统计量： (j)(j)SSR F = (1,n p 1),SSR x /1 j j SSR F SSE n p -----:其中是剔除后的回归平方和。 判断法则：j (1,n p 1)F F α>--时拒绝原假设。 4.三者的关系。 t 检验与偏F 检验等价，F 检验与另两者不同（实质上是另两者的前提）， 通常先做F 检验，再做t 检验或偏F 检验。 六、给出一元回归模型估计值的点估计与区间估计（置信度1-α） 答：1.在未观测点0x 处，y 的点估计为0010???=+x y ββ。 2.在未观测点0x 处，0y 的区间估计为（预测区间） 2 00/200(x )1??t (n ,x y h n Lxx α-±-=+其中 n 相当大时(n>15),可以简化为0??2y σ±。 3. 在未观测点0x 处，0Ey 的区间估计为（置信区间） 2 00/200(x )1?t (n ,x y h n Lxx α-±-=+其中。 3. 给定置信上界2T 与置信下界1T 时，0x 的取值范围为 1020101 1 1020101 1 ????22?0??????22?0??T T x T T x σβσββββ σβσββββ +---><< +---<>>时，时， 七.叙述样本数据与回归系数标准化的意义与方法 答：多元线性回归模型中，由于自变量的数量级差异较大，因而舍入误差将对估计的精度造成较大的影响；同时自变量的单位不同也会造成回归方程的解释比较困难，因而通常需要对样本数据进行预处理，即数据的标准化。 数据的标准化通常这样进行： *2 ij 11 *2 i 11 x 1x ,(x )1 ,(y )n n j ij jj ij j i i n n i yy i i i x x x L x n y y y y L y n ====-==-==-∑∑∑∑其中其中 利用标准化样本数据的得到的回归方程系数*?i β称为标准化回归系数，其满足: **0 ???(1,2...,),0i i i p ββ===. 八.给出偏决定系数、偏相关系数的定义 答：1.当其余自变量固定时，i x 对y 的影响程度称为i x 的偏决定系数，定义为 11112 ;1,2,...i 1,1,...111(x ,...x ,x ,...x )(x ,...,x ) r (x ,...x ,x ,...x ) i i p p yi i p i i p SSE SSE SSE -+-+-+-= 2. 当其余自变量固定时，i x 与j x 的相关程度称为两者的偏相关系数，定义为 ??ij ;1,2...,...p r i ij i j -?=?其中是样本相关阵的行j 列的代数余子式。 计算： 1. （20分）近来某时尚杂志进行了一项关于高清数字电视的调查。对于各不同品牌不同型号的数字电视，该杂志基于画面质量给出了一个测试总分i x （i=1,2,…24），同时，该杂志也收集了这些数字电视的平均市场售价i y 。数据显示 24 24 1 1 1090,143101i i i i x y ====∑∑ 24 24 24 2 2 1 1 1 50528,877429461,6562786i i i i i i i x y x y ======∑∑∑ 假设样本数据符合正态性假设，随机项的方差为2σ。根据以上条件，请 （1）（5分）建立y 关于x 的一元线性回归方程 （2）（5分）给出作2σ的无偏估计。 （3）（5分）在=0.05α的显著性水平下，检验变量之间的显著性。（已知： 0.05F 22=4.30（1，）） （4）（5分）假设某种新上市的数字电视的评分为45分，请给出其市场建议价 0y ，并作该价格的置信水平为95%的区间估计。 解：（1）根据题意，有： x=45.42y=5962.54， -----------1分 22xx 1L =-n()1023.83n i i X X ==∑ ----------1分 xy 1 L =-n 63615.58n i i i X Y XY ==∑ ------------1分 从而101 L ???=62.13,3140.59xy xx y x L βββ==-= 所以回归方程为y=62.133140.59x + ---------2分 （2） 221 21SST=L -n(y)24183785.96, ?SSR 3952123.96,SSE=20231662n yy i i xx y L SST SSR β=====-=∑ ------3分 所以21 ?=919621n-2 SSE σ = -------2分 （3）建立假设为： 011H 00ββ=?≠原假设：备择假设： ------1分 构造检验统计量：/1 F= 4.30(1,22)/22 SSR F SSE =: ------3分 由于0.05F=4.30 4.30F 22≥=（1，）,所以拒绝原假设 ------1分 即认为变量之间存在显著的线性关系。 （4）0y 的估计值为0010???x =5936.44y ββ=+ ------1分 由于样本量较大，所以可以用近似公式计算预测区间 ------1分 即价格0y 的预测区间为 0??2=5936.442958.97=4018.507854.38y σ±±?（，） ------3分 2.（15分）某市最近进行的一项有关公共交通的调查发现，公交车的维护费用i y 与其已使用月数i x 之间的关系可以用一元线性回归模型i 01i i y x ββξ=++描述，其误差项满足1i i i ξξμ-=+，其中随机项i μ满足G-M 假设。实验的实际观测数据（10组）由下表给出，请根据数据给出该回归模型的估计，并预 测某辆已使用了4年的公交车的维护费用。 解：由于误差项满足1i i i ξξμ-=+，而i μ满足G-M 假设,所以可以通过差分法来消 除自相关性。 ------1分 对原样本数据做一阶差分11y ,i i i i i i y y x x x --?=-?=-，得到差分数据样本 ------4分 由于差分数据必然已中心化，所以差分回归模型为 i i ?y =x β??,其中2 22 ?=14.16n i i i n i i y x x β==??=-?∑∑ ------4分 从而回归方程为1111=-14.16(),=-14.16()i i i i i i i i y y x x y y x x -------即 ------4分 将11x 48=带入上述方程，得:11?6646.28y = ------2分 3.非参数检验（异方差） 证明：1.对一元线性模型证明三种检验统计量等价 证：对于一元线性回归模型来说，F 检验、t 检验、相关性检验的原假设与备择 假设相同，均为 011H 00ββ=?≠原假设：备择假设： ------2分 而三者的检验统计量分别为：/1F=/n-2SSR SSE ，1t 2t = ------1分 由各参数的定义 2211 22221 1 ??,()?,n yy i i xx i n xy xx i i xx yy yy SST L SSR y y L L L SSE e r L L L ββ====-=== =∑∑ ------3分 所以 2 222111??1/2 ?2 xx xx L L SSR F t SSE n SSE n ββ σ= ===-- ------2分 212 22 2 21?(n 2)r ?1SSE/n-2 12xx yy yy xx yy L L SSR t F r L L n L ββ-=== =--?- ------2分 所以22 12F t t ==，即三种检验完全等价。 2. 在正态性假设下，求证2 21 1??=()n-2n i i i y y σ=-∑ (一元)/ 2 21 1??=()n-p-1n i i i y y σ=-∑（多元）是2σ的无偏估计 a. 记1 H=x'x 'x x -（ ），则?y Hy =。再记??,i i i e y y e y y =-=-。则 1 ?(e)E(Y )[(I H)Y](I )E(Y)(I H)E(X )(I H)X -X'X X'X 0 E Y E H X HX X X βξβββββ-=-=-=-=-+=-=-==（）（） ------4分 22(e)CoV[(I H)Y,(I H)Y](I H)CoV(Y,Y)(I H)'(I H)(I H)'(I H) D σσ=--=--=--=- ------4分 所以2 Ee 0,(e )i i i Ee D == ------2分 从而 2 2 2 21 1 1 ?(y )(e )(I H)(n p 1)n n n i i i i i i i E y Ee D tr σσ===-===-=--∑∑∑ ------5分 即2 21 1??=()n-p-1n i i i y y σ=-∑是2σ的无偏估计，证毕。 b. 记i i ?e =y -i y . 则E 0i e =. -----1分 从而2???Ee (e )(y )Var(y )Var()2Cov(y ,)i i i i i i i i D D y y y ==-=+- ----2分 由正态性假设， 2(y )i Var σ= 2010101 2222 22???????Var =Var (,)()111[2x ][]i i i i i i i ii xx xx xx xx y Cov x x x x h n L L L n L ββββββσσσ-=++-?=+=（）(+x )=Var()+x Var()+2x ----3分 01122 22 2 ????Cov(y ,)Cov(y ,x )Cov(y ,y)(x )Cov(y ,)(x )(x )1(x )[]i i i i i i i i i i ii xx xx y x x x x h n L n L βββσσσσ=+=+---=+-=+= ----4分 从而22Ee (1-)i ii h σ= ----1分 22 2 211 1?(1h )()22n n ii ii i i E n h n n σσσσ===-=-=--∑∑ ---3分 所以2 21 1??=()n-2n i i i y y σ=-∑是2σ 的无偏估计 ----1分 3计算多元线性模型下，e β，的期望阵与方差 4. 证明数据标准化后参数估计值之间的转化关系 5.证明dw 的取值范围（0<=dw<=4） 2 221 1 1 2 2 2 2222 2 (e e ) 2DW n n n n t t t t t t t t t t n n t t t t e e e e e e ---======-+-= = ∑∑∑∑∑∑ --------2 分 1?n t t e e ρ -=∑ --------2分 样本充分大时，可以认为2212 2 n n t t t t e e -===∑∑ --------1分 从而 11 22 222 2 ?DW=2[1],n n t t t t t t n n t t t t e e e e e e ρ --====- =∑∑∑∑ --------3分 所以?2(1)DW ρ =- --------1分 又?11ρ -≤≤，从而0DW 4.≤≤ 其余： 一．叙述全模型、选模型的优缺点 答：设全模型为011y=+x +...+m m x βββε+，选模型为011y=+x +...+p p x βββε+（p 1. 选模型的缺点为： a. 设j x 与p+1x ,...m x 至少一个相关，则jp ?β是有偏的，即jp jp j ?E =βββ≠。 b. 选模型的预测值0p ?y 是有偏的,即0p 0?E y y ≠。 2. 选模型的优点为： a. 选模型回归参数的方差较小（稳定性较高），即 ??D()()jp jm D ββ≤ b. 选模型的预测值的残差方差更小，即 00(e )D(e )p m D ≤，其中000000??,p p m m e y y e y y =-=- c. 选模型的预测值的均方误差更小，即 22000(e )p m m Ee Ee D ≤= 二．叙述变量选择的基本准则 答：通常根据以下三种准则进行变量选择。 1. 自由度调整的复决定系数最大 自由度调整的复决定系数是基于拟合效果提出的变量选择参数，定义为 221R =1- (1)1n R n p α----g ，其中2SSR R SST =是回归方程的决定系数（拟合 优度）。 2. 赤池信息量（AIC ）或SBC 最小 赤池信息量是基于最大似然原则提出的变量选择参数，定义为 AIC=nln()+2p SSE n 。 SBC 是对AIC 的修正，定义为 SBC=nln()+2ln(p)SSE n 。 3. Mallows 统计量p C 最小 Mallows 统计量是基于预测效果（均方误差）提出的变量选择参数， 定义为 (n m 1)n 2p p m SSE C p SSE =---+g 。 三．叙述变量选择的基本方法及其比较 答：变量选择的基本方法有以下三种： 1.前进法，具体步骤为： a. 对所有可选变量1x ,,x p K 作一元线性回归，对这p 个回归方程分别 作F 检验，选择其中统计量最大值1i F 。若1(1,n 2)i F F α≥-，则将i x 选作回归自变量。 b. 对所有的二元变量对12(x ,x ),(x ,x )...(x ,x )i i p i 作二元线性回归，对 这p-1个回归方程分别作（偏）F 检验，选择其中统计量最大值2j F 。若2(1,n 3)j F F α≥-，则将j x 选作回归自变量。 c. 以此类推，直到引入q 个自变量后所有q+1元回归方程的F 统计 量值均小于(1,1)F n q α--。 2. 后退法，具体步骤为： a. 对全部可选变量1x ,,x p K 作P 元线性回归，对该回归方程作t 检验， 选择其中统计量最小值1i t 。若1/2t t (n 1)i p α≤--，则将i x 删除。 b. 对剩余自变量作p-1元线性回归，对该回归方程作t 检验，选择其 中统计量最小值2j t 。若2/2t t (n 2)j p α≤--，则将j x 删除。 c. 以此类推，直到所有剩余自变量均能通过t 检验。 3.逐步回归法，具体步骤为： a. 使用前进法选择自变量。 b. 每选入一个自变量，则利用后退法删除所有需要删除的自变量。 c. 以此类推，直到剩余自变量均不能被选入。 由于前进法有进无出（自变量被选入之后无法被删除），后退法有出 无进（自变量被删除后无法被再次选入），所以在选择效果上通常都不如逐步回归。 四．叙述所有违背基本假设的情形及其检验、改进方法 答：违背基本假设的情形一共有四种:异方差性、自相关性、异常值以 及多重共线性。 1. 异方差性： a.可以通过spearman 等级相关系数检验，其方法为： 0s s H 00γγ=?≠原假设：备择假设：， 其中2 s 2 1 61(n 1)n i i d n γ==--∑，i d 是|e |i i x 与的等级差。 检验统计量：(p,n 2)t -: 判断法则：/2||(2)t t n α>-时拒绝原假设。 b.可以通过加权最小二乘法改进 2. 自相关性 a.自回归阶数为1时可以通过D-W 检验法检验，其方法为： 根据样本容量n 与解释变量个数p+1查得dw 下届L d 与dw 上 界d U 。计算D-W 统计量，其定义为 2 i 1 2 22 (e )DW= n i i n i i e e -==-∑∑ 若U U U L 0d d d 4-d L L U L DW d DW ≤≤?? <≤?? ≤??≤??≤?存在正自相关不能判断无自相关性不能判断存在负自相关 b.可以通过迭代法或者差分法改进 3.异常值 异常值可以简单分为y 的异常值与x 的异常值两种。 a. y 的异常值可以用残差大小判断，通常认为学生化残差 i |SRE |>3或者标准化残差i |ZRE |3>即说明i y 是异常值；精确的 判断可以用学生化删除残差(i)SRE 进行，其中 1/2(i)2 2 ( )1i i n p SRE SRE n p SRE --=---。 b. x 的异常值可以用库克距离i D 判断，其定义为 2i 22 e D =,h ?(p 1)(1)i ii ii ii h h σ +-g 其中是杠杆值。 通常认为0.5i D <说明i x 不是异常值，1i D >说明i x 是异常值。 b ’ 对于x 还有强影响点的概念，是否属于强影响点可以通过杠 杆值h ii 判断，通常认为ii 3(p 1) h n +>说明i x 是强影响点。 3. 多重共线性 多重共线性可以通过方差扩大因子或者条件数进行检验。 a. 方差扩大因子法： j VIF 10≥即认为j x 与其余自变量之间存在着多重共线性。 也可用均值判断，若p 1 1VIF=1p i i VIF =>>∑即认为自变量整体 存在着较强的多重共线性。 b. 条件数法 条件数 m i x'x x'x i k λλ= 其中是的最大特征根，是的特征根。 若010k <<，则认为无多重共线性； 10100k ≤<，则认为有较强的多重共线性； 100k ≤，则认为有严重的多重共线性。 改进方法通常为改用有偏估计值估计回归系数。 五．叙述BOX-COX 变换的定义与基本思路 答：BOX-COX 变换是处理异方差性与自相关性的有效手段，基本思路是通 过对y 进行变换使其满足正态性假设以保证最小二乘法的优良性。 具体的方法为： () (y a)10y ln(y a) λλλλλ+-?>?=??+=? 其中a 为任意选取的正常数，以保证BOX-COX 的合理性。λ称为变换 参数，可以通过最大似然法估计。通常取 1 1(0((2 λλλ=-==倒数变换),对数变换)，平方根变换)。 六．叙述岭参数k 选择方法 答：通常有三种选择方法 1.通过岭迹法选择参数k 。 2.通过使所有的方差扩大因子jj c ≤（k ） 10来选择参数k,其中(k)jj c 是矩阵11 x'x+kI x'x x'x+kI --（）（） 的主对角线元素。 3.通过不等式(k)cSSE SSE <来选择参数k ，其中c 是预先指定的大于1的常数。 七．当自变量或因变量是定性变量时，回归方程的拟合方法 答：当自变量是定性变量时，我们通过引入虚拟变量来建立回归方程，方法为： 设定性自变量X 可以取值i A 1,2.....)i k =（， 则引入如下的k-1个自变量： 12k-1 12k-11,X=A 1,X=A 1,X=A x x ......x 0,0,0, ???===? ?????若若若；。其余其余其余 当因变量为只能取两值的定性变量时，我们改用逻辑回归模型拟合，回 归方程为： 011 011...1...E y ,,x .1p p p p x x n x x e e ββββββ+++++++K （|x ）= 第七章相关与回归分析 学习内容 一、变量间的相关关系 二、一元线性回归 三、线性回归方程拟合优度的测定 学习目标 1. 掌握相关系数的含义、计算方法和应用 2. 掌握一元线性回归的基本原理和参数的最小二 3. 掌握回归方程的显著性检验 4. 利用回归方程进行预测 5. 了解可化为线性回归的曲线回归 6. 用Excel 进行回归分析 一、变量间的相关关系 1. 变量间的关系（函数关系） 1)是一一对应的确定关系。 2)设有两个变量x和y，变量y 随变量x一起变化， 并完全依赖于x，当变量x 取某个数值时，y依确定的关系取相应的值， 则称y 是x的函数，记为y = f (x)，其中x 称为自变量，y 称为因变量。 3)各观测点落在一条线上。 4）函数关系的例子 –某种商品的销售额(y)与销售量(x)之间的关系可表示为 y = p x (p 为单价)。 –圆的面积(S)与半径之间的关系可表示为S = π R2。 –企业的原材料消耗额(y)与产量x1、单位产量消耗x2、原材料价格x3间的关系可表 示为y =x1 x2 x3。 单选题 下面的函数关系是（） A、销售人员测验成绩与销售额大小的关系 B、圆周的长度决定于它的半径 C、家庭的收入和消费的关系 D、数学成绩与统计学成绩的关系 2. 变量间的关系（相关关系） 1)变量间关系不能用函数关系精确表达。 2)一个变量的取值不能由另一个变量唯一确定。 3)当变量 x 取某个值时，变量 y 的取值可能有几个。 4)各观测点分布在直线周围。 5）相关关系的例子 –商品的消费量(y)与居民收入(x)之间的关系。 –商品销售额(y)与广告费支出(x)之间的关系。 –粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度 (x3)之间的关系。 –收入水平(y)与受教育程度(x)之间的关系。 –父亲身高(y)与子女身高(x)之间的关系。 3. 相关图表 1)相关表：将具有相关关系的原始数据，按某一顺序平行排列在一张表上，以观察它 们之间的相互关系。 2)相关图：也称为分布图或散点图，它是在平面直角坐标中把相关关系的原始数据用 点描绘出来，通常以直角坐标轴的横轴代表自变量x，纵轴代表因变量y。 4. 相关关系的类型 C ．(1-R)(k-1) 多元线性回归模型练习 一、单项选择题 1.在由n=30的一组样本估计的、包含3个解释变量的线性回归模型中，计算得可决系数为0.8500，则调整后的可决系数为（D） A.0.8603 B.0.8389 C.0.8655 D.0.8327 2.用一组有30个观测值的样本估计模型y t=b0+b1x1t+b2x2t+u t后，在0.05的 显著性水平上对b1的显著性作t检验，则b1显著地不等于零的条件是其统计量t大于等于（C） A.t0.05(30) B.t0.025(28) C.t0.025(27) D.F0.025(1,28) 3.线性回归模型y t=b0+b1x1t+b2x2t+......+b k x kt+u t中，检验 H0:b t=0(i=0,1,2,...k)时，所用的统计量服从(C) A.t(n-k+1) B.t(n-k-2) C.t(n-k-1) D.t(n-k+2) 4.调整的可决系数与多元样本判定系数之间有如下关系(D) A.R2=n-1 n-k-1 R2 B. R2=1-n-1 n-k-1 R2 C.R2=1-n-1 n-k-1 (1+R2) D. R2=1-n-1 n-k-1 (1-R2) 5.对模型Y i=β0+β1X1i+β2X2i+μi进行总体显著性F检验，检验的零假设是( A) A.β1=β2=0 B.β1=0 C.β2=0 D.β0=0或β1=0 6．设k为回归模型中的参数个数，n为样本容量。则对多元线性回归方程进行显著性检验时，所用的F统计量可表示为（B） A.RSS k-1)B． R2k (1-R2)(n-k-1) R2(n-k) 2 ESS/(k-1) D．TSS n-k) 7．多元线性回归分析中（回归模型中的参数个数为k），调整后的可决系数R2与可决系数R2之间的关系（A） R2=1-(1-R2)n-1 n-k-1 A. B.R2≥R2 实验五:残差分析 【实验目的】 （1）通过残差检验，掌握残差分析的方法 （2）异常值检验 【仪器设备】 计算机、spss软件、何晓群《实用回归分析》表和表的数据 【实验内容、步骤和结果】 对何晓群《实用回归分析》表的数据进行残差分析 原始数据如表1，其中y表示货运总量（亿吨）x1表示工业总产值（亿元）x2表示农业总产值（亿元）x3表示居民非商业支出（亿元） 表1. 对表1数据用spss软件进行分析得以下各表 由上表可知复相关系数R=，决定系数R方=，由决定系数看出回归方程的显著性不高，接下来看方差分析表3 由表3知F值为较小，说明x1、x2、x3整体上对y的影响不太显著。 表4系数 模型非标准化系数标准系数 t Sig. B标准误差试用版 1(常量).096 x1.385.100 x2.535.049 x3.277.284 表4系数 模型 非标准化系数 标准系数 t Sig. B 标准 误差 试用版 1 (常量) .096 x1 .385 .100 x2 .535 .049 x3 .277 .284 回归方程为 123348.280 3.7547.10112.447y x x x =-+++ 图1.学生化残差 差 残差: 对数据用spss进行分析得 表6异常值的诊断分析 数据不存在异常值.绝对值最大的删除学生化残差为SDR=,因而根据学生化删除残差诊断认为第6个数据为异常值.其中中心化杠杆值,cook距离为位于第一大.因此第6个数据为异常值. 对何晓群《实用回归分析》表的数据进行残差分析 原始数据为 : 表个啤酒品牌的广告费用和销售量 7.6一家大型商业银行有多家分行，近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做定量分析，以便找出控制不良贷款的方法。表7-5是该银行所属25家分行2002年的有关业务数据。 （1）计算y 与其余4个变量的简单相关系数。 由系数表可知，y 与其余4个变量的简单相关系数分别为0.844,0.732,0.700，0.519. （2）建立不良贷款对4个自变量的线性回归方程，所得的回归系数是否合理？ 由上表可知，回归方程为为： 022.1029.0015.0148.04.0?4321--++=x x x x y 从上表可看出，方程的自变量2x 、3x 、4x 未通过t 检验，说明回归方程不显著，而且由实际意义出发，4x 的系数不能是负的，所以所得的回归系数不合理。 （3）分析回归模型的共线性。 由上表可知，所有自变量对应的VIF 全部小于10，所以自变量之间不存在共线性。但进行特征根检验见下表： 由这个表可以看出来，第5行中1x 、3x 的系数分别为0.87和0.63，可以说明这两个变量之间有共线性。 （4）采用后退法和逐步回归法选择变量，所得的回归系数是否合理？是否还存在共线性？ 采用后退法（见上表），所得回归方程为972.0029.0149.0041.0y ?421--+=x x x 采用逐步回归法（见上表），所得回归方程为443.0032.005.0?41--=x x y 所得4x 的系数不合理（为负），说明存在共线性. （5）建立不良贷款y 对4个变量的岭回归。 中级经济师基础知识 第 1题：单选题(本题1分) 某公司产品当产量为1000单位时，其总成本为4000元；当产量为2000单位时，其总成本为5000，则设产量为x，总成本为y，正确的一元回归方程表达式应该是（ ）。 A、y = 3000 + x B、y = 4000 + 4x C、y = 4000 + x D、y = 3000 + 4x 【正确答案】：A 【答案解析】： 本题可列方程组：设该方程为y = a + bx，则由题意可得：4000 = a + 1000b5000 = a + 2000b 解该方程，得b=1，a=3000，所以方程为y = 3000 + x 第 2题：单选题(本题1分) 在回归分析中，估计回归系数的最小二乘法的原理是（ ）。 A、使得因变量观测值与均值之间的离差平方和最小 B、使得因变量估计值与均值之间的离差平方和最小 C、使得观测值与估计值之间的乘积和最小 D、使得因变量观测值与估计值之间的离差平方和最小 【正确答案】：D 【答案解析】： 较偏较难的一道题目。最小二乘法就是使得因变量的观测值与估计值之间的离差平方和最小来估计参数的一种方法 第 3题：多选题(本题2分) 关于相关分析和回归分析的说法，正确的的有（） A、相关分析可以从一个变量的变化来推测另一个变量的变化 B、相关分析研究变量间相关的方向和相关的程度 C、相关分析中需要明确自变量和因变量 D、回归分析研究变量间相互关系的具体形式 E、相关分析和回归分析在研究方法和研究目的有明显区别 【正确答案】：BDE 【答案解析】： 相关分析与回归分析在研究目的和方法上具有明显的区别。 （1）、相关分析研究变量之间相关的方向和相关的程度，无法从一个变量的变化来推测另一变量的变化情况。 （2）、回归分析是研究变量之间相关关系的具体形式 《实用回归分析》教学大纲 授课专业：统计学学时：56 学分：3.5 课程性质 本课程是统计专业的一门专业必修课，该课程主要介绍了回归分析的主要方法和思想，这些方法在经济、管理、医学、生物、社会学等各个领域得到了广泛的应用。 教学目的 通过本课程的学习，让学生会应用回归分析中的诸多方法进行数据分析和建模，通过和不同的学科知识相结合，对所考虑具体问题给出合理的推断。帮助学生获得回归分析的基本知识，掌握基本应用技能，了解本学科的特点和发展前沿。让学生在接受知识熏陶的同时，思维能力得以加强，数学修养得以提高。引导学生既重视理论知识又重视实际应用，努力把他们培养成复合型实用人才。 教学内容 了解建立实际问题回归模型的过程，掌握一元线性回归、多元线性回归模型的参数估计和回归方差的显著性检验，了解异常值和强影响值，掌握异方差性的诊断、自相关性的诊断、多重共线性的诊断和它们的建模处理；理解逐步回归和飞线性回归，会分析模型的结果和进行上机操作。 教学时数分配 56学时含实验8学时。 教学48学时 第一章2学时第二章4学时第三章8学时第四章8学时 第五章8学时第六章4学时第七章4学时第八章4学时 第九章4学时第十章4学时 实验教学8学时 根据实验操作结果、实验报告和实验考勤等方面，给出该课程的实验成绩，计入该课程的总成绩中。实验成绩占总成绩的20%。 实验指导书及主要参考书： (一) 何晓群编著,《实用回归分析》,高等教育出版社,2005年8月 。 教学方式 教学以课内讲授为主，配合计算机和专门软件上机演示和操作等多种教学形式。 第一章 统计学基础 教教学学要要求求 了解统计数据的整理和描述、几种重要的概率分布，掌握假设检验和参数估计。 教教学学要要点点 1、几种重要的概率分布 2、假设检验 3、 参数估计 第二章 回归分析概述 教教学学要要求求 了解和理解变量间的相关关系、回归方差和回归名称的由来，理解回归分析的主要内容及其一般模型，掌握建立实际问题回归模型的过程。 教教学学要要点点 1、变量间的相关关系 2、回归方差和回归名称的由来 3、回归分析的主要内容及其一般模型 4、建立实际问题回归模型的过程 第三章 一元线性回归 教教学学要要求求 了解一元线性回归模型的特点和基本假设，掌握回归模型的参数估计，理解最小二乘 基于主成分分析的我国地区经济指标研究 09统计班徐晓旺 【摘要】 地区经济的发展对我国现代化进程形成巨大的推动作用，而经济指标是评判地区发展水平的重要标志。根据搜集的相应数据建立数据库，基于主成分分析、同时运用聚类分析以及判别分析的多元统计方法，对全国各地区的经济状况进行综合指标分析。研究各省经济发展在全国的分布特征、筛选出具备可对比性的指标，进而探究造成差异的原因，同时具有针对性地提出相关建议。 【关键词】 主成分分析；聚类分析；判别分析；地区经济指标 一、引言 随着社会的不断进步，经济发展的车轮将会继续滚动。在整体水平提升的同时不难发现：我国各地区间发展势必存留着一定的差距，了解其具体的分布特征注定会是一个非常值得深入挖掘的信息。结合对进出口总额、居民消费水平等9个经济指标的研究，致力于分析各地区硬件发展水平、人民生活状况的异同与经济发展的相关性。 本文将对中国31个省份地区的经济指标进行分析。首先，应用主成分分析的方法对众多指标做降维处理并赋予各主成分以实际意义以获取综合性指标；进而，基于主成分分析结果通过聚类分析法把我国的31个地区分类；最后，根据聚类的结果建立判别函数同时运用判别分析将新疆、广东两个省份归类。 二、主成分分析 搜集到的经济指标为：进出口总额、地区生产总值、固定资产投资、邮电业务量、客运量、货运量、公交车运营数、居民平均工资和居民消费水平这九项指标。 在运用SPSS软件对以上数据开始分析前首先进行标准化处理，接着通过SPSS的操作，得到了如下的总方差分解结果（见表一）： 表一 由表一中结果可以看到保留2个主成分为宜，这2个主成分集中了原始9个变量信息的88.392%，可见效果比较好，这样原来的9个指标就可以通过这2个综合指标来反映。此时，这2个主成分就起到了降维的作用。通过SPSS进一步的操作还可以得到如下的主成分系数矩阵（见表二）： 表二 由表二可以得出前2个主成分的线性组合为： Y1 = 0.852 X1 + 0.979 X2 + 0.821 X3 + 0.957 X4 + 0.885 X5 + 0.742 X6 + 0.967 X7 + 0.226 X8 + 0.513 X9 Y2 = 0.393 X1 - 0.113 X2 - 0.419 X3 - 0.032 X4 - 0.233 X5 - 0.483 X6 + 0.109 X7 + 0.915 X8 + 0.786 X9 通过对上述线性组合的观察，我们可以得出：在主成分1中进出口总额、地区生产总值、固定资产投资、邮电业务量、客运量、货运量和公交车运营数这几项指标的系数明显比主成分2的系数大，可以将Y1归类为地区经济发展中的硬件基础指标；在主成分2中平均工资和消费水平指标的系数最大，可以将Y2归类为地区经济发展中的居民生活指标。 这样就将繁冗的9个指标归结为上述2个，这两项指标相互作用，共同反映地区经济发展情况。 主成分得分如下（见表三）： 表三 第7章岭回归 思考与练习参考答案 7.1 岭回归估计是在什么情况下提出的？ 答：当自变量间存在复共线性时，｜X’X｜≈0，回归系数估计的方差就很大，估计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，70年代提出了岭回归(Ridge Regression,简记为RR)。 7.2岭回归的定义及统计思想是什么？ 答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其统计思想是对于（X’X）-1为奇异时，给X’X加上一个正常数矩阵 D, 那么X’X+D接近奇异的程度就会比X′X接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。 7.3 选择岭参数k有哪几种方法？ 答：最优 是依赖于未知参数 和 的，几种常见的选择方法是： 岭迹法：选择 的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多； 方差扩大因子法： ，其对角线元 是岭估计的方差扩大因子。要让 ； 残差平方和：满足 成立的最大的 值。 7.4 用岭回归方法选择自变量应遵循哪些基本原则？ 答：岭回归选择变量通常的原则是： 1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量； 2. 当k值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随着k的增加迅速趋近于零。像这样岭回归系数不稳定、震动趋于零的自变量，我们也可以予以剔除； 3. 去掉标准化岭回归系数很不稳定的自变量。如果有若干个岭回归系数不稳定，究竟去掉几个，去掉那几个，要根据去掉某个变量后重新进行岭回归分析的效果来确定。 1 下面是7个地区2000年的人均国内生产总值（GDP）和人均消费水平的统计数据： 求：(1)人均GDP作自变量，人均消费水平作因变量，绘制散点图，并说明二者之间的关系形态。 (2)计算两个变量之间的线性相关系数，说明两个变量之间的关系强度。 (3)求出估计的回归方程，并解释回归系数的实际意义。 (4)计算判定系数，并解释其意义。 α=)。 (5)检验回归方程线性关系的显著性(0.05 (6)如果某地区的人均GDP为5000元，预测其人均消费水平。 (7)求人均GDP为5000元时，人均消费水平95％的置信区间和预测区间。 解：（1） 可能存在线性关系。 （2）相关系数： 系数a 模型非标准化系数标准系数 t Sig. 相关性 B标准误差试用版零阶偏部分 1(常量).003 人均GDP.309.008.998.000.998.998.998 a. 因变量: 人均消费水平 有很强的线性关系。 （3）回归方程：734.6930.309 y x =+ 系数a 模型非标准化系数标准系数t Sig.相关性 回归系数的含义：人均GDP没增加1元，人均消费增加元。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 注意：图标不要原封不动的完全复制软件中的图标，要按规范排版。 系数(a) 模型非标准化系数标准化系数 t显著性B标准误Beta 1（常量） 人均GDP（元） %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%（4） 模型汇总 模型R R 方调整 R 方标准估计的误 差 1.998a.996.996 a. 预测变量: (常量), 人均GDP。 人均GDP对人均消费的影响达到%。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 注意：图标不要原封不动的完全复制软件中的图标，要按规范排版。 模型摘要 模型R R 方调整的 R 方估计的标准差 地区人均GDP/元人均消费水平/元 22460 11226 34547 4851 5444 2662 4549 7326 4490 11546 2396 2208 1608 2035 求：(1)人均GDP作自变量，人均消费水平作因变量，绘制散点图，并说明二者之间的关系形态。 (2)计算两个变量之间的线性相关系数，说明两个变量之间的关系强度。 (3)求出估计的回归方程，并解释回归系数的实际意义。 (4)计算判定系数，并解释其意义。 (5)检验回归方程线性关系的显著性(0.05 α=)。 (6)如果某地区的人均GDP为5000元，预测其人均消费水平。 (7)求人均GDP为5000元时，人均消费水平95％的置信区间和预测区间。 解：（1） 可能存在线性关系。 （2）相关系数： 有很强的线性关系。 （3）回归方程：734.6930.309 y x =+ 回归系数的含义：人均GDP没增加1元，人均消费增加0.309元。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 注意：图标不要原封不动的完全复制软件中的图标，要按规范排版。 系数(a) 模型非标准化系数标准化系数 t 显著性B 标准误Beta 1 （常量）734.693 139.540 5.265 0.003 人均GDP（元）0.309 0.008 0.998 36.492 0.000 a. 因变量: 人均消费水平（元）%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% （4） 模型汇总 模型R R 方调整R 方标准估计的误 差 1 .998a.996 .996 247.303 a. 预测变量: (常量), 人均GDP。 人均GDP对人均消费的影响达到99.6%。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 注意：图标不要原封不动的完全复制软件中的图标，要按规范排版。 模型摘要 模型R R 方调整的R 方估计的标准差 1 .998(a) 0.996 0.996 247.303 第三篇 多元统计分析作业题 1 证明题 1）已知ψ==A X E X Z T T T ，这里用到关系1-ψ=E A 。以二变量为例证明： 12*-Λ=ψ=A X A X Z T T T 1)(-=T T A X 。 式中X 为标准化原始变量矩阵，A 为载荷矩阵，Z 为非标准化主成分得分，Z *为标准化的因子得分，E 为单位化特征向量构成的矩阵即正交矩阵，Ψ为特征根的平方根的倒数构成的对角阵，Λ为特征根构成的对角阵，对于二变量有 ?????? ??=ψ21 /10 /1λλ, ?? ? ???=Λ21 00λλ. 2）对于二变量因子模型，我们有 ?? ?++=++=222221122 112211111εεu f a f a x u f a f a x . 试以 x 1为例证明1 2 22==+j x j j u h σ ，这里∑== p k kj j a h 1 2 22 21 211a a +=。 2 计算题 1）现有一组古生物腕足动物贝壳标本的两个变量：长度x 1和宽度x 2。所测数据如下（表2.1）。 要求： ① 利用Excel 对数据进行主成分分析。 ② 借助SPSS 对该数据进行主成分分析，并计算结果与Excel 的计算结果进行对比，理解各个表格所给参数的含义。 ③ 用本例数据验证证明题?的推导结果。 表2.1 古生物腕足动物贝壳标本数据 样品编号 长度x 1 宽度x 2 样品编号 长度x 1 宽度x 2 1 3 2 14 12 10 2 4 10 15 12 11 3 6 5 16 13 6 4 6 8 17 13 14 5 6 10 18 13 15 6 7 2 19 13 17 7 7 13 20 14 7 8 8 9 21 15 13 9 9 5 22 17 13 《实用回归分析与实验》课程教学大纲 一、课程基本信息 二、课程简介 “回归分析”是现代统计学中理论丰富且应用广泛的一个分支，研究的是具有相关关系的变量间的统计规律性。它包括线性回归模型，方差分析模型等应用十分广泛的许多模型，其理论和方法也是学习和研究其它统计方法的基础．通过本课程的教学，使学生掌握回归分析的基本原理、基本方法，培养学生初步具有能结合实际情况对所获取的数据或具体的项目进行处理和分析的能力，能够用它们初步解决实际应用问题，为他们进一步从事理论研究或实际应用打下扎实的基础。 三、课程目标 本课程为专业主干课。培养学生获得回归分析的基本知识，掌握基本应用技能，了解本学科的特点和发展前沿，让学生在接受知识熏陶的同时，思维能力得以加强，数学修养得以提高，引导学生既重视理论知识又重视实际应用，努力把他们培养成复合型实用人才。 四、教学内容及要求 第一章回归分析概述（2 学时） （1）掌握回归分析应用及建立实际问题回归模型的过程； （2）熟悉回归分析的基本概念、回归分析的主要内容及其一般模型； （3）理解回归分析的主要内容； （4）了解回归方程与回归名称的由来； （5）初步了解回归分析发展述评。 第二章一元线性回归（6学时） （1）掌握参数的估计，最小二乘估计的性质，回归方程的显著性检验，残差分析；回归模型建立及预测；（2）熟悉一元线性回归模型及应用，回归系数的区间估计； （3）了解一元线性回归模型的一般应用； （4）初步了解一元线性回归模型的控制问题。 第三章多元线性回归（9学时） （1）掌握多元线性回归模型回归参数的估计、参数估计量的性质回归方程的显著性检验及应用； 第二章数据 行业公司简称净资产 收益 率% 总资产 报酬 率% 资产负 债率% 总资产周 转率 流动资 产周转 率 已获利 息倍数 销售增 长率% 资本积 累率% 电力、煤气及水的生产和供应业深能源Ａ16.8512.35 42.32 0.37 1.78 7.18 45.73 54.54 深南电Ａ2215.30 46.51 0.76 1.77 15.67 48.11 19.41 富龙热力8.977.98 30.56 0.17 0.58 10.43 17.80 9.44 穗恒运Ａ10.258.99 40.44 0.46 2.46 5.06 11.06 1.09 粤电力Ａ20.8120.00 35.87 0.43 1.25 34.89 24.77 12.67 韶能股份8.867.52 27.59 0.24 0.84 20.59 -3.50 54.02 惠天热电10.987.94 49.30 0.36 0.69 12.43 16.88 3.52 原水股份8.858.88 36.20 0.13 0.41 8.53 -11.49 2.44 大连热电9.037.41 46.89 0.28 0.79 6.86 16.23 -1.52 龙电股份12.078.70 16.81 0.28 0.68 29.75 4.11 63.06 华银电力 6.85 6.12 41.93 0.24 0.65 4.38 11.20 3.80 房地行业长春经开9.8510.50 31.23 0.34 0.40 17.13 18.05 7.18 兴业房产 1.07 1.52 66.91 0.21 0.24 1.53 -31.93 1.08 金丰投资19.447.01 73.34 0.26 0.30 7.02 71.22 12.73 新黄浦7.61 5.92 39.64 0.16 0.17 4.20 14.77 7.91 浦东金桥 4.24 3.99 37.30 0.20 0.25 3.98 -9.24 4.69 外高桥 1.673 1.92 49.05 0.03 0.05 1.06 -21.74 0.24 中华企业8.78 6.28 57.42 0.17 0.19 3.58 75.29 2.93 渝开发Ａ0.2 2.24 63.40 0.09 0.15 1.07 -12.56 0.29 辽房天8.12 3.98 69.10 0.10 0.72 2.65 -35.83 3.16 粤宏远Ａ0.42 1.16 37.42 0.09 0.15 1.59 19.18 0.43 ST中福 5.17 6.62 65.48 0.16 0.21 1.33 -19.91 23.74 倍特高新0.72 2.76 65.39 0.30 0.42 1.24 8.40 0.70 三木集团 5.99 4.53 65.17 0.74 0.88 4.14 75.36 0.87 寰岛实业0.420.20 24.03 0.02 0.03 -8.18 -71.33 0.42 中关村9.32 4.48 67.76 0.32 0.37 16.42 -29.42 4.09 信息技术 业中兴通讯18.7811.09 69.15 0.93 1.08 4.79 80.80 23.27 长城电脑14.949.48 45.53 1.14 1.85 9.51 34.47 35.93 青鸟华光9.7888.70 36.67 0.28 0.39 13.11 28.36 7.87 清华同方15.919.08 34.19 0.85 1.19 15.61 98.92 95.66 永鼎光缆9.48.67 32.75 0.79 1.25 13.49 41.75 6.33 宏图高科14.577.96 65.86 0.76 0.94 3.95 54.45 15.71 海星科技 4.06 3.35 36.49 0.48 0.60 4.64 -16.28 1.69 方正科技27.4816.69 57.13 2.51 2.87 7.40 63.27 32.02 第七章岭回归 1.岭回归估计是在什么情况下提出的？ 答：当解释变量间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘法的效果变得很不理想，为了解决这一问题，统计学家从模型和数据的角度考虑，采用回归诊断和自变量选择来克服多重共线性的影响，这时，岭回归作为一种新的回归方法被提出来了。 2.岭回归估计的定义及其统计思想是什么？ 答：一种改进最小二乘估计的方法叫做岭估计。当自变量间存在多重共线性，∣X'X∣≈0时，我们设想给X'X加上一个正常数矩阵kI(k>0),那么X'X+kI 接近奇异的程度小得多，考虑到变量的量纲问题，先对数据作标准化，为了计算方便，标准化后的设计 阵仍然用X表示，定义为 ()()1 ?'' X X I X y βκκ- =+ ，称为 β的岭回归估计，其中k 称为岭参数。 3.选择岭参数k有哪几种主要方法？ 答：选择岭参数的几种常用方法有1.岭迹法，2.方差扩大因子法，3.由残差平方和来确定k值。 4.用岭回归方法选择自变量应遵从哪些基本原则？ 答：用岭回归方法来选择变量应遵从的原则有： （1）在岭回归的计算中，我们假定设计矩阵X已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小，我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。 （2）当k值较小时标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k的增加迅速趋于零。像这样的岭回归系数不稳定,震动趋于零的自变量，我们也可以予以删除。 （3）去掉标准化岭回归系数很不稳定的自变量，如果有若干个岭回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某个变量后重新进行岭回归分析的效果来确定。 5.对第5章习题9的数据，逐步回归的结果只保留了3个自变量x1，x2，x5，用y对这3个自变量做岭回归分析。 答：依题意，对逐步回归法所保留的三个自变量做岭回归分析。 程序为： include'C:\Program Files\SPSSEVAL\Ridge regression.sps'. ridgereg dep=y/enter x1 x2 x5 /start=0.0/stop=1/inc=0.01. 1 下面是7个地区2000年的人均国生产总值（GDP）与人均消费水平的统计数据：地区人均GDP/元人均消费水平/元 北京上海 22460 11226 34547 4851 5444 2662 4549 7326 4490 11546 2396 2208 1608 2035 求：(1)人均GDP作自变量，人均消费水平作因变量，绘制散点图，并说明二者之间的关系形态。 (2)计算两个变量之间的线性相关系数，说明两个变量之间的关系强度。 (3)求出估计的回归方程，并解释回归系数的实际意义。 (4)计算判定系数，并解释其意义。 (5)检验回归方程线性关系的显著性(0.05 α=)。 (6)如果某地区的人均GDP为5000元，预测其人均消费水平。 (7)求人均GDP为5000元时，人均消费水平95％的置信区间与预测区间。 解：（1） 可能存在线性关系。 （2）相关系数： （3）回归方程：734.6930.309 y x =+ 回归系数的含义：人均GDP没增加1元，人均消费增加0.309元。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 注意：图标不要原封不动的完全复制软件中的图标，要按规排版。 系数(a) 模型非标准化系数标准化系数 t 显著性B 标准误Beta 1 （常量）734.693 .540 5.265 0.003 人均GDP（元）0.309 0.008 0.998 36.492 0.000 a. 因变量: 人均消费水平（元）%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% （4） 模型汇总 模型R R 方调整 R 方标准估计的误 差 1 .998a.996 .996 247.303 a. 预测变量: (常量), 人均GDP。 人均GDP对人均消费的影响达到99.6%。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 注意：图标不要原封不动的完全复制软件中的图标，要按规排版。 模型摘要 模型R R 方调整的 R 方估计的标准差 1 .998(a) 0.996 0.996 247.303 a. 预测变量:(常量), 人均GDP（元）。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 第7章 岭回归 思考与练习参考答案 7.1 岭回归估计是在什么情况下提出的？ 答：当自变量间存在复共线性时，｜X’X ｜≈0，回归系数估计的方差就很大， 估计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，70年代提出了岭回归(Ridge Regression,简记为RR)。 7.2岭回归的定义及统计思想是什么？ 答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其 统计思想是对于（X ’X ）-1为奇异时，给X’X 加上一个正常数矩阵D, 那么X’X+D 接近奇异的程度就会比X ′X 接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue 。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。 7.3 选择岭参数k 有哪几种方法？ 答：最优k 是依赖于未知参数β和2σ的，几种常见的选择方法是： ○ 1岭迹法：选择0k 的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多； ○ 2方差扩大因子法：11()()()c k X X kI X X X X kI --'''=++，其对角线元()jj c k 是岭估计的方差扩大因子。要让()10jj c k ≤； ○ 3残差平方和：满足()SSE k cSSE <成立的最大的k 值。 7.4 用岭回归方法选择自变量应遵循哪些基本原则？ 答：岭回归选择变量通常的原则是： 1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这 样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量； 2. 当k 值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随 第3章 多元线性回归 思考与练习参考答案 3.1 见教材P64-65 3.2 讨论样本容量n 与自变量个数p 的关系，它们对模型的参数估计有何影响？ 答：在多元线性回归模型中，样本容量n 与自变量个数p 的关系是：n>>p 。如果n<=p 对模型的参数估计会带来很严重的影响。因为： 1. 在多元线性回归模型中，有p+1个待估参数β，所以样本容量的个数应该大于解释变量的个数，否则参数无法估计。 2. 解释变量X 是确定性变量，要求()1rank p n =+ 自相关问题的建模处理 实验目的： 对数据模型进行回归分析及自相关性诊断，并用迭代法和差分法进行模型改进与评价。 实验准备： 计算机、SPSS软件、何晓群《实用回归分析》表7.7。 实验内容、步骤与结果： 一、回归分析及自相关性诊断： 1．搜集数据。从何晓群的《实用回归分析》中得到某软件公司月销售额数据，见表1。其中自变量x为总公司的月销售额（万元），因变量y为某分公司的月销售额（万元）。 表1：某软件公司月销售额数据 2．用SPSS软件录入数据，执行“图形、旧对话框、散点点状/散点图”并保存相应的x、y等，得到该软件公司月销售额数据的散点图，由散点图可以看出x 和y呈线性关系变化，见图1。 图1：某软件公司月销售额数据 3．执行“分析、回归、线性估计”保存相应的变量，得到输出结果。由系数表可以得出y对x的回归方程为： y=—1.453+0.176x 回归系数β 0、β 1 的检验t值分别为—5.903、107.928，各项的P值等于0.000， 说明x对y高度显著，见表2。 表2：系数表 4.由方差分析表可以看出：检验值F=11648.559，F>F0.05(1,118)=4.41，显著性si g≈0.00，表明回归方程高度显著，说明x对y有高度显著的线性影响，见表3。 5.由模型汇总表可知：复相关系数R=0.999，决定系数R2=0.998，由决定系数R2可以看出回归方程高度显著，见表4。 6.由回归未标准化残差散点图可以看出自变量y的残差大概在正负2σ的范围之中变化，说明回归模型满足基本假设，见图2。 图2：回归未标准化残差散点图 7.由相关性表可以看出自变量x与因变量y相关系数r=0.999，显著性p值等于0.000，认为自变量x与因变量y高度相关，见表。 多元统计分析实践论文 院系：理学院 专业：统计学 年级：2010 姓名：樊恩泽 学号：20101004005 我国城镇居民人均消费支出的多元统计分析 樊恩泽 摘要：本文本文综合了主成分因子分析与系统聚类分析,先进行主成分因子分析, 再用进行聚类分析。采用2011年我国31个省、市、自治区城镇居民人均消费支出数据，首先利用主成分因子分析的方法, 找出影响我国城镇居民人均消费支出的主成分, 计算各样本的主成分得分；其次运用系统聚类分析法，对各地区人均消费水平进行分类，结果表明，系统聚类分析法得到的结果也较好；最后对于扩大国内消费提出相关建议。 关键词：主成分分析聚类分析居民人均消费支出 1、引言 人均消费支出指居民用于满足家庭日常生活消费的全部支出，包括购买实物支出和服务性消费支出。消费支出按商品和服务的用途可分为食品、衣着、家庭设备用品及服务、医疗保健、交通和通讯、娱乐教育文化服务、居住、杂项商品和服务等八大类。人均消费支出是社会消费需求的主体，是拉动经济增长的直接因素，是体现居民生活水平和质量的重要指标。 本文选取2011年我国城镇居民人均消费支出数据，主要利用三种统计方法进行分析：主成分分析法、聚类分析法。将全国31个省、市、自治区进行分类和排序，并与人们实际观察到的情况进行比较。 1.1主成分分析 主成分分析是将分量相关的原始变量, 借助于一个正交变换转化为不相关的新变量, 并以方差作为信息量的测度, 对新变量进行降维, 取累计贡献率大的若干成分作为主成分。这些主成分能够反映原始变量的绝大部分信息, 它们通常表示为原始变量的某种线性组合。 1.2聚类分析 聚类分析是直接比较各事物之间的性质，将性质相近的归为一类，将性质差别较大的归入不同的类的分析技术。 在市场研究领域，聚类分析主要应用方面是帮助我们寻找目标消费群体，运用这项研究技术，我们可以划分出产品的细分市场，并且可以描述出各细分市场的人群特征，以便于客户可以有针对性的对目标消费群体施加影响，合理地开展工作 2、数据来源及处理 2.1统计思想 主成分因子分析的基本思想是通过对变量相关系数矩阵内部结构的研究，找出能控制所以变量的少数几个随机变量去描述多个变量之间的相关关系，并依据相关性的大小将变量分组，使得同组内的变量之间相关性较高，不同组的变量相关性较低。每组代表一个基本结构，这个基本结构成为公共因子。对于所研究的问题试图用最小个数的不可观测的所谓公共因子的线性函数与特殊因子之和来描述原来可观测的每一个变量。 下表是要进行处理的31个省市的城镇居民人均消费支出的相关原始数据，数据来源于《2011中国统计年鉴》。 X1：食品x2：衣着x3：居住x4：家庭用品x5：交通通信x6：文教娱乐x7：医疗保健 表1 应用回归分析-第7章课后习题参考答案 第7章 岭回归 思考与练习参考答案 7.1 岭回归估计是在什么情况下提出的？ 答：当自变量间存在复共线性时，｜X’X ｜≈0，回归系数估计的方差就很大， 估计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，70年代提出了岭回归(Ridge Regression,简记为RR)。 7.2岭回归的定义及统计思想是什么？ 答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其统计思想是对于（X ’X ）-1为奇异时，给X’X 加上一个正常数矩阵D, 那么X ’X+D 接近奇异的程度就会比X ′X 接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue 。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。 7.3 选择岭参数k 有哪几种方法？ 答：最优k 是依赖于未知参数β和2σ的，几种常见的选择方法是： ○ 1岭迹法：选择0k 的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太 多； ○ 2方差扩大因子法：11()()()c k X X kI X X X X kI --'''=++，其对角线元()jj c k 是岭估计的方差扩大因子。要让()10jj c k ≤； ○ 3残差平方和：满足()SSE k cSSE <成立的最大的k 值。 7.4 用岭回归方法选择自变量应遵循哪些基本原则？ 答：岭回归选择变量通常的原则是： 1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这 样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量； 第十二章相关与回归分析 一、填空 1.如果两变量的相关系数为0，说明这两变量之间_____________。 2.相关关系按方向不同，可分为__________和__________。 3.相关关系按相关变量的多少，分为______和复相关。4．在数量上表现为现象依存关系的两个变量，通常称为自变量和因变量。自变量是作为（变化根据）的变量，因变量是随（自变量）的变化而发生相应变化的变量。 5．对于表现为因果关系的相关关系来说，自变量一般都是确定性变量，因变量则一般是（随机性）变量。 6．变量间的相关程度，可以用不知Y与X有关系时预测Y的全部误差E1，减去知道Y与X有关系时预测Y的联系误差E2，再将其化为比例来度量，这就是（削减误差比例）。 7．依据数理统计原理，在样本容量较大的情况下，可以作出以下两个假定：（1）实际观察值Y围绕每个估计值 c Y是 服从（）；（2）分布中围绕每个可能的 c Y值的（）是相同的。 7.已知：工资（元）倚劳动生产率（千元）的回归方程为 x y c 80 10+ =，因此，当劳动生产率每增长1千元，工资就平 均增加80 元。 8．根据资料，分析现象之间是否存在相关关系，其表现形式或类型如何，并对具有相关关系的现象之间数量变化的议案关系进行测定，即建立一个相关的数学表达式，称为（回归方程），并据以进行估计和预测。这种分析方法，通常又称为（回归分析）。 9．积差系数r是（协方差）与X和Y的标准差的乘积之比。 二、单项选择 1．欲以图形显示两变量X和Y的关系，最好创建（D ）。A 直方图 B 圆形图 C 柱形图 D 散点图2．在相关分析中，对两个变量的要求是（A ）。 A 都是随机变量 B 都不是随机变量 C 其中一个是随机变量，一个是常数 D 都是常数 3. 相关关系的种类按其涉及变量多少可分为( )。 A. 正相关和负相关 B. 单相关和复相关 C. 线性相关和非线性相关 D. 不相关、不完全相关、完全相关4．关于相关系数，下面不正确的描述是（B ）。 A当0≤ ≤r1时，表示两变量不完全相关；B当r=0时，表示两变量间无相关； C两变量之间的相关关系是单相关；D如果自变量增长引起因变量的相应增长，就形成正相关关系。 5. 当变量X按一定数量变化时，变量Y也随之近似地以固定的数量发生变化，这说明X与Y之间存在( )。 A. 正相关关系 B. 负相关关系 C. 直线相关关系 D. 曲线相关关系 6．当x按一定数额增加时，y也近似地按一定数额随之增加，那么可以说x与y之间存在（A ）关系。 A 直线正相关 B 直线负相关 C 曲线正相关 D 曲线负相关 7．评价直线相关关系的密切程度，当r在～之间时，表示（ C ）。 A 无相关 B 低度相关 C 中等相关 D 高度相关 8.两变量的相关系数为,说明( ) A.两变量不相关 B.两变量负相关 C.两变量不完全相关 D.两变量完全正相关 9．两变量的线性相关系数为0，表明两变量之间（D ）。 A 完全相关 B 无关系 C 不完全相关 D 不存在线性相关 10.兄弟两人的身高之间的关系是( )A.函数关系 B.因果关系 C.互为因果关系 D.共变关系 11．身高和体重之间的关系是（C ）。A 函数关系 B 无关系 C 共变关系 D 严格的依存关系12．下列关系中，属于正相关关系得是（A ）。第7章 相关与回归分析。
多元线性回归模型练习题及答案
spss软件分析异常值检验实验报告
应用回归分析课后习题第7章第6题
26、回归分析测试题及答案
实用回归分析教学大纲
多元统计分析论文
应用回归分析,第7章课后习题参考答案
回归分析练习试题和参考答案解析
回归分析练习题及参考答案
03第三篇 多元统计分析作业题
实用回归分析与实验-教学大纲
何晓群多元统计分析(数据)
应用回归分析第七章答案
回归分析练习题与参考答案
应用回归分析,第7章课后习题参考答案
应用回归分析-第3章课后习题参考答案
自相关问题建模
多元统计分析论文
应用回归分析-第7章课后习题参考答案
第十二章相关与回归分析练习题
相关主题
文本预览