3.1=??????? ??yn y y 21
??111 12111xn x x 22212xn x x ?
??????xnp p x p x
21??????? ??p βββ 10 +??????
? ??n εεε 21即y=x β+ε
基本假定
（1）解释变量x1,x2...,xp 是确定性变量，不是随机变量，且要求rank(X)=p+1 （2)随机误差项具有零均值和等方差，即高斯马尔柯夫条件 n E ,2,1,0)(==τετ ? ??=0)cov(2,σεεγτγτγ τ≠=n 2,1,=γτ （3）对于多元线性回归的正态分布假定条件的矩阵模型为 ε~N （0，n I 2σ） 随即向量y~N(X n I 2,σβ) 3.2 当(1 )-X X T 存在时，回归参数的最小二乘估计为Y X X X T T 1)(-∧ =β，要求 出回归参数∧ β，即要求X X T 是一个非奇异矩阵，0≠X X T ，所以可逆矩阵X X T 为p+1阶的满秩矩阵，又根据两个矩阵乘积的秩不大于每一因子的秩rank(X)≥p+1,而X 为n ?(p+1)阶矩阵，于是应有n ≥p+1 结论说明，要想用最小二乘法估计多元线性回归模型的未知参数，样本量n 必须大于模型自变量p 的个数。 3.3 1 )())1((11)1(11)1(11)(11]))(()([11)(11)(11)11()(21)(1 2221112112 1 12 1 2 22222 +===?+-?--=---=---=--=+--=--=--=--=++=-=∑∑∑∑∑∑∑∑∑========∧=∧ p h H tr p n p n h p n h p n e D p n e E e D p n e E p n e E p n SSE p n E E en e e y y SSE n n n n n n n n n τττττττττττττττττττττσσσσσ注 3.4不能断定这个方程一定很理想，因为样本决定系数与回归方程中自变量的数目以及样本量n 有关，当样本量个数n 太小，而自变量又较多，使样本量与自变量的个数接近时，2R 易接近1，其中隐藏一些虚假成分。 3.5当接受H 0时，认定在给定的显著性水平α下，自变量x1,x2, xp 对因变量y 无显著影响，于是通过x1,x2, xp 去推断y 也就无多大意义，在这种情况下，一方面可能这个问题本来应该用非线性模型去描述，而误用了线性模型，使得自变量对因变量无显著影响；另一方面可能是在考虑自变量时，把影响因变量y 的自变量漏掉了，可以重新考虑建模问题。 当拒绝H 0时，我们也不能过于相信这个检验，认为这个回归模型已经完美了，当拒绝H 0时，我们只能认为这个模型在一定程度上说明了自变量x1,x2, xp 与自变量y 的线性关系，这时仍不能排除排除我们漏掉了一些重要的自变量。 3.6中心化经验回归方程的常数项为0，回归方程只包含p 个参数估计值p ∧ ∧ ∧ βββ ,,21比一般的经验回归方程减少了一个未知参数，在变量较多时，减少一个未知参数，计算的工作量会减少许多，对手工计算尤 为重要。 在用多元线性回归方程描述某种经济现象时，由于自变量所用的单位大都不同，数据的大小差异也往往很大，这就不利于在同一标准上进行比较，为了消除量纲不同和数量级的差异带来的影响，就需要将样本数据标准化处理，然后用最小二乘法估计未知参数，求得标准化回归系数。 3.7 对p p x x x y ττττββββ∧ ∧ ∧ ∧ ∧ ++++= 22110进行中心化处理得 )()()(222111p p p x x x x x x y y -++-+-=-∧ ∧ ∧ ∧ ττττβββ 再将等式除以因变量的样 本标准差yy L 则有 *τ∧ y = =-++-+-=-∧ ∧∧∧)()()(222111p p yy p yy yy yy x x L x x L x x L L y y ττττβββ pp p p yy pp p yy yy L x x L L L x x L L L x x L L ) () () (22 2222211 11111-+ +-+ -∧ ∧ ∧τττβββ = * * * * * * 2211p p x x x τττβββ∧ ∧ ∧ +++ 所以= ∧ * j βp j L L yy jj j ,2,1,=∧ β 3.8 （ij ?为相关阵（ij r )p p ?第i 行，第j 列的代数余子式） 22 1112 3;12????-= r =1 1)1(1 1)1(1 )1(13312 223321 12331212 1r r r r r r r +++-?---) 1)(1(2 2132331 2321r r r r r ---= 3.9 F j = )1()1()11()1()()1() ()1()1()1() 1(12 222 )()()()()()()()()()() (yj yj yj yj j j j j j j j j j j j r r p n r r p n SSE SSE SSE SSE SSE p n SSE SSE SSE SSE p n SSE SSE p n SSE SSR p n p n SSE SSR -?--=-??--=?-???--=???--=??--=??--=--?2yj r 小于1，F j 与2yj r 一一对应，所以F j 与2 yj r 等价 3.10 = --+--?--? =--+p p n SSE p n p SSR SSE p n p SSR p p n F F 1 11 )1(2)1(11R SST SSR SST SSE SSE SSR SSE SSE SSR SSE SSR SSE SSR p p n SSE SSR p p n ==?=+=+?--? -- 证得p p n F F R )1(2--+= 3.11 (1) 第五章 自变量选择对回归参数的估计有何影响 答：全模型正确而误用选模型时，我们舍去了m-p 个自变量，用剩下的p 个自变量去建立选模型，参数估计值是全模型相应参数的有偏估计。选模型正确而误用全模型时，参数估计值是选模型相应参数的有偏估计。 自变量选择对回归预测有何影响 （一）全模型正确而误用选模型的情况 估计系数有偏，选模型的预测是有偏的，选模型的参数估计有较小的方差，选模型的预测残差有较小的方差,选模型预测的均方误差比全模型预测的方差更小。 （二）选模型正确而误用全模型的情况 全模型的预测值是有偏的，全模型的预测方差的选模型的大，全模型的预测误差将更大。 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣 答：应该用自由度调整复决定系数达到最大的准则。当给模型增加自变量时，复决定系数也随之增大，然而复决定系数的增大代价是残差自由度的减小，自由度小意味着估计和预测的可靠性低。应用自由度调整复决定系数达到最大的准则可以克服样本决定系数的这一缺点,把2 R 给予适当的修正，使得只有加入“有意义”的变量时，经过修正的样本决定系数才会增加，从而提高预测的精度。 试述前进法的思想方法。 解：主要是变量由少到多，每次增加一个，直至没有可引入的变量为止。 具体做法是：首先将全部m 个自变量，分别对因变量y 建立m 个一元线性回归方程，并分别计算这m 个一元回归方程的m 个回归系数的F 检验值，记为 111 12{,,,} m F F F ，选其最大者 1111 12max{,, ,} j m F F F F =，给定显著性水平α，若 1(1,2) j F F n α≥-，则首先将 j x 引入回 归方程，假设 1 j x x =。其次，将 12131(,),(,),,(,)m y x x x x x x 分别与建立m-1个二元线性 回归方程，对这m-1个回归方程中 23,, ,m x x x 的回归系数进行F 检验，计算F 值，记为 222 23{,, ,} m F F F ，选其最大的记为 2222 23max{,, ,} j m F F F F =，若 2(1,3) j F F n α≥-，则 接着将j x 引入回归方程。以上述方法做下去。直至所有未被引入方程的自变量的F 值均小 第三章 回归分析基础 3.1 回归模型简介 一、数据、变量与模型 数据是进行模型分析的基础。一般地，数据可分为三类：一类为截面数据（Cross-Section Data ），一类为时间序列数据(Time-Series Data), 另一类为平行数据（Panel Data ）或混合数据(Mixed Data)。 截面数据研究个体在某个时点上的变化情况。例如，2001年1月末，全国各省、自治区、直辖市的国内生产总值（GDP ）、财政收入、财政支出、货币发行量、固定资产投资额、进出口总额等，均为截面数据。再如，在某一时点上，某地区家庭费用开支数据，也是典型的截面数据。 时间序列数据是研究个体在一定时期内的变化情况。时间序列数据在日常生活中随处可见。例如，建国以来我国历年的国内生产总值（GDP ）数据、居民消费额数据、零售物价指数数据等，均为时间序列数据。 平行数据是截面数据与时间序列数据的复合体，它既研究某段时间内个体的变化情况，又研究个体在每个时点上的变化情况。 变量是构成模型的框架，是对个体不确定性的一种因素度量。一般可将它分为两类：内生变量（Endogenous Variable ）和外生变量（Exogenous Variable ）。 内生变量是指由经济系统本身决定的变量。外生变量则指经济系统本身无法决定、并由外部因素决定的变量。内生产变量也称联合决定变量(Jointly-Determined Variables)。外生变量也称前定变量(Predetermined Variables)。例如，在简单的原油供求模型： 1111q a b p c y ε=+++（需求方程） 2222 q a b p c R ε=+++（供给方程） 中，原油总量q 和原油价格p 均为内生变量，而国民收入y 和降雨量R 均为外生变量。 值得注意的是，内生变量与外生变量的认定并不是一成不变的，在一定条件下二者可以相互转换，应视研究对象和研究目的的不同而不同。此外，内生变量与外生变量的划分直接关系到模型参数的估计与推断，这是后话。 第8章 非线性回归 思考与练习参考答案 8.1 在非线性回归线性化时，对因变量作变换应注意什么问题？ 答：在对非线性回归模型线性化时，对因变量作变换时不仅要注意回归函数的形式， 还要注意误差项的形式。如： (1) 乘性误差项，模型形式为 e y AK L αβε =， (2) 加性误差项，模型形式为y AK L αβ ε = + 对乘法误差项模型（1）可通过两边取对数转化成线性模型，（2）不能线性化。 一般总是假定非线性模型误差项的形式就是能够使回归模型线性化的形式，为了方便通常省去误差项，仅考虑回归函数的形式。 8.2为了研究生产率与废料率之间的关系，记录了如表8.15所示的数据，请画出散点图，根据散点图的趋势拟合适当的回归模型。 表8.15 生产率x （单位/周） 1000 2000 3000 3500 4000 4500 5000 废品率y （%） 5.2 6.5 6.8 8.1 10.2 10.3 13.0 解：先画出散点图如下图： 5000.00 4000.003000.002000.001000.00x 12.00 10.00 8.006.00 y 从散点图大致可以判断出x 和y 之间呈抛物线或指数曲线，由此采用二次方程式和指数函数进行曲线回归。 （1）二次曲线 SPSS 输出结果如下： Model Summ ary .981 .962 .942 .651 R R Square Adjusted R Square Std. E rror of the Estimate The independent variable is x. ANOVA 42.571221.28650.160.001 1.6974.424 44.269 6 Regression Residual Total Sum of Squares df Mean Square F Sig.The independent variable is x. Coe fficients -.001.001-.449-.891.4234.47E -007.000 1.417 2.812.0485.843 1.324 4.414.012 x x ** 2 (Constant) B Std. E rror Unstandardized Coefficients Beta Standardized Coefficients t Sig. 从上表可以得到回归方程为：72? 5.8430.087 4.4710y x x -=-+? 由x 的系数检验P 值大于0.05，得到x 的系数未通过显著性检验。 由x 2的系数检验P 值小于0.05，得到x 2的系数通过了显著性检验。 （2）指数曲线 Model Summ ary .970 .941 .929 .085 R R Square Adjusted R Square Std. E rror of the Estimate The independent variable is x. 应用回归分析课后答案 第二章一元线性回归 解答：EXCEL结果: SUMMARY OUTPUT 回归统计 Multiple R R Square Adjusted R Square 标准误差 观测值5 方差分析 df SS MS F Significance F 回归分析125 残差3 总计410 Coefficients标准误差t Stat P-value Lower 95%Upper 95%下限%上限% Intercept X Variable 15 RESIDUAL OUTPUT 观测值预测Y残差 1 2 3 4 5 SPSS结果：（1）散点图为： （2）x 与y 之间大致呈线性关系。 （3）设回归方程为01y x ββ∧ ∧ ∧ =+ 1β∧ = 12 2 1 7()n i i i n i i x y n x y x n x -- =- =-=-∑∑ 0120731y x ββ-∧- =-=-?=- 17y x ∧ ∴=-+可得回归方程为 （4）22 n i=1 1()n-2i i y y σ∧∧=-∑ 2 n 01i=1 1(())n-2i y x ββ∧∧=-+∑ =222 22 13???+?+???+?+??? （10-（-1+71））（10-（-1+72））（20-（-1+73））（20-（-1+74））（40-（-1+75）） []1 169049363 110/3= ++++= 1 330 6.13 σ∧=≈ （5）由于2 11(, )xx N L σββ∧ : t σ ∧ == 服从自由度为n-2的t分布。因而 /2 |(2)1 P t n α α σ ?? ?? <-=- ?? ?? 也即： 1/211/2 (p t t αα βββ ∧∧ ∧∧ -<<+=1α - 可得 1 95% β∧的置信度为的置信区间为（7-2.3537+2.353即为：（，） 2 2 00 1() (,()) xx x N n L ββσ - ∧ + : t ∧∧ == 服从自由度为n-2的t分布。因而 /2 (2)1 P t n α α ∧ ?? ?? ?? <-=- ?? ?? ?? ?? ?? 即 0/200/2 ()1 pβσββσα ∧∧∧∧ -<<+=- 可得 1 95%7.77,5.77 β∧- 的置信度为的置信区间为（） （6）x与y的决定系数 2 21 2 1 () 490/6000.817 () n i i n i i y y r y y ∧- = - = - ==≈ - ∑ ∑ （7） 第6章 6.1 试举一个产生多重共线性的经济实例。 答：例如有人建立某地区粮食产量回归模型，以粮食产量为因变量Y，化肥用量为X1，水浇地面积为X2，农业投入资金为X3。由于农业投入资金X3与化肥用量X1，水浇地面积X2有很强的相关性，所以回归方程效果会很差。再例如根据某行业企业数据资料拟合此行业的生产函数时，资本投入、劳动力投入、资金投入与能源供应都与企业的生产规模有关，往往出现高度相关情况，大企业二者都大，小企业都小。 6.2多重共线性对回归参数的估计有何影响？ 答：1、完全共线性下参数估计量不存在； 2、参数估计量经济含义不合理； 3、变量的显著性检验失去意义； 4、模型的预测功能失效。 6.3 具有严重多重共线性的回归方程能不能用来做经济预测？ 答：虽然参数估计值方差的变大容易使区间预测的“区间”变大，使预测失去意义。但如果利用模型去做经济预测，只要保证自变量的相关类型在未来期中一直保持不变，即使回归模型中包含严重多重共线性的变量，也可以得到较好预测结果；否则会对经济预测产生严重的影响。 6.4多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？ 答：有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精。 6.6对第5章习题9财政收入的数据分析多重共线性，并根据多重共线性剔除变量。将所得结果与逐步回归法所得的选元结果相比较。 5.9 在研究国家财政收入时，我们把财政收入按收入形式分为：各项税收收入、企业收入、债务收入、国家能源交通重点建设收入、基本建设贷款归还收入、国家预算调节基金收入、其他收入等。为了建立国家财政收入回归模型，我们以财政收入y（亿元）为因变量，自变量如下：x1为农业增加值（亿元），x2为工业增加值（亿元），x3为建筑业增加值（亿元），x4为人口数（万人），x5为社 2.1 一元线性回归模型有哪些基本假定？ 答：1. 解释变量 1x , ,2x ,p x 是非随机变量，观测值,1i x ,,2 i x ip x 是常数。 2. 等方差及不相关的假定条件为 ? ? ? ? ? ? ??????≠=====j i n j i j i n i E j i i ,0),,2,1,(,),cov(,,2,1, 0)(2 σεεε 这个条件称为高斯-马尔柯夫(Gauss-Markov)条件，简称G-M 条件。在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差2σ估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。 3. 正态分布的假定条件为 ???=相互独立 n i n i N εεεσε,,,,,2,1),,0(~212 在此条件下便可得到关于回归系数的最小二乘估计及2σ估计的进一步结果，如它们分别是回归系数的最及2σ的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。 4. 通常为了便于数学上的处理，还要求,p n >及样本容量的个数要多于解释变量的个数。 在整个回归分析中，线性回归的统计模型最为重要。一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。因此，线性回归模型的理论和应用是本书研究的重点。 1. 如何根据样本),,2,1)(;,,,(21n i y x x x i ip i i =求出p ββββ,,,,210 及方差2σ的估计; 2. 对回归方程及回归系数的种种假设进行检验； 3. 如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。 2.2 考虑过原点的线性回归模型 n i x y i i i ,,2,1,1 =+=εβ误差n εεε,,,21 仍满足基本假定。求1β的最小二 乘估计。 答：∑∑==-=-=n i n i i i i x y y E y Q 1 1 2112 1)())(()(ββ y1 1 x11 x12 x1p 0 1 3.1 y2 1 x21 x22 x2p 1 + 2 即y=x + yn 1 xn1 xn2 xnp p n 基本假定 (1) 解释变量x1,x2…,xp 是确定性变量，不是随机变量，且要求 rank(X)=p+1 n 注 tr(H) h 1 3.4不能断定这个方程一定很理想，因为样本决定系数与回归方程中 自变量的数目以及样本量n 有关，当样本量个数n 太小，而自变量又较 多，使样本量与自变量的个数接近时， R 2易接近1,其中隐藏一些虚 假成分。 3.5当接受H o 时，认定在给定的显著性水平 下，自变量x1,x2, xp 对因变量y 无显著影响，于是通过x1,x2, xp 去推断y 也就无多大意 义，在这种情况下，一方面可能这个问题本来应该用非线性模型去描 述，而误用了线性模型，使得自变量对因变量无显著影响；另一方面 可能是在考虑自变量时，把影响因变量y 的自变量漏掉了，可以重新 考虑建模问题。 当拒绝H o 时，我们也不能过于相信这个检验，认为这个回归模型 已经完美了，当拒绝H o 时，我们只能认为这个模型在一定程度上说明 了自变量x1,x2, xp 与自变量y 的线性关系，这时仍不能排除排除我 们漏掉了一些重要的自变量。 3.6中心化经验回归方程的常数项为0,回归方程只包含p 个参数估计 值1, 2, p 比一般的经验回归方程减少了一个未知参数，在变量较 SSE (y y)2 e12 e22 1 2 1 E( ) E( - SSE* - n p 1 n p n 2 [D(e) (E(e ))2 ] 1 n (1 1 n 2 en n E( e 1 1 n p 1 1 n p 1 1 "1 1 n p 1 J (n D(e) 1 (p 1)) 1_ p 1 1 1 n p 1 2 2 n E(e 2 ) (1 h ) 2 1 7.6一家大型商业银行有多家分行，近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做定量分析，以便找出控制不良贷款的方法。表7-5是该银行所属25家分行2002年的有关业务数据。 （1）计算y 与其余4个变量的简单相关系数。 由系数表可知，y 与其余4个变量的简单相关系数分别为0.844,0.732,0.700，0.519. （2）建立不良贷款对4个自变量的线性回归方程，所得的回归系数是否合理？ 由上表可知，回归方程为为： 022.1029.0015.0148.04.0?4321--++=x x x x y 从上表可看出，方程的自变量2x 、3x 、4x 未通过t 检验，说明回归方程不显著，而且由实际意义出发，4x 的系数不能是负的，所以所得的回归系数不合理。 （3）分析回归模型的共线性。 由上表可知，所有自变量对应的VIF 全部小于10，所以自变量之间不存在共线性。但进行特征根检验见下表： 由这个表可以看出来，第5行中1x 、3x 的系数分别为0.87和0.63，可以说明这两个变量之间有共线性。 （4）采用后退法和逐步回归法选择变量，所得的回归系数是否合理？是否还存在共线性？ 采用后退法（见上表），所得回归方程为972.0029.0149.0041.0y ?421--+=x x x 采用逐步回归法（见上表），所得回归方程为443.0032.005.0?41--=x x y 所得4x 的系数不合理（为负），说明存在共线性. （5）建立不良贷款y 对4个变量的岭回归。 第7章岭回归 思考与练习参考答案 7.1 岭回归估计是在什么情况下提出的？ 答：当自变量间存在复共线性时，｜X’X｜≈0，回归系数估计的方差就很大，估计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，70年代提出了岭回归(Ridge Regression,简记为RR)。 7.2岭回归的定义及统计思想是什么？ 答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其统计思想是对于（X’X）-1为奇异时，给X’X加上一个正常数矩阵 D, 那么X’X+D接近奇异的程度就会比X′X接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。 7.3 选择岭参数k有哪几种方法？ 答：最优 是依赖于未知参数 和 的，几种常见的选择方法是： 岭迹法：选择 的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多； 方差扩大因子法： ，其对角线元 是岭估计的方差扩大因子。要让 ； 残差平方和：满足 成立的最大的 值。 7.4 用岭回归方法选择自变量应遵循哪些基本原则？ 答：岭回归选择变量通常的原则是： 1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量； 2. 当k值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随着k的增加迅速趋近于零。像这样岭回归系数不稳定、震动趋于零的自变量，我们也可以予以剔除； 3. 去掉标准化岭回归系数很不稳定的自变量。如果有若干个岭回归系数不稳定，究竟去掉几个，去掉那几个，要根据去掉某个变量后重新进行岭回归分析的效果来确定。 第4章违背基本假设的情况 思考与练习参考答案 试举例说明产生异方差的原因。 答：例：截面资料下研究居民家庭的储蓄行为 Y i=β0+β1X i+εi 其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。 由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。 例：以某一行业的企业为样本建立企业生产函数模型 Y i=A iβ1K iβ2L iβ3eεi 被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。异方差带来的后果有哪些 答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果： 1、参数估计量非有效 2、变量的显著性检验失去意义 3、回归方程的应用效果极不理想 总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。 答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差 的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。 加权最小二乘法的方法： 简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。 答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为： ∑=----=n i ip p i i i p w x x y w Q 1211010)( ),,,(ββββββ （2） 加权最小二乘估计就是寻找参数p βββ,,,10 的估计值pw w w βββ?,,?,?10 使式（2）的离差平方和w Q 达极小。所得加权最小二乘经验回归方程记做 p pw w w w x x y βββ????110+++= （3） 22011 1 ???()()N N w i i i i i i i i Q w y y w y x ββ===-=--∑∑22 __ 1 _ 2 _ _ 02 222 ()() ?()?1 11 1 ,i i N w i i i w i w i w w w w w kx i i i i m i i i m i w x x y y x x y x w kx x kx w x σβββσσ==---=-= = ===∑∑1N i =1 1表示=或 第三章 回归分析原理 3·1、一元线性回归数学模型 按理说，在研究某一经济现象时，应该尽量考虑到与其有关各种有影响的因素或变量。但作为理论的科学研究来说，创造性地简化是其的基本要求，从西方经济学的基本理论中，我们可以看到在一般的理论分析中，至多只包含二、三个 变量的数量关系的分析或模型。 这里所讨论的一元线性回归数学模型，是数学模型的最简单形式。当然要注意的是，这里模型讨论是在真正回归意义上来进行的，也可称之为概率意义上的线性模型。 在非确定性意义上，或概率意义上讨论问题，首先要注意一个最基本的概念或思路问题，这就是总体和样本的概念。 我们的信念是任何事物在总体上总是存在客观规律的，虽然我们无论如何也不可能观察或得到总体，严格说来，总体是无限的。而另一方面，我们只可能观察或得到的是样本，显然样本肯定是总体的一部分，但又是有限的。 实际上概率论和数理统计的基本思想和目的，就是希望通过样本所反映出来的信息来揭示总体的规律性，这种想法或思路显然存在重大的问题。但另一方面，我们也必须承认，为了寻找总体的规律或客观规律，只能通过样本来进行，因为我们只可能得到样本。 在前面我们已经知道，用回归的方法和思路处理非确定性问题或散点图，实际上存在一些问题，亦即只有在某些情况下，回归的方法才是有效的。因此，在建立真正回归意义上建立其有效方法时，必须作出相应的假设条件。 基本假设条件： （1）假设概率函数)|(i i X Y P 或随机变量i Y 的分布对于所有i X 值，具有相同的方差2σ ，且2σ 是一个常数，亦即)(i Y Var =)(i Var μ=2σ。 （2）假设i Y 的期望值)(i Y E 位于同一条直线上，即其回归直线为 )(i Y E =i X βα+ 等价于 0)(=i E μ 这个假设是最核心的假设，它实际上表明)(i Y E 与i X 之间是确定性的关系。 （3）假设随机变量i Y 是完全独立的，亦即。j i u u Cov Y Y Cov j i j i ≠==,0),(),( 2.1 一元线性回归有哪些基本假定? 答： 假设1、解释变量X 是确定性变量，Y 是随机变量； 假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi )=0 i=1,2, …,n Var (εi )=σ2 i=1,2, …,n Cov(εi, εj )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X 之间不相关： Cov(X i , εi )=0 i=1,2, …,n 假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, σ2 ) i=1,2, …,n 2.2 考虑过原点的线性回归模型 Y i =β1X i +εi i=1,2, …,n 误差εi （i=1,2, …,n ）仍满足基本假定。求β1的最小二乘估计 解： 得： 2.3 证明（2.27式），∑e i =0 ，∑e i X i =0 。 证明： 其中： 即： ∑e i =0 ，∑e i X i =0 2.4回归方程E （Y ）=β0+β1X 的参数β0，β1的最小二乘估计与最大似然估计在什么条件下等价?给出证明。 ∑∑+-=-=n i i i n i X Y Y Y Q 1 21021 ))??(()?(ββ211 1 2 )?()?(i n i i n i i i e X Y Y Y Q β∑∑==-=-= 01????i i i i i Y X e Y Y ββ=+=-0 1 00??Q Q β β ??==?? 答：由于εi ~N(0, σ2 ) i=1,2, …,n 所以Y i =β0 + β1X i + εi ~N （β0+β1X i , σ2 ) 最大似然函数： 使得Ln （L ）最大的0 ?β，1?β就是β0，β1的最大似然估计值。 同时发现使得Ln （L ）最大就是使得下式最小， 上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在εi ~N(0, σ2 )的假设下求得，最小二乘估计则不要求分布假设。 所以在εi ~N(0, σ2 ) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。 2.5 证明0 ?β是β0的无偏估计。 证明：)1[)?()?(111 0∑∑==--=-=n i i xx i n i i Y L X X X Y n E X Y E E ββ )] )(1 ([])1([1011i i xx i n i i xx i n i X L X X X n E Y L X X X n E εββ++--=--=∑∑== 1010)()1 (])1([βεβεβ=--+=--+=∑∑==i xx i n i i xx i n i E L X X X n L X X X n E 2.6 证明 证明： )] ()1([])1([)?(102110i i xx i n i i xx i n i X Var L X X X n Y L X X X n Var Var εβββ++--=--=∑∑== 2 2221 2]1[])(2)1[(σσxx xx i xx i n i L X n L X X X nL X X X n +=-+--=∑= 2.7 证明平方和分解公式：SST=SSE+SSR ∑∑+-=-=n i i i n i X Y Y Y Q 1 2102 1 ))??(()?(ββ() ) 1()1()?(2 2 2 1 2 2 xx n i i L X n X X X n Var +=-+=∑=σσβ 应用回归分析课后习题 参考答案 Document number【SA80SAB-SAA9SYT-SAATC-SA6UT-SA18】 第二章一元线性回归分析 思考与练习参考答案 一元线性回归有哪些基本假定 答：假设1、解释变量X是确定性变量，Y是随机变量； 假设2、随机误差项ε具有零均值、同方差和不序列相关性：E(ε i )=0 i=1,2, …,n Var (ε i )=2i=1,2, …,n Cov(ε i, ε j )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X之间不相关： Cov(X i , ε i )=0 i=1,2, …,n 假设4、ε服从零均值、同方差、零协方差的正态分布 ε i ~N(0, 2) i=1,2, …,n 考虑过原点的线性回归模型 Y i =β 1 X i +ε i i=1,2, …,n 误差εi（i=1,2, …,n）仍满足基本假定。求β1的最小二乘估计解： 得： 证明（式），e i =0 ，e i X i=0 。 证明： ∑ ∑+ - = - = n i i i n i X Y Y Y Q 1 2 1 2 1 )) ? ?( ( )? (β β 其中： 即：e i =0 ，e i X i=0 2 1 1 1 2) ? ( )? ( i n i i n i i i e X Y Y Y Qβ ∑ ∑ = = - = - = ) ? ( 2 ?1 1 1 = - - = ? ?∑ = i i n i i e X X Y Q β β ) ( ) ( ? 1 2 1 1 ∑ ∑ = = = n i i n i i i X Y X β 01 ?? ?? i i i i i Y X e Y Y ββ =+=- 01 00 ?? Q Q ββ ?? == ?? 应用回归分析第三章习题 3.1 y x =β 基本假定： （1） 诸1234n x ,x x ,x x ……非随机变量，rank （x ）=p+1，X 为满秩矩阵 （2） 误差项()()200i i j E ,i j cov ,,i j ?ε=? ?δ=?εε=??≠?? （3）()2 0i i j ~N ,,?εδ??εε??诸相互独立 3.2 ()10111 ?X X X X |rank(X X )p rank(X )p n p -'β'≠'=+≥+≥+存在，必须使存在。即|则必有故 3.3 ()()()() ()22 11 122 12 22211111111 n n n i i ii i i i n ii i n i i E e D e h n h n p ?E E e n p n p n p =====??==-δ ????? =-δ=--δ ??? ??∴δ ==--δ=δ ? ----??∑∑∑∑∑ 3.4 并不能这样武断地下结论。2 R 与回归方程中的自变量数目以及样本量n 有关，当样本量n 与自变量个数接近时，2 R 易接近1，其中隐含着一些虚假成分。因此，并不能仅凭很大的2 R 就模型的优劣程度。 3.5 首先，对回归方程的显著性进行整体上的检验——F 检验 001230p H :β=β=β=β==β=…… 接受原假设：在显著水平α下，表示随机变量y 与诸x 之间的关系由线性模型表示不合适 拒绝原假设：认为在显著性水平α下，y 与诸x 之间有显著的线性关系 第二，对单个自变量的回归系数进行显著性检验。 00i H :β= 接受原假设：认为i β=0，自变量i x 对y 的线性效果并不显著 3.6 原始数据由于自变量的单位往往不同，会给分析带来一定的困难；又由于设计的数据量较大，可能会以为舍入误差而使得计算结果并不理想。中心化和标准化回归系数有利于消除由于量纲不同、数量级不同带来的影响，避免不必要的误差。 3.7 11 22 011122201122p p p p p p p ?????y x x x ??????y y (x x )(x x )(x x )????y x x )x x )x x )y =β +β+β++β-=β+β-+β-++β--ββ=-+-++-=对最小二乘法求得一般回归方程： ……对方程进行如下运算： …… ……*j j ?+β=……即 3.8 121321233132212312212331 312311232332 13 231313********* 111 r r r r r r r r r r r r r r r r r r r r r ?? ?= ? ????==-?= =-?= =-即证 1、 变量间统计关系和函数关系的区别是什么 答：函数关系是一种确定性的关系，一个变量的变化能完全决定另一个变量的变化；统计关系是非确定的，尽管变量间的关系密切，但是变量不能由另一个或另一些变量唯一确定。 2、 回归分析与相关分析的区别和联系是什么 答：联系：刻画变量间的密切联系； 区别：一、回归分析中，变量y 称为因变量，处在被解释的地位，而在相关分析中，变量y 与x 处于平等地位；二、相关分析中y 与x 都是随机变量，而回归分析中y 是随机的，x 是非随机变量。三、回归分析不仅可以刻画线性关系的密切程度，还可以由回归方程进行预测和控制。 3、 回归模型中随机误差项ε的意义是什么主要包括哪些因素 答：随机误差项ε的引入，才能将变量间的关系描述为一个随机方程。主要包括：时间、费用、数据质量等的制约；数据采集过程中变量观测值的观测误差；理论模型设定的误差；其他随机误差。 4、 线性回归模型的基本假设是什么 答：1、解释变量非随机；2、样本量个数要多于解释变量(自变量)个数；3、高斯-马尔科夫条件；4、随机误差项相互独立，同分布于2(0,)N σ。 5、 回归变量设置的理论根据在设置回归变量时应注意哪些问题 答：因变量与自变量之间的因果关系。需注意问题：一、对所研究的问题背景要有足够了解；二、解释变量之间要求不相关；三、若某个重要的变量在实际中没有相应的统计数据，应考虑用相近的变量代替，或者由其他几个指标复合成一个新的指标；四、解释变量并非越多越好。 6、 收集、整理数据包括哪些内容 答：一、收集数据的类型（时间序列、截面数据）；二、数据应注意可比性和数据统计口径问题（统计范围）；三、整理数据时要注意出现“序列相关”和“异 应用回归分析第三章习题 3.1 基本假定： （1） rank （x ）=p+1，X 为满秩矩阵 （2 （3 3.2 3.3 3.4 n 有关，当样本量n 1，其中隐含着一些虚假成分。因此，就模型的优劣程度。 3.5 首先，对回归方程的显著性进行整体上的检验——F 检验 接受原假设：在显著水平α下，表示随机变量 y与诸x之间的关系由线性模型表示不合适 拒绝原假设：认为在显著性水平α下，y与诸x之间有显著的线性关系 第二，对单个自变量的回归系数进行显著性检验。 y的线性效果并不显著 3.6 原始数据由于自变量的单位往往不同，会给分析带来一定的困难；又由于设计的数据量较大，可能会以为舍入误差而使得计算结果并不理想。中心化和标准化回归系数有利于消除由于量纲不同、数量级不同带来的影响，避免不必要的误差。 3.7 3.8 3.9 由上两式可知，j个因素的重要程度， 3.10 【没整出来……】 3.11 （1）计算可知，y与x1 x2 x3 的相关关系是： 则相关关系矩阵如下： （3）拟合优度检验 决定系数R2=0.708 R=0.898较大所以认为拟合度较高 （4）对回归方正作整体显著性检验 ANOVA b Model Sum of Squares df Mean Square F Sig. 1Regression13655.37034551.7908.283.015a Residual3297.1306549.522 Total16952.5009 ANOVA b Model Sum of Squares df Mean Square F Sig. 1Regression13655.37034551.7908.283.015a Residual3297.1306549.522 Total16952.5009 a. Predictors: (Constant), 居民非商品支出x3, 工业总产值x1, 农业总产值x2 b. Dependent Variable: 货运总量y F=8.283 取α=0.05时 P=0.015<0.05所以认为回归方程在整体上拟合的好 （5）对每个回归系数作显著性检验 α=0.05时，x3并未通过显著性检验 第7章 岭回归 思考与练习参考答案 7.1 岭回归估计是在什么情况下提出的？ 答：当自变量间存在复共线性时，｜X’X ｜≈0，回归系数估计的方差就很大， 估计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，70年代提出了岭回归(Ridge Regression,简记为RR)。 7.2岭回归的定义及统计思想是什么？ 答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其 统计思想是对于（X ’X ）-1为奇异时，给X’X 加上一个正常数矩阵D, 那么X’X+D 接近奇异的程度就会比X ′X 接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue 。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。 7.3 选择岭参数k 有哪几种方法？ 答：最优k 是依赖于未知参数β和2σ的，几种常见的选择方法是： ○ 1岭迹法：选择0k 的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多； ○ 2方差扩大因子法：11()()()c k X X kI X X X X kI --'''=++，其对角线元()jj c k 是岭估计的方差扩大因子。要让()10jj c k ≤； ○ 3残差平方和：满足()SSE k cSSE <成立的最大的k 值。 7.4 用岭回归方法选择自变量应遵循哪些基本原则？ 答：岭回归选择变量通常的原则是： 1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这 样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量； 2. 当k 值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随 第一章多元线性回归模型 前一章讲的简单线性回归模型，主要讨论的是一个应变量和一个解释变量之间的线性关系。而在实际的经济问题中，一个经济变量往往同多个经济变量相联系。比如，我们前面一直在举的例子：说消费支出与收入有关，而在实际生活中，消费支出同时又会与家庭的财富总量有关，还可能会与所处的年龄段、性别、所受教育程度等因素有关。所以，我们有必要将一个解释变量的情况推广到多个解释变量。利用多元回归方法进行分析/ 第一节多元线性回归模型及古典假定 一、多元线性回归模型 1、多元线性回归模型的一般形式： 总体回归方程：E（Y│X1，X2，…Xk）=β0+β1X1+β2X2+β3X3+…+βkXk Y=β0+β1X1+β2X2+β3X3+…+βkXk+μ 样本回归方程：Y=β0+β1X1+β2X2+β3X3+…+βkXk Y=β0+β1X1+β2X2+β3X3+…+βkXk+e 2、回归系数的经济意义： 简单线性回归中的回归系数的经济意义：如 Y=50.78+0.86X 系数代表每增加一元收入,消费支出要增加0.86元 多元线性回归中的回归系数的经济意义:由于多个解释变量会同时对应变量的变动发挥作用,因此,如果我们要考察其中某个解释变量对应变量的影响,就必须使其他解释变量保持不变来进行分析.所以,模型中的单个回归系数βj就表示当控制其他解释变量不变的条件下,第j个解释变量的单位变动对应变量均值的影响. 多元线性回归模型中这样的回归系数,称为偏回归系数。 与简单线性回归分析一样，多元线性回归分析要解决的主要问题仍是：根据观测样本估计模型中的各个参数；对估计的参数及回归方程进行统计检验；利用回归模型进行预测和经济分析。 二、模型的古典假定 在回归分析中，为了使所作出的估计具有较好的统计性质，我们对模型中的随机扰动项和解释变量作出一些假定。 多元线性回归模型的假定条件有： 假定1：零均值假定: 即假定随机扰动项彻底均值为零E（μi）= 0 假定2：同方差假定: μi 的方差为某个相同的常数Var（μi）=σ2 假定3：无自相关假定: 随机扰动项μi的逐次值互不相关 Cov(μi , μj )=0 （i≠j） 假定4：随机扰动项μi与解释变量Xi 不相关。 Cov(μi ,Xi )=0 假定5：正态性假定，即假定μi服从均值为零、方差为σ2的正态分布u~ N (0, σ2) 假定6：无多重共线性假定：即假定各解释变量之间不存在线性关系，或者说各解释变量的观测值之间线性无关。（这是多元线性回归模型与简单线性回归模型基本假定的区别） 多元线性回归模型参数所采用的最小二乘法估计思路以及估计的性质都与简单线性回归模型参数的估计是类似的，由于采用了矩阵，计算过程比较复杂，我们就省略了，因为实际操作过程中，这部分可以由软件代劳了。 第二节多元线性回归模型的检验 一、拟合优度检验 在简单线性回归模型中，我们用可决系数r2来衡量估计模型对观测值的拟合程度。在多元线性回归模型中，我们也需要讨论所估计的模型对观测值的拟合程度。 1、多重可决系数 R2=ESS/TSS=1—RSS/TSS 大小意义 在应用过程中，人们发现R2的大小对于解释变量的数目容易作出灵敏的反映。也就是说，随着模型中解释变量的增多，多重可决系数的值往往会变大，从而增加模型的解释功能。这给人们一个错觉：要使模型拟合得好，就必须增加解释变量。应用回归分析
第三章回归分析基础
应用回归分析,第8章课后习题参考答案
应用回归分析课后答案
应用回归分析第章课后习题答案
应用回归分析第2章课后习题参考答案
应用回归分析第三章课后习题整理
应用回归分析课后习题第7章第6题
应用回归分析,第7章课后习题参考答案
应用回归分析,第4章课后习题参考答案
第三章回归分析原理
应用回归分析 课后答案 浙江万里学院
应用回归分析课后习题参考答案
应用回归分析第三版·何晓群-第三章所有习题答案
第一章课后习题解答(应用回归分析)
应用回归分析第三版·何晓群-第三章所有习题答案
应用回归分析,第7章课后习题参考答案
第三章 多元线性回归模型
相关主题
文本预览