第十章：回归分析Regression（上）
在进行数据分析时往往会看到变量之间存在着一定的相关关系。变量之间相关密切程度的分析，我们称之为相关分析，上一节已讲述了。如果在研究变量之间的相关关系时，把其中的一些因素作为控制变量，而另一些随机变量作为它们的因变量，这种关系分析就称为回归分析。
regression菜单项包括如下内容：
linear 线性回归
curve estimation 曲线估计
binary logistic 二分量逻辑分析
Multinomial Logistic 多项式逻辑分析
Ordinal 标称变量分析
Probit 概率分析
Nonlinear 非线性回归
Weight Estimation 加权估计
2-Stage Least Squares 最小二乘法
10.1 Linear过程
10.1.1 一元线性回归
10.1.1.1 界面详解
10.1.1.2 输出结果解释
10.1.2 多元线性回归
10.1.2.1 分析实例
10.1.2.2 结果解释
10.2 Curve Estimation过程
10.2.1 界面详解
10.2.2 实例操作
10.3 Binary Logistic过程
10.3.1 界面详解与实例
10.3.2 结果解释
10.3.3 模型的进一步优化与简单诊断
10.3.3.1 模型的进一步优化
10.3.3.2 模型的简单诊断
§10.1Linear过程
10.1.1 一元线性回归
一般线性回归分析的基本步骤为：
1、确定回归方程中的自变量和因变量；
2、从搜集到的样本数据出发确定自变量和因变量之间的数学关系式，即建立回归方程；
3、对回归方程进行各种统计检验（回归方程拟合优度检验R2；回归方程的显著性检验F；回归系数显著性检验t；回归方程的残差分析等）
4、利用回归方程进行预测。
利用spss进行回归分析时，这四个基本步骤中的第一步由用户给定的。第二步和第三步是由spss自动完成。第四步的预测工作，用户可以利用Compute命令，在相应的算术表达式框中输入回归方程公式，spss将依据公式自动计算出预测结果。
例10.1：请分析在数据集Fat surfactant.sav中变量fat对变量spovl的大小有无影响？
变量分析：这里spovl是模型中的因变量，根据回归模型的要求，它必须是正态分布的变量才可以，我们可以用直方图来大致看一下，可以看到基本服从正态，因此不再检验其正态性，继续往下做。
10.1.1.1 界面解释
在菜单中选择Regression==>liner，系统弹出线性回归对话框如下：
【Dependent框】
用于选入回归分析的应变量。
【Block按钮组】
由Previous和Next两个按钮组成，用于将下面Independent框中选入的自变量分组。由于多元回归分析中自变量的选入方式有前进、后退、逐步等方法，如果对不同的自变量选入的方法不同，则用该按钮组将自变量分组选入即可。在多元回归分析的例子会讲解其用法。
【Independent框】
用于选入回归分析的自变量，一元回归时为一个变量；多元回归时可输入多个变量。
【Method下拉列表】
用于选择对自变量的选入方法，有Enter（强行进入法）、Stepwise（逐步法）、Remove（强制剔除法）、Backward（向后法）、Forward（向前法）五种。该选项对当前Independent框中的所有变量均有效。其中三种基本方法为：
Forward（向前法）：该法是变量不断进人回归方程的过程。首先选择与因变量具有最高相关系数的自变量进入方程，并对它进行回归系数显著性检验。然后，在剩余的变量中寻找与因变量偏相关系数最高并通过检验的自变量进人回归方程，并对方程中所有的自变量进行显著性检验。这样一直下去，直到再也没
有可进人方程的变量为止。
向后筛选法（Backward）。该法是变量不断剔除回归方程的过程。首先将所有变量全部引入回归方程。然后，进行回归系数显著性检验，在一个或多个t检验值不显著的变量中，将t值最小的那个变量剔除，然后再重新拟合回归方程，并进行各种检验。如果新方程中所有变量的回归系数的t值都是显著的，则变量筛选过程结束。否则，按照上述方法再剔除最不显著的一个自变量，直到再也没有自变量可剔除为止。
逐步筛选法（Stepwise）。该法是向前筛选法和向后筛选法的综合。由于向前筛选法是自变量不断进入回归方程的过程，变量一旦进入回归方程就不会再被剔除出去。但是应注意到，随着自变量的逐个引进，由于自变量之间总存在一定程度的相关性（多重共线性），使得某些已经进入回归方程的自变量的回归系数不再显著，这样造成最终的回归方程可能包含一些不显著的自变量。逐步筛选法是在向前筛选法的基础之上，结合向后筛选法，在每个自变量进入方程后，都判断是否存在应剔除出方程的自变量。如果有则将其剔出。因此，逐步筛选法在选择变量的每一个阶段，都考虑了剔除一个不显著自变量的可能。
【Selection Variable框】
选入一个筛选变量，对样本数据进行筛选，并利用右侧的Rules钮建立一个选择条件，只有满足该条件的样本数据才会进入回归分析。
【Case Labels框】
选择一个变量，他的取值将作为每条记录的标签。最典型的情况是使用记录ID号的变量。
【WLS>>钮】
可利用该按钮进行权重最小二乘法的回归分析。单击该按钮会扩展当前对话框，出现WLS Weight框，在该框内选入权重变量即可。
【Statistics钮】
弹出Statistics对话框，用于选择所需要的描述统计量。有如下选项：
o Regression Coefficients复选框组：定义回归系数的输出情况，选中Estimates可输出回归系数B 及其标准误，t值和p值，还有标准化的回归系数beta；选中Confidence intervals则输出每个回归系数的95%可信区间；选中covariance matrix则会输出各个自变量的相关矩阵和方差、协方差矩阵。以上选项默认只选中Estimates。
o Residuals复选框组：用于选择输出残差诊断的信息，可选的有Durbin-Watson残差序列相关性检验、超出规定的n倍标准误的残差列表。
o Model fit复选框：模型拟合过程中进入、退出的变量的列表，以及一些有关拟合优度的检验：，R，R2和调整的R2, 标准误及方差分析表。
o R squared change复选框：显示模型拟合过程中R2、F值和p值的改变情况。
o Descriptives复选框：提供一些变量描述，如有效例数、均数、标准差等，同时还给出一个自变量间的相关矩阵。
o Part and partial correlations复选框：显示自变量间的相关、部分相关和偏相关系数。
o Collinearity diagnostics复选框：给出一些用于共线性诊断的统计量，如特征根（Eigenvalues）、
方差膨胀因子(VIF)等。
以上各项在默认情况下只有Estimates和Model fit复选框被选中。
【Plot钮】
弹出Plot对话框，用于选择需要绘制的回归分析诊断或预测图。可绘制的有标准化残差的直方图和正态分布图，应变量、预测值和各自变量残差间两两的散点图等。
【Save钮】
许多时候我们需要将回归分析的结果存储起来，然后用得到的残差、预测值等做进一步的分析，Save钮就是用来存储中间结果的。可以存储的有：预测值系列、残差系列、距离（Distances）系列、预测值可信区间系列、波动统计量系列。下方的按钮可以让我们选择将这些新变量存储到一个新的SPSS数据文件或XML 中。
【Options钮】
设置回归分析的一些选项，有：
o Stepping Method Criteria单选钮组：设置纳入和排除标准，可按P值或F值来设置。
o Include constant in equation复选框：用于决定是否在模型中包括常数项，默认选中。
o Missing Values单选钮组：用于选择对缺失值的处理方式，可以是不分析任一选入的变量有缺失值的记录（Exclude cases listwise）而无论该缺失变量最终是否进入模型；不分析具体进入某变量时有缺失值的记录（Exclude cases pairwise）；将缺失值用该变量的均数代替（Replace with mean）。
10.1.1.2 输出结果解释
根据题目的要求，我们只需要在Dependent框中选入spovl，Independent框中选入fat即可，其他的选项一律不管。单击OK后，系统很快给出如下结果：
Regression
这里的表格是拟合过程中变量进入/退出模型的情况记录，由于我们只引入了一个自变量，所以只出现了一个模型1（在多元回归中就会依次出现多个回归模型），该模型中fat为进入的变量，没有移出的变量，具
体的进入/退出方法为enter。
上表为所拟合模型的情况简报，显示在模型1中相关系数R为0.578，而决定系数R2为0.334，校正的决定系数为0.307。
这是所用模型的检验结果，这就是一个标准的方差分析表！可以自己用方差分析模型做一下，就会发现：除了最左侧的一列名字不太一样外，其他的各个参数值都是相同的。从上表可见所用的回归模型F值为12.059，P值为0.002，因此我们用的这个回归模型是有统计学意义的，可以继续看下面系数分别检验的结果。
由于这里我们所用的回归模型只有一个自变量，因此模型的检验就等价与系数的检验，在多元回归中这两者是不同的。
上表给出了包括常数项在内的所有系数的检验结果，用的是t检验，同时还会给出标化/非标化系数，以及常数项的95％置信区间等统计量。可见常数项和fat都是有统计学意义的，上表的内容翻译成中文则如下所示：
由此，可得到回归方程为：非标准化方程spvol=5.097+0.7fat，标准化方程spvol=0.578fat
一般地，上述的结果可解释为：根据表1－4的统计结果可知，因变量spvol与自变量fat的相关系数为相关系数R为0.578，决定系数R2为0.334，校正的决定系数为0.307。回归方程的方差分析Anova的检验F 值为12.059，P值为0.002；回归系数Coefficients的检验为常数项的t检验值为11.923，P＝0.000；自变量fat的t检验值为3.473，P=0.002，回归方程的方差分析和回归系数的检验均具有极显著水平，表明它们具有统计意义。由此，可得到非标准化方程spvol=5.097+0.7fat，标准化方程spvol=0.578fat。其中标准化方程spvol=0.578fat表示，在其他变量保持一定的条件下，自变量fat增加一个单位，将引起因变量spvol平均增加0.578个单位。
10.1.2 多元回归方程
10.1.2.1 分析实例
例10.2：请分析在数据集plastic.sav中自变量extrusn、additive、gloss和opacity对因变量tear_res 的影响大小？已知extrusn对tear_res的有影响。
分析步骤：首先，确定因变量与自变量的关系（相关分析），方法有二：散点图、相关分析；其次，回归分析。
显然，这里是一个多元回归，由于除了extrusn确有影响以外，我们不知道另三个变量有无影响，因此这里我们将extrusn放在第一个block，进入方法为enter（我们有把握extrusn一定有统计学意义）；另三个变量放在第二个block，进入方法为stepwise（让软件自动选择判断），操作如下：
1.Analyze==>Regression==>Liner
2.Dependent框：选入tear_res
3.Independent框：选入extrusn；单击next钮
4.Independent框：选入additive、gloss和opacity；Method列表框：选择stepwise
5.单击OK钮
10.1.2.2 结果解释
结果如下：
Regression
上面的表格依次列出了模型的筛选过程，模型1用进入法引入了extrusn，然后模型2用stepwise法引入了additive，且回归系数显著性F检验的相伴概率值小于0.05(默认）的自变量引入回归方程，大于0.1的自变量剔除出回归方程。自变量进入回归方程的次序是：首先，用进入法把extrusn进入回归方程，形成模型1；然后，在模型1的基础上引入第二个自变量additive，形成模型2，也是形成最终的回归模型。另两个变量因没有达到进入标准，最终没有进入。上面的表格翻译出来如下：
上表是两个模型变异系数的改变情况，从调整的R2可见，从上到下随着新变量的引入，模型可解释的变异占总变异的比例越来越大。
可以看出：随着自变量不断引入回归方程，调整的R2在不断提高，回归方程的估计标准误差在不断减小。
上表是所用两个模型的检验结果，用的方法是方差分析，可见二个模型都有统计学意义。
上表仍然为三个模型中各个系数的检验结果，用的是t检验，可见在模型2中所有的系数都有统计学意义，上表的内容翻译如下：
由此，可以得到最终的非标准化回归方程为：
tear_res＝5.315+0.590extrusion+0.390additive;
标准化回归方程：
tear_res＝0.639extrusion+0.422additive
依据标准化的回归系数可知道，在其他变量保持一定的条件下，extrusion增加一个单位，将引起tear_res 平均增加0.639个单位；additive增加一个单位，将引起tear_res平均增加0.422个单位。由此可见，在两个自变量对因变量的影响中，自变量extrusion的影响最大，其次是自变量additive。
这是新出现的一个表格，反映的是没有进入模型的各个变量的检验结果，可见在模型1中，未引入模型的候选变量additive还有统计学意义，可能需要引入，而模型2中没有引入的两个变量其P值均大于0.05，无需再进行分析了。
10.2 曲线估计（Curve Estimation）
在实际的一元回归分析中，一般首先绘制自变量和因变量间的散点图。如果散点图中的数据分布明显呈直线趋势，则可以利用线性回归分析方法估计回归方程。但在很多情况下并非如此，数据在散点图中的分布呈曲线趋势且具有某种函数的图形特点。这时如果要作回归分析，就需要利用曲线估计。
曲线估计的总体思路是：
首先提供多种可选择的函数模型，用户在不能明确究竟哪种模型更接近样本数据时，可以同时选择几种模型；然后，SPSS自动完成模型的参数估计，并显示F值、对应的相伴概率、R2等统计量；最后，用户应选择具有最大R2的模型作用自己的回归模型，并作一些预测。
10.2.1 界面详解
Curve Estimation过程中有特色的对话框界面内容如下：
下面我们分别解释一下它们的具体功能。
【Dependent框】
用于选入的因变量，可选入多个，如果这样，则对各个应变量分别拟合模型。
【Independent单选框组】
用于选入的自变量，有两种选择，可以选入普通的自变量，也可以选择时间作为自变量，如果这样做，则所用的数据应为时间序列数据格式。
【Models复选框组】
是该对话框的重点，用于选择所用的曲线模型，可用的有：
?Linear：线性模型，实际上与Linear过程的二元直线回归相同y=b0+b1x；
?Quadratic：二次项模型y=b0+b1x+b2x2(x的平方）；
?Compound：复合曲线模型y=b0b1t(b1的t次方）；
?Growth：生长曲线模型Y = exp(b0+b1X)；
?Logarithmic：对数模型Y = b0+b1ln(X)；
?Cubic：三次项模型Y = b0+b1X+b2X2(x的平方)+b3X(x的立方）；
?S：拟合S形曲线Y = exp(b0+b1/X)；
?Exponential：拟合指数方程Y = b0 exp(b1X)；
?Inverse：逆模型Y = b0+b1/X进行变换；
?Power：幂曲线模型Y = b0X（b1）（X的b1次方）；
?Logistic：拟合Logistic曲线模型Y = 1/（1/u + b0×b1X），如选择该线型则要求输入上界。
上面的几种线型和其他的模块有重复，如Logistic、Liner等，由于本模块的功能有限，在重复的情况下建议用其它专用模块来分析。
【Include constant in equation复选框】
确定是否在方程中包含常数项。
【Plot models复选框】
表示绘制观察值和预测值的对比图。这样有助于用户直观查看回归对样本数据点的拟合曾款情况。
【save钮】
弹出SAVE对话框，用于定义想要存储的中间结果，如预测值、预测值可信区间、残差等。
【Display ANOVA table复选框】
表示作回归方程显著性检验，并输出相应的方差分析表。
10.2.2 实例操作
例10.3：锡克试验阴性率（%）随着年龄的增长而增高，某地查得儿童年龄（岁）X与锡克试验阴性率Y的资料如下，试拟合曲线。
年龄（岁） 1 2 3 4 5 6 7
锡克试验阴性率（%）57.1 76.0 90.9 93.0 96.7 95.6 96.2
首先对年龄和阴性率作散点图，发现两者有斜率逐渐放缓的曲线趋势，因此选择二次曲线模型、三次曲线模型和对数曲线模型，最终取其中结果最优者，做法如下：
1.Analyze==>Regression==>Curve estimation
2.Dependant框：选入阴性率
3.Independant框：选入年龄
4.Models复选框组：选择Quadratic、Curbe、Logarithmatic，取消对Liner的选择。
5.单击OK
结果如下：
Curve Fit
MODEL:MOD_11. Independent:年龄
Dependent Mth（模型方
法）
Rsq d.f.F Sigf b0b1b2b3
阴性率LOG.913552.32.00161.325920.6704
阴性率QUA.970465.20.00139.271421.8250-2.0036
阴性率CUB.9943165.37.00125.571437.4278-6.5702.3806
上表给出了所拟合的三个模型的检验报告，包括拟合优度、模型的检验结果和各个系数值，从检验结果看，三个模型均有统计学意义，但从拟合优度看，三次方曲线的拟合优度最高，似乎应选择三次方曲线，但注意三次方曲线多一个参数，要复杂一些，而它的拟合优度和二次方曲线相差不大，因此仅从这里的结果还不好对它们两者作出判断，下面我们还要看看模型曲线的情况。
上图是三个模型曲线和实际值连线的情况，可见在4岁以前，二次方和三次方曲线对模型的拟合相差不大，4岁以后三次方曲线则要明显优于二次方曲线，但我们的观察值只有7例，样本量太少，在曲线回归中，模型的简洁性和拟合优度的高低同样重要，拟合优度太高的模型往往对新样本的拟合度较差，我认为在这种情况下选择参数较少的模型为宜，因此最终选择二次方曲线模型。
其实这里由于观察样本太少，无论选择哪种模型影响都不大，而且各人的意见不会相同，往往是有多少条曲线，就会有多少种意见，最后还是要结合专业知识来决定，曲线估计是非常复杂的问题，千万不能轻
易下结论。
回第九章回教程首页到第十章（下）
第10章 简单线性回归分析 思考与练习参考答案 一、最佳选择题 1．如果两样本的相关系数21r r =，样本量21n n =，那么（ D ）。 A. 回归系数21b b = B ．回归系数12b b < C. 回归系数21b b > D ．t 统计量11r b t t = E. 以上均错 2．如果相关系数r =1，则一定有（ C ）。 A ．总SS =残差SS B ．残差SS =回归 SS C ．总SS =回归SS D ．总SS ＞回归SS E. 回归MS =残差MS 3．记ρ为总体相关系数，r 为样本相关系数，b 为样本回归系数，下列（ D ）正确。 A ．ρ=0时，r =0 B ．|r |＞0时，b ＞0 C ．r ＞0时，b ＜0 D ．r ＜0时，b ＜0 E. |r |=1时，b =1 4．如果相关系数r =0，则一定有（ D ）。 A ．简单线性回归的截距等于0 B ．简单线性回归的截距等于Y 或X C ．简单线性回归的残差SS 等于0 D ．简单线性回归的残差SS 等于SS 总 E ．简单线性回归的总SS 等于0 5．用最小二乘法确定直线回归方程的含义是（ B ）。 A ．各观测点距直线的纵向距离相等 B ．各观测点距直线的纵向距离平方和最小 C ．各观测点距直线的垂直距离相等 D ．各观测点距直线的垂直距离平方和最小
E ．各观测点距直线的纵向距离等于零 二、思考题 1．简述简单线性回归分析的基本步骤。 答：① 绘制散点图，考察是否有线性趋势及可疑的异常点；② 估计回归系数；③ 对总体回归系数或回归方程进行假设检验；④ 列出回归方程，绘制回归直线；⑤ 统计应用。 2．简述线性回归分析与线性相关的区别与联系。 答：区别： （1）资料要求上，进行直线回归分析的两变量，若X 为可精确测量和严格控制的变量，则对应于每个X 的Y 值要求服从正态分布；若X 、Y 都是随机变量，则要求X 、Y 服从双变量正态分布。直线相关分析只适用于双变量正态分布资料。 （2）应用上，说明两变量线性依存的数量关系用回归（定量分析），说明两变量的相关关系用相关（定性分析）。 （3）两个系数的意义不同。r 说明具有直线关系的两变量间相互关系的方向与密切程度，b 表示X 每变化一个单位所导致Y 的平均变化量。 （4）两个系数的取值范围不同：-1≤r ≤1，∞<<∞-b 。 （5）两个系数的单位不同：r 没有单位，b 有单位。 联系： （1）对同一双变量资料，回归系数b 与相关系数r 的正负号一致。b ＞0时，r ＞0，均表示两变量X 、Y 同向变化；b ＜0时，r ＜0，均表示两变量X 、Y 反向变化。 （2）回归系数b 与相关系数r 的假设检验等价，即对同一双变量资料，r b t t =。由于相关系数r 的假设检验较回归系数b 的假设检验简单，故在实际应用中常以r 的假设检验代替b 的假设检验。 （3）用回归解释相关：由于决定系数2 R =SS 回 /SS 总 ，当总平方和固定时，回归平方 和的大小决定了相关的密切程度。回归平方和越接近总平方和，则2 R 越接近1，说明引入相关的效果越好。例如当r =0.20，n =100时，可按检验水准0.05拒绝H 0，接受H 1，认为两变量有相关关系。但2 R =(0.20)2=0.04，表示回归平方和在总平方和中仅占4％，说明
一、作业 教材P214 三。 二、自我练习 （一）教材P213 一。 （二）是非题 1．当一组资料的自变量为分类变量时，对这组资料不能做多重线性回归分析。( ) 2．若多重线性方程模型有意义．则各个偏回归系数也均有统计学意义。〔) 3．回归模型变量的正确选择在根本上依赖于所研究问题本身的专业知识。（） 4.从各自变量偏回归系数的大小．可以反映出各自变量对应变量单位变化贡献的大小。( ) 5.在多元回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数不变。( ) （三）选择题 1. 多重线性回归分析中，共线性是指（），导致的某一自变量对Y的作用可以由其他自变量的线性函数表示。 A. 自变量相互之间存在高度相关关系 B. 因变量与各个自变量的相关系数相同 C. 因变量与自变量间有较高的复相关关系
D. 因变量与各个自变量之间的回归系数相同 2. 多重线性回归和Logistic 回归都可应用于（）。 A. 预测自变量 B. 预测因变量Y 取某个值的概率π C. 预测风险函数h D. 筛选影响因素（自变量） 3．在多重回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数： A．不变 B．增加相同的常数 C．减少相同的常数 D．增加但数值不定 4．在多元回归中，若对某个自变量的值都乘以一个相同的常数k，则： A．该偏回归系数不变 B．该偏回归系数变为原来的 1/k倍 C．所有偏回归系数均发生改变 D．该偏回归系数改变，但数值不定 5．作多重线性回归分析时，若降低进入的F 界值，则进入方程的变量一般会： A．增多 B．减少 C．不变 D．可增多也可减少（四）筒答题
所属章节： 第五章相关分析与回归分析 1■在线性相关中，若两个变量的变动方向相反，一个变量的数值增加，另一个变量数值随之减少，或一个变量的数值减少，另一个变量的数值随之增加，则称为（）。 答案： 负相关。干扰项： 正相关。干扰项： 完全相关。干扰项： 非线性相关。 提示与解答： 本题的正确答案为： 负相关。 2■在线性相关中，若两个变量的变动方向相同，一个变量的数值增加，另一个变量数值随之增加，或一个变量的数值减少，另一个变量的数值随之减少，则称为（）。 答案： 正相关。干扰项： 负相关。干扰项： 完全相关。干扰项： 非线性相关。 提示与解答：
本题的正确答案为： 正相关。 3■下面的xx中哪一个是错误的（）。 答案： 相关系数不会取负值。干扰项： 相关系数是度量两个变量之间线性关系强度的统计量。干扰项： 相关系数是一个随机变量。干扰项： 相关系数的绝对值不会大于1。 提示与解答： 本题的正确答案为： 相关系数不会取负值。 4■下面的xx中哪一个是错误的（）。 答案： 回归分析中回归系数的显著性检验的原假设是： 所检验的回归系数的真值不为0。 干扰项： 相关系数显著性检验的原假设是： 总体中两个变量不存在相关关系。 干扰项： 回归分析中回归系数的显著性检验的原假设是：
所检验的回归系数的真值为0。 干扰项： 回归分析中多元线性回归方程的整体显著性检验的原假设是： 自变量前的偏回归系数的真值同时为0。 提示与解答： 本题的正确答案为： 回归分析中回归系数的显著性检验的原假设是： 所检验的回归系数的真值不为0。 5■根据你的判断，下面的相关系数值哪一个是错误的（）。 答案： 1.25。干扰项：-0.86。干扰项： 0.78。干扰项：0。 提示与解答： 本题的正确答案为： 1.25。 6■下面关于相关系数的陈述中哪一个是错误的（）。 答案： 数值越大说明两个变量之间的关系越强，数值越小说明两个变量之间的关系越弱。 干扰项：
第十章 直线相关与回归 一、教学大纲要求 （一） 掌握内容 ⒈ 直线相关与回归的基本概念。 ⒉ 相关系数与回归系数的意义及计算。 ⒊ 相关系数与回归系数相互的区别与联系。 （二）熟悉内容 ⒈ 相关系数与回归系数的假设检验。 ⒉ 直线回归方程的应用。 ⒊ 秩相关与秩回归的意义。 （三）了解内容 曲线直线化。 二、 学内容精要 (一) 直线回归 1. 基本概念 直线回归(linear regression)建立一个描述应变量依自变量变化而变化的直线方程，并要求各点与该直线纵向距离的平方和为最小。直线回归是回归分析中最基本、最简单的一种，故又称简单回归（simple regression ）。 直线回归方程bX a Y +=?中，a 、b 是决定直线的两个系数，见表10-1。 表10-1 直线回归方程a 、b 两系数对比 a b 含义 回归直线在Y 轴上的截距（intercept ）。 表示X 为零时，Y 的平均水平的估计值。 回归系数（regression coefficient ），即直线的斜率。表示X 每变化一个单位时，Y 的平均变化量的估计值。 系数>0 a >0表示直线与纵轴的交点在原点的上方 b >0，表示直线从左下方走向右上方，即Y 随X 增大而增大 系数<0 a <0表示直线与纵轴的交点在原点的下方 b <0，表示直线从左上方走向右下方，即Y 随X 增大而减小 系数=0 a =0表示回归直线通过原点 b =0，表示直线与X 轴平行，即Y 不随X 的变化而变化 计算公式 X b Y a -= XX XY l l X X Y Y X X b =---= ∑∑2 )())(( 2. 样本回归系数b 的假设检验 （1）方差分析； （2）t 检验。
第十章 logitic 回归 本章导读： Logitic 回归模型是离散选择模型之一，属于多重变数分析范畴，是社会学、生物统计学、临床、数量心理学、市场营销、会计与财务等实证分析的常用方法。 10.1 logit 模型和原理 Logistic 回归分析是对因变量为定性变量的回归分析。它是一种非线性模型。其基本特点是：因变量必须是二分类变量，若令因变量为y ，则常用y=1表示“yes ”，y=0表示“no ”。 [在发放股利与不发放股利的研究中，分别表示发放和不发放股利的公司]。自变量可以为虚拟变量也可以为连续变量。从模型的角度出发，不妨把事件发生的情况定义为y=1，事件未发生的情况定义为0，这样取值为0、1的因变量可以写作： ???===事情未发生 事情发生01y 我们可以采用多种方法对取值为0、1的因变量进行分析。通常以P 表示事件发生的概率（事件未发生的概率为1-P ），并把P 看作自变量x 的线性函数。由于y 是0-1型Bernoulli 分布，因此有如下分布： P=P （y=1|x ）：自变量为x 时y=1的概率，即发放现金股利公司的概率 1-P=P （y=0|x ）：自变量为x 时y=0的概率，即不发放现金股利公司的概率 事件发生和不发生的概率比成为发生比，即相对风险，表现为P P odds -= 1.因为是以 对数形式出现的，故该发生比为对数发生比（log odds ），表现为)1ln(P P odds -=。对数发生比也是事件发生概率P 的一个特定函数，通过logistic 转换，该函数可以写成logistic 回归的logit 模型： )1(log )(log P P P it e -= Logit 一方面表达出它是事件发生概率P 的转换单位；另一方面，它作为回归的因变量就可以自己与自变量之间的依存关系保持传统回归模式。 根据离散型随即变量期望值的定义，可得： E(y)=1(P)+0(1-P)=P 进而得到x P y E 10)(ββ+== 因此，从以上分析可以看出，当因变量的取值为0、1时，均值x y E 10)(ββ+=总是代表给定自变量时y=1的概率。虽然这是从简单线性回归分析而得，但也适合复杂的多元回归函数情况。 k k x x x itP y E ββββ++++==Λ22110log )( β0为常数项，β1，β2，…，βk 分别为k 个自变量的回归系数。 因此，logistic 模型为：
第八章相关与回归分析 一、本章重点 1．相关系数的概念及相关系数的种类。事物之间的依存关系，可以分为函数关系和相关关系。相关关系又有单向因果关系和互为因果关系；单相关和复相关；线性相关和非线性相关；不相关、不完全相关和完全相关；正相关和负相关等类型。 2．相关分析，着重掌握如何画相关表、相关图，如何测定相关系数、测定系数以及进行相关系数的推断。相关表和相关图是变量间相关关系的生动表示，对于未分组资料和分组资料计算相关系数的方法是不同的，一元线性回归中相关系数和测定系数有着密切的关系，得到样本相关系数后还要对总体相关系数进行科学推断。 3．回归分析，着重掌握一元回归的基本原理方法，一元回归是线性回归的基础，多元线性回归和非线性回归都是以此为基础的。用最小平方法估计回归参数，回归参数的性质和显著性检验，随机项方差的估计，回归方程的显著性检验，利用回归方程进行预测是回归分析的主要内容。 4．应用相关与回归分析应注意的问题。相关与回归分析都有它们的应用范围，必须知道在什么情况下能用，什么情况下不能用。相关分析和回归分析必须以定性分析为前提，否则可能会闹出笑话，在进行预测时选取的样本要尽量分散，以减少预测误差，在进行预测时只有在现有条件不变的情况下才能进行，如果条件发生了变化，原来的方程也就失去了效用。 二、难点释疑 本章难点在于计算公式多，不容易记忆，所以更要注重计算的练习。为了掌握基本计算的内容，起码应认真理解书上的例题，做完本指导书上的全部计算题。初学者可能会感到本章公式多且复杂，难于记忆，其实只要抓住Lxx、Lxy、Lyy 这三个记号，记住它们的展开式，几个主要的公式就不难记忆了。如果能自己把这些公式推证一下，搞清其关系，那就更容易记住了。 三、练习题 （一）填空题 1事物之间的依存关系，根据其相互依存和制约的程度不同，可以分为（）和（）两种。 2．相关关系按相关关系的情况可分为（）和（）；按自变量的多少分（）和（）；按相关的表现形式分（）和（）；按相关关系的
第十章多元线性回归与曲线拟合―― Regression菜单详解（上） 回归分析是处理两个及两个以上变量间线性依存关系的统计方法。在医学领域中，此类问题很普遍，如人头发中某种金属元素的含量与血液中该元素的含量有关系，人的体表面积与身高、体重有关系；等等。回归分析就是用于说明这种依存变化的数学关系。 §10.1Linear过程 10.1.1 简单操作入门 调用此过程可完成二元或多元的线性回归分析。在多元线性回归分析中，用户还可根据需要，选用不同筛选自变量的方法（如：逐步法、向前法、向后法，等）。 例10.1：请分析在数据集Fat surfactant.sav中变量fat对变量spovl的大小有无影响？ 显然，在这里spovl是连续性变量，而fat是分类变量，我们可用用单因素方差分析来解决这个问题。但此处我们要采用和方差分析等价的分析方法--回归分析来解决它。 回归分析和方差分析都可以被归入广义线性模型中，因此他们在模型的定义、计算方法等许多方面都非常近似，下面大家很快就会看到。 这里spovl是模型中的因变量，根据回归模型的要求，它必须是正态分布的变量才可以，我们可以用直方图来大致看一下，可以看到基本服从正态，因此不再检验其正态性，继续往下做。 10.1.1.1 界面详解 在菜单中选择Regression==>liner，系统弹出线性回归对话框如下：
除了大家熟悉的内容以外，里面还出现了一些特色菜，让我们来一一品尝。 【Dependent框】 用于选入回归分析的应变量。 【Block按钮组】 由Previous和Next两个按钮组成，用于将下面Independent框中选入的自变量分组。由于多元回归分析中自变量的选入方式有前进、后退、逐步等方法，如果对不同的自变量选入的方法不同，则用该按钮组将自变量分组选入即可。下面的例子会讲解其用法。 【Independent框】 用于选入回归分析的自变量。 【Method下拉列表】 用于选择对自变量的选入方法，有Enter（强行进入法）、Stepwise（逐步法）、Remove（强制剔除法）、Backward（向后法）、Forward（向前法）五种。该选项对当前Independent框中的所有变量均有效。
第十一章 一元线性回归 一、填空题 1、对回归系数的显著性检验，通常采用的是 检验。 2、若回归方程的判定系数R 2=0.81，则两个变量x 与y 之间的相关系数r 为_________________。 3、若变量x 与y 之间的相关系数r=0.8，则回归方程的判定系数R 2为____________。 4、对于直线趋势方程bx a y c +=，已知 ∑=,0x ∑=130xy ，n=9，1692=∑x ， a=b ，则趋势 方程中的b=______。 5、回归直线方程bx a y c +=中的参数b 是_____________。估计待定参数a 和 b 常用的方法是-_________________。 6、相关系数的取值范围_______________。 7、在回归分析中，描述因变量y 如何依赖于自变量x 和误差项的方程称为 。 8、在回归分析中，根据样本数据求出的方程称为 。 9、在回归模型εββ++=x y 10中的ε反映的是 。 10、在回归分析中，F 检验主要用来检验 。 11、说明回归方程拟合优度检验的统计量称为 。 二、单选题 1、年劳动生产率（x ：千元）和工人工资（y ：元）之间的回归方程为1070y x =+，这意味着年劳动生产率没提高1千元，工人工资平均（ ） A 、 增加70元 B 、 减少70元 C 、增加80元 D 、 减少80元 2、两变量具有线形相关，其相关系数r=-0.9，则两变量之间（ ）。 A 、强相关 B 、弱相关 C 、不相关 D 、负的弱相关关系 3、变量的线性相关关系为0，表明两变量之间（ ）。 A 、完全相关 B 、无关系 C 、不完全相关 D 、不存在线性关系 4、相关关系与函数关系之间的联系体现在（ ）。 A 、相关关系普遍存在，函数关系是相关关系的特例 B 、函数关系普遍存在，相关关系是函数关系的特例 C 、相关关系与函数关系是两种完全独立的现象 D 、相关关系与函数关系没有区别 5、已知x 和y 两变量之间存在线形关系，且δx =10, δy =8, δxy 2=-7,n=100,则x 和y 存在着（ ）。 A 、显著正相关 B 、低度正相关 C 、显著负相关 D 、低度负相关 6、对某地区前5年粮食产量进行直线趋势估计为：80.5 5.5y t =+? 这5年的时间代码分别是：-2，-1，0，1，2，据此预测今年的粮食产量是（ ）。 A 、107 B 、102.5 C 、108 D 、113.5 7、两变量的线性相关关系为-1，表明两变量之间（ ）。 A 、完全相关 B 、无关系 C 、不完全相关 D 、不存在线性关系 8、已知x 和y 两变量之间存在线形关系，且δx =10, δy =8, δxy 2 =-7,n=100,则x 和y 存在着（ ）。 A 、显著正相关 B 、低度正相关 C 、显著负相关 D 、低度负相关
第10章 含定性变量的回归模型 10.1 一个学生使用含有季节定性自变量的回归模型，对春夏秋冬四个季节引入4个0-1型自变量，用SPSS 软件计算的结果中总是自动删除了其中的一个自变量，他为此感到困惑不解。出现这种情况的原因是什么？ 答：假如这个含有季节定性自变量的回归模型为： 其中含有k 个定量变量，记为x i 。对春夏秋冬四个季节引入4个0-1型自变量，记为D i ，只取了6个观测值，其中春季与夏季取了两次，秋、冬各取到一次观测值，则样本设计矩阵为： 显然，(X,D)中的第1列可表示成后4列的线性组合，从而(X,D)不满秩，参数无法唯一求出。这就是所谓的“虚拟变量陷井”，应避免。 当某自变量x j 对其余p-1个自变量的复判定系数2 j R 超过一定界限时，SPSS 软件将拒绝这个自变量x j 进入回归模型。称Tol j =1-2 j R 为自变量x j 的容忍度（Tolerance ），SPSS 软件的默认容忍度为0.0001。也就是说，当2j R ＞0.9999时，自变量x j 将被自动拒绝在回归方程之外，除非我们修改容忍度的默认值。 而在这个模型中出现了完全共线性，所以SPSS 软件计算的结果中总是自动删除了其中的一个定性自变量。 10.2对自变量中含有定性变量的问题，为什么不对同一属性分别建立回归模型，而采取设虚拟变量的方法建立回归模型？ 答：原因有两个，以例10.1说明。一是因为模型假设对每类家庭具有相同的斜率和误差方差，把两类家庭放在一起可以对公共斜率做出最佳估计；二是对于其 t t t t kt k t t D D D X X Y μαααβββ++++++=332211110 ??? ? ? ? ?? ?? ? ?=00011001011000101001 0010100011)(6 165154143132121 11k k k k k k X X X X X X X X X X X X D X,??? ??? ? ??=k βββ 10β??? ??? ? ??=4321ααααα
第十章：回归分析Regression（上） 在进行数据分析时往往会看到变量之间存在着一定的相关关系。变量之间相关密切程度的分析，我们称之为相关分析，上一节已讲述了。如果在研究变量之间的相关关系时，把其中的一些因素作为控制变量，而另一些随机变量作为它们的因变量，这种关系分析就称为回归分析。 regression菜单项包括如下内容： linear 线性回归 curve estimation 曲线估计 binary logistic 二分量逻辑分析 Multinomial Logistic 多项式逻辑分析 Ordinal 标称变量分析 Probit 概率分析 Nonlinear 非线性回归 Weight Estimation 加权估计 2-Stage Least Squares 最小二乘法 10.1 Linear过程 10.1.1 一元线性回归 10.1.1.1 界面详解 10.1.1.2 输出结果解释 10.1.2 多元线性回归 10.1.2.1 分析实例 10.1.2.2 结果解释 10.2 Curve Estimation过程 10.2.1 界面详解 10.2.2 实例操作 10.3 Binary Logistic过程 10.3.1 界面详解与实例 10.3.2 结果解释 10.3.3 模型的进一步优化与简单诊断 10.3.3.1 模型的进一步优化 10.3.3.2 模型的简单诊断 §10.1Linear过程
10.1.1 一元线性回归 一般线性回归分析的基本步骤为： 1、确定回归方程中的自变量和因变量； 2、从搜集到的样本数据出发确定自变量和因变量之间的数学关系式，即建立回归方程； 3、对回归方程进行各种统计检验（回归方程拟合优度检验R2；回归方程的显著性检验F；回归系数显著性检验t；回归方程的残差分析等） 4、利用回归方程进行预测。 利用spss进行回归分析时，这四个基本步骤中的第一步由用户给定的。第二步和第三步是由spss自动完成。第四步的预测工作，用户可以利用Compute命令，在相应的算术表达式框中输入回归方程公式，spss将依据公式自动计算出预测结果。 例10.1：请分析在数据集Fat surfactant.sav中变量fat对变量spovl的大小有无影响？ 变量分析：这里spovl是模型中的因变量，根据回归模型的要求，它必须是正态分布的变量才可以，我们可以用直方图来大致看一下，可以看到基本服从正态，因此不再检验其正态性，继续往下做。 10.1.1.1 界面解释 在菜单中选择Regression==>liner，系统弹出线性回归对话框如下：
第九章 相关与回归 相关(Correlation)与回归(Regression)是研究多个变量乊间相互关系的一种统计方法，应用较广。对于描述随机现象的变量，它们乊间的关系具有某种不确定性，相关和回归就是研究随机现象乊间相互关系的统计方法。一般来说，回归是研究随机变量与非随机变量乊间的数量依存关系。在实际工作中，回归比相关应用的更为广泛。 CORR 过程计算变量间的相关系数，包括PEARSON 积矩相关系数等，同时给出单变量描述统计。 REG 过程是SAS 中的基本回归分析过程，它是用最小二乘法来求解线性回归模型的有效过程，在筛选自变量时，它有许多方法可供选择。 此外，因为逐步回归方法应用甚广，故将其单独提出来建立了STEPWISE 过程。 第一节 CORR 过程 10.1.1 相关分析 相关是研究随机变量乊间相互关系的统计分析方法，它研究随机变量乊间相互关系的密切程度。两个变量乊间的相关是简单相关，当其关系呈直线相关时，称为线性相关，其统计指标是PEARSON 相关系数r ，这时要求两变量是服从二元正态分布的随机变量。当(p+1)个随机变量服从(p+1)元正态分布的情况下，可以对变量乊间进行多元相关分析，多元线性相关的统计量是复相关系数R 和各偏相关系数。 当变量不服从正态分布时，例如按等级分类或相对数资料，这时需用非参数相关分析方法，如等级相关分析法等。 简单线性相关的相关系数r 用下式计算： ∑∑∑----=22)()())((Y Y X X Y Y X X r i i i i r 被称作PEARSON 积矩相关系数，其取值为-1≤r≤1，绝对值越大表示相关密切程度越高，r 为正值时，表示两变量的变化方向一致，称为正相关；r 为负值时，表示两变量呈相反变化方向，称为负相关。 10.1.2 语句说明