贝叶斯决策模型及实例分析 一、贝叶斯决策的概念 贝叶斯决策，是先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法。 风险型决策是根据历史资料或主观判断所确定的各种自然状态概率（称为先验概率），然后采用期望效用最大等准则来确定最优决策方案。这种决策方法具有较大的风险，因为根据历史资料或主观判断所确定的各种自然状态概率没有经过试验验证。为了降低决策风险，可通过科学试验（如市场调查、统计分析等）等方法获得更多关于自然状态发生概率的信息，以进一步确定或修正自然状态发生的概率；然后在利用期望效用最大等准则来确定最优决策方案，这种先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法称为贝叶斯决策方法。 二、贝叶斯决策模型的定义 贝叶斯决策应具有如下容 贝叶斯决策模型中的组成部分： ) ( ,θ θP S A a及 ∈ ∈。概率分布S P∈ θ θ) (表示决策 者在观察试验结果前对自然θ发生可能的估计。这一概率称为先验分布。 一个可能的试验集合E，E e∈，无情报试验e0通常包括在集合E之。 一个试验结果Z取决于试验e的选择以Z0表示的结果只能是无情报试验e0的结果。 概率分布P(Z/e,θ)，Z z∈表示在自然状态θ的条件下，进行e试验后发生z结果
的概率。这一概率分布称为似然分布。 c 以及定义在后果集合C的效用函数u(e,Z,a,θ)。 一个可能的后果集合C，C 每一后果c=c(e,z,a,θ)取决于e,z,a和θ。.故用u(c)形成一个复合函数u{(e,z,a,θ)}，并可写成u(e,z,a,θ)。 三、贝叶斯决策的常用方法 3.1层次分析法(AHP) 在社会、经济和科学管理领域中，人们所面临的常常是由相互关联，相互制约的众多因素组成的复杂问题时，需要把所研究的问题层次化。所谓层次化就是根据所研究问题的性质和要达到的目标，将问题分解为不同的组成因素，并按照各因素之间的相互关联影响和隶属关系将所有因素按若干层次聚集组合，形成一个多层次的分析结构模型。 3.1.1层次分析模型 最高层：表示解决问题的目的，即层次分析要达到的目标。 中间层：表示为实现目标所涉及的因素，准则和策略等中间层可分为若干子层，如准则层，约束层和策略层等。 最低层：表示事项目标而供选择的各种措施，方案和政策等。 3.1.2层次分析法的基本步骤 (l) 建立层次结构模型 在深入分析研究的问题后，将问题中所包括的因素分为不同层次，如目标层、指标层和措施层等并画出层次结构图表示层次的递阶结构和相邻两层因素的从属关系。 (2) 构造判断矩阵 判断矩阵元素的值表示人们对各因素关于目标的相对重要性的认识。在相邻的两个层次中，高层次为目标，低层次为因素。 (3) 层次单排序及其一致性检验 判断矩阵的特征向量W经过归一化后即为各因素关于目标的相对重要性的排序权值。利用判断矩阵的最大特征根，可求CI和CR值，当CR<0.1时，认为层次单排序的结果有满意的一致性；否则，需要调整判断矩阵的各元素的取值。 (4) 层次总排序 计算某一层次各因素相对上一层次所有因素的相对重要性的排序权值称为层次总排序。由于层次总排序过程是从最高层到最低层逐层进行的，而最高层是总目标，所以，层次总排序也是计算某一层次各因素相对最高层（总目标）的相对重要性的排序权值。 设上一层次A包含m个因素A1,A2,…,A m其层次总排序的权值分别为a1,a2,…,a m；下一层次B包含n个因素B1,B2,…,B n，它们对于因素A j(j=1,2,…,m)的层次单排序权值分别为：b1j,b2j,…,b nj（当B k与A j无联系时，b kj=0），则B层次总排序权值可按下表计算。 层次总排序权值计算表
Bayes 判别分析及应用 班级：计算B101姓名：孔维文 学号201009014119 指导老师：谭立云教授 【摘 要】判别分析是根据所研究个体的某些指标的观测值来推断该个体所属类型的一种统计方 法，在社会生产和科学研究上应用十分广泛。在判别分析之前，我们往往已对各总体有一定了解，样品的先验概率也对其预测起到一定作用，因此进行判别时应考虑到各个总体出现的先验概率；由于在实际问题中，样品错判后会造成一定损失，故判别时还要考虑到预报的先验概率及错判造成的损失，Bayes 判别就具有这些优点；然而当样品容量大时计算较复杂，故而常借助统计软件来实现。本文着重于Bayes 判别分析的应用以及SPSS 的实现。 【关键词 】 判别分析 Bayes 判别 Spss 实现 判别函数 判别准则 Class: calculation B101 name: KongWeiWen registration number 201009014119 Teacher: TanLiYun professor .【Abstract 】Discriminant analysis is based on the study of certain indicators of individual observations to infer that the individual belongs as a type of statistical methods in social production and scientific research is widely used. In discriminant analysis, we often have a certain understanding of the overall sample of the a priori probability of its prediction play a role, it should be taken into account to determine the overall emergence of various prior probability; because of practical problems, samples will result in some loss of miscarriage of justice, so identification must be considered when the prior probability and wrongly predicted loss, Bayes discriminant to have these advantages; However, when the sample is large computing capacity of more complex, often using statistical software Guer to achieve. This article focuses on the application of Bayes discriminant analysis, and implementation of SPSS. 【Key words 】 Discriminant analysis; Bayes discriminant; Spss achieve; Discriminant function; Criteria; 1.1.1 判别分析的概念 在科学研究中，经常会遇到这样的问题：某研究对象以某种方式（如先前的结果或经验）已划分成若干类型，而每一种类型都是用一些指标T p X X X X ),,(21 来表征的，即不同类型的X 的观测值在某种意义上有一定的差异。当得到一个新样品（或
两类正态分布模式的贝叶斯判别 硕633 3106036072 赵杜娟 一.实验目的 1．理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序； 2．了解正态分布模式的贝叶斯分类判别函数； 3．通过实验，统计贝叶斯判别的正确率。 二.实验原理 （1）贝叶斯判别原则 对于两类模式集的分类，就是要确定x 是属于1ω类还是2ω类，这要看x 来自1ω类的概率大还是来自2ω类的概率大，根据概率的判别规则，可以得到： 如果)|()|(21x P x P ωω> 则 1ω∈x 如果)|()|(21x P x P ωω< 则 2ω∈x （1.1） 利用贝叶斯定理，可得 ) () ()|()|(x p P x p x P i i i ωωω= 式中，)|(i x p ω亦称似然函数。把该式代入（1.1）式，判别规则可表示为： )()|()()|(2211ωωωωP x p P x p > 则 1ω∈x )()|()()|(2211ωωωωP x p P x p < 则 2ω∈x 或写成： ) () ()|()|()(122112ωωωωP P x p x p x l > = 则 1ω∈x ) () ()|()|()(122112ωωωωP P x p x p x l < = 则 2ω∈x （1.2） 这里，12l 称为似然比，2112)()(θωω=P P 称为似然比的判决阈值。该式称为贝 叶斯判别。
（2）正态分布模式的贝叶斯分类器判别原理 具有M 种模式类别的多变量正态分布的概率密度函数为： )]()(2 1 exp[) 2(1)|(12 1 2 i i T i i n i m x C m x C x P ---= -πω 2,1=i （1.3） 式中，x 是n 维列向量； i m 是n 维均值向量； i C 是n n ?协方差矩阵；i C 为矩 阵i C 的行列式。且有 {}i i m E x =； ()() { }T i i i i m x m x E C --=；{}i E x 表示对类 别属于i ω的模式作数学期望运算。 可见，均值向量i m 由n 个分量组成，协方差矩阵i C 由于其对称性故其独立元素只有 2)1(+n n 个，所以多元正态密度函数完全由2 ) 1(++n n n 个独立元素所确定。取自一个正态总体的样本模式的分布是聚集于一个集群之内，其中心决定于均值向量，而其分布形状决定于其协方差矩阵，分布的等密度点的轨迹为超椭圆，椭圆的主轴与协方差矩阵的本征向量的方向一致，主轴的长度与相应的协方差矩阵的本征值成正比。 类别的判别函数可表示为：)()|()(i i i P x P x d ωω= 对于正态密度函数，可对判别函数取自然对数，即： )(ln )]|(ln[)(i i i P x P x d ωω+= 将（1.3）代入上式，简化后可以得到： {})()(2 1 ln 21)(ln )(1i i T i i i i m x C m x C P x d ----=-ω 这是正态分布模式的贝叶斯判别函数。显然，上式表明)(x d i 是超二次曲面，所以对于两类正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。 对于两类问题，判别界面方程为：()()120d x d x -= 即：)()|(11ωωP x P 0)()|(22=-ωωP x P 判别条件为： 如果0)()(21>-x d x d ， 则1ω∈x 如果0)()(21≤-x d x d ， 则2ω∈x
§5.2Bayes 判别 1. Bayes 判别的基本思想 假设已知对象的先验概率和“先验条件概率”, 而后得到后验概率, 由后验概率作出判别. 2. 两个总体的Bayes 判别 (1) 基本推导 设概率密度为1()f x 和2()f x 的p 维总体12,G G 出现的先验概率为
1122(),()p P G p P G ==(121p p +=) 先验概率的取法: (i) 121 2 p p == , (ii) 12 121212 ,n n p p n n n n ==++, 一个判别法 = 一个划分=12(,)R R =R 1212,,p R R R R =?=?=?R 距离判别中
112212{|(,)(,)} {|(,)(,)} R d G d G R d G d G =≤=>x x x x x x 判别R 下的误判情况讨论 2 1(2|1,)()d R P f =?R x x , 或 1 2(1|2,)()d R P f =?R x x 代价分别记为 (2|1),(1|2),(1|1)0,(2|2)0c c c c ==,
在得新x 后, 后验概率为 1111122() (|)()()p f P G p f p f = +x x x x 2221122() (|)()() p f P G p f p f = +x x x x (i) 当(1|2)(2|1)c c c ==时, 最优划分是 112212{:(|)(|)} {:(|)(|))} R P G P G R P G P G =≥?? =
例：某工程项目按合同应在三个月内完工，其施工费用与工程完工期有关。假定天气是影响能否按期完工的决定因素，如果天气好，工程能按时完工，获利5万元；如果天气不好，不能按时完工，施工单位将被罚款1万元；若不施工就要付出窝工费2千元。根据过去的经验，在计划实施工期天气好的可能性为30%。为了更好地掌握天气情况，可以申请气象中心进行天气预报，并提供同一时期天气预报资料，但需要支付资料费800元。从提供的资料中可知，气象中心对好天气预报准确性为80%，对坏天气预报准确性为90%。问如何进行决策。 解：采用贝叶斯决策方法。 (1)先验分析 根据已有资料做出决策损益表。 根据期望值准则选择施工方案有利，相应最大期望收益值EMV*（先）=0.8 （2）预验分析 完全信息的最大期望收益值：EPPI=0.3×5+0.7×（-0.2）
=1.36（万元） 完全信息价值： EVPI=EPPI- EMV*（先）=1.36-0.8=0.56（万元） 即，完全信息价值大于信息成本，请气象中心进行预报是合算的。 （3）后验分析 ①补充信息：气象中心将提供预报此时期内两种天气状态x 1(好天气)、x 2(坏天气)将会出现哪一种状态。 从气象中心提供的同期天气资料可得知条件概率： 天气好且预报天气也好的概率 P （x 1/θ1）=0.8 天气好而预报天气不好的概率 P （x 2/θ1）=0.2 天气坏而预报天气好的概率 P （x 1/θ2）=0.1 天气坏且预报天气也坏的概率 P （x 2/θ2）=0.9 ②计算后验概率分布：根据全概率公式和贝叶斯公式，计算后验概率。 预报天气好的概率 1111212()()(/)()(/)P x P P x P P x θθθθ=+ =0.31 预报天气坏的概率 2121222()()(/)()(/)P x P P x P P x θθθθ=+ =0.69 预报天气好且天气实际也好的概率：
1. 办公室新来了一个雇员小王，小王是好人还是 坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。 解：A ：小王是个好人 a ：小王做好事 B ：小王是个坏人 B ：小王做坏事 ()(/)(/)()(/)()(/)P A P a A P A a P A P a A P B P a B = +0.5*0.9 0.820.5*0.90.5*0.2==+ ()(/)0.5*0.2 (/)()(/)()(/)0.5*0.90.5*0.2 P B P a B P B b P A P a A P B P a B = =++=0.18 0.82>0.18 所以小王是个好人、 2. 设 m = 1,k = 2 ，X 1 ~ N (0,1) ，X 2 ~ N (3,2 2 ) ，试就C(2 | 1) = 1，C(1 | 2) = 1，且不考虑先验概率的情况下判别样品
2，1 属于哪个总体，并求出 R = (R1, R2 ) 。 解： 2222 121/821 ()()/}1,2 21(2)(20)}0.05421(2)(23)/4}0.176 2i i i P x x i P P μσ--= --== --===--== 由于1(2)P <2(2)P ，所以2属于2π 21/2 121/221(1)(10)}0.242 21(1)(13)/4}0.120 2P P --= --===--== 1(1)P >2(1)P ，所以1属于1π 由 1()P x 22211 }()(3)/4}22x P x x -==-- 即221 exp{}2x -=21exp{(69)}8 x x --+ 2211 ln 2(69)28 x x x -=--+ 解得 1 x =1.42 2 x =-3.14.所以 R=([-3.41,1.42],(-∞,-3.41)U(1.42,+∞)). 3.已知1π，2π的先验分布分别为1q =3 5,2q =25 ,C(2|1)=1，C(1|2)=1，且 11,01()2,120,x x f P x x x <≤??==-<≤???其他 22 (1)/4,13()(5)/4,350,x x f P x x x -<≤?? ==-<≤??? 其他 使判别1x = 95 ，2x =2所属总体。 解：1p (9/5)=2-9/5=1/5 1p (2)=2-2=0 2p (9/5)=(9/5-1)/4=1/5
一、贝叶斯决策(Bayes decision theory) 【例】某企业设计出一种新产品，有两种方案可供选择：—是进行批量生产，二是出售专利。这种新产品投放市场，估计有3种可能：畅销、中等、滞销，这3种情况发生的可能性依次估计为：0.2，0.5和0.3。方案在各种情况下的利润及期望利润如下表。 企业可以以1000元的成本委托专业市场调查机构调查该产品销售前景。若实际市场状况为畅销，则调查结果为畅销、中等和滞销的概率分别为0.9、0.06和0.04；若实际市场状况为中等，则调查结果为畅销、中等和滞销的概率分别为0.05、0.9和0.05；若实际市场状况为滞销，则调查结果为畅销、中等和滞销的概率分别为0.04、0.06和0.9。问：企业是否委托专业市场调查机构进行调查？ 解： 1.验前分析： 记方案d1为批量生产，方案d2为出售专利 E(d1)=0.2*80+0.5*20+0.3*(-5)=24.5(万元) E(d2)=40*0.2+7*0.5+1*0.3=11.8(万元) 记验前分析的最大期望收益为E1，则E1=max{E(d1),E(d2)}=24.5(万元) 因此验前分析后的决策为：批量生产 E1不作市场调查的期望收益 2.预验分析： （1）设调查机构调查的结果畅销、中等、滞销分别用H1、H2、H3表示 由全概率公式 P(H1)=0.9*0.2+0.06*0.5+0.04*0.3=0.232 P(H2)=0.05*0.2+0.9*0.5+0.05*0.3=0.475 P(H3)=0.04*0.2+0.06*0.5+0.9*0.3=0.308 （2）由贝叶斯公式有 P(?1|H1)=0.9*0.2/0.232=0.776 P(?2|H1)=0.06*0.5/0.232=0.129 P(?3|H1)=0.04*0.3/0.232=0.052 P(?1|H2)=0.05*0.2/0.475=0.021 P(?2|H2)=0.9*0.5/0.475=0.947 P(?3|H2)=0.05*0.3/0.475=0.032 P(?1|H3)=0.04*0.2/0.308=0.026 P(?2|H3)=0.06*0.5/0.308=0.097 P(?3|H3)=0.9*0.3/0.308=0.877 （3）用后验分布代替先验分布，计算各方案的期望收益值 a)当市场调查结果为畅销时 E(d1|H1)=80* P(?1|H1)+20* P(?2|H1)+(-5)* P(?3|H1)
典型判别分析与贝叶斯判别的区别 1.原理不同 典型判别是根据方差分析思想，进行投影，将原来一个维度空间的自变量组合投影到另一维度空间，寻找一个由原始变量组成的线性函数使得组间差异和组内差异的比值最大化。根据样本点计算判别函数，计算判别函数到各类中心的欧式距离，取距离最小的类别。 贝叶斯判别是是利用已知的先验概率去推证将要发生的后验概率，就是计算每个样本的后验概率及其判错率，用最大后验概率来划分样本的分类并使得期望损失达到最小 2.前提条件不同 典型判别不考虑样本的具体分布，只求组间差异和组内差异的比值最大化 贝叶斯判别从样本的多元分布出发，充分利用多元正态分布的概率密度提供的信息计算后验概率，因此需要样本数据服从多元正态分布，方差齐性等。 3.产生的判别函数不同 典型判别根据K类最多产生K-1个判别函数 贝叶斯判别根据K类最多可产生K个判别函数 先验概率在判别分析中的作用 1.所谓先验概率，就是用概率来描述人们事先对所研究的对象的认识的程度，是根据以往经验和分析得到的概率。所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果，它是更接近于实际情况的概率估计。贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断 2.样品的先验概率对预测有一定的作用，反应样本分布的总体趋向性。被判断的个案应该属于先验概率最大总体的概率应该高一些，贝叶斯考虑了先验概率的影响提高判别的敏感度，同时利用先验概率可以求出后验概率（基于平均损失函数）和误判率，从而进行判别分析，充分利用数据的概率密度分布，判别效率高。样品归于概率大的类别。 3.这样使误判平均损失最小。既考虑到不同总体出现机会的差异、各错误判断造成损失的不同，又充分尊重了每个总体的分布状态 判别准则的评价 刀切法：基本思想是每次剔除训练样本中的一个样本，利用其余容量的训练样本建立判别函数，再用所建立的判别函数对删除的那个样本做判别，对训练样本中的每个样品重复上述步骤，已其误判的比例作为误判概率的估计。 判别分析结果 Eigenvalues a First 2 canonical discriminant functions were used in the analysis. 1．判别函数的特征根，方差百分比，累计方差百分比
判别分析 1.判别分析的适用条件 (1)自变量和因变量间的关系符合线性假设。 (2)因变量的取值是独立的，且必须是事先就己经确定。 (3)自变量服从多元正态分布。 (4)所有自变量在各组间方差齐，协方差矩阵也相等。 (5)自变量间不存在多重共线性。 2.违背条件时的处理方法 (1)当样本的多元正态分布假设不能满足的时候采取的措施和方法如下: <>如果数据的超平面是若干分段结构的话，采用分段判别分析。 <>如果数据满足方差和协方差的齐次性可以采用距离判别分析、经典判别分析、贝叶斯判别分析中的任何一种，因为此时三者是等价的，建议使用经典判别分析。 <>如果数据不满足方差和协方差的齐次性，则采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。 <>进行变量变换。 (2)方差和协方差的齐次性不能满足的时候可以采取的措施如下: <>增加样本，这有时可以使其影响减小。 <>慎重的进行变量变换。 <>采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。 <>在合乎总体实际情况的前提下，保证各个分组的样本量一样，判别分析中分组之间样本量一样可以带来以下几个好处:使得结果与方差齐次性假设不会偏离得太大;F检验时第 二类错误(实际上为虚假的条件下正确的拒绝了原假设的概率)得到减小;使得均值更加容易比较和检验。 <>要是样本服从多元正态分布，采用二次判别，但是应该注意到二次判别分析没有计算判错率和统计检验的公式。 (3)存在多重共线性时可以采取的措施如下: <>增加样本量。 <>使用逐步判别分析。 <>采用岭判别分析。 <>对自变量进行主成分分析，用因子代替自变量进行判别分析。 <>通过相关矩阵结合实际的理论知识删去某些产生共线性的自变量。显然，上述措施和线性回归中对共线性的处理方式是非常类似的。 (4)当线性假设被违反的时候可以采取的措施如下: <>采用二次判别分析。 <>K最近邻判别分析或核密度判别分析两种非参数判别分析。 <>离散型判别分析或混合型判别分析。 3．典型判别分析的基本原理 试图找到一个由原始自变量组成的线性函数使得组间差异和组内差异的比值最大化。所谓Fisher判别法，就是一种先投影的方法。考虑只有两个（预测）变量的判别分析问题。假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图（下一张幻灯片）。这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。有了投影之后，
贝叶斯判别、费希尔判别法的计算机 操作及结果分析 一、实验内容、目标及要求 （一）实验内容 选取140家上市公司作为样本，其中70家为由于“财务状况异常”而被交易所对其股票实行特别处理（Special Treatment，简称ST）的公司，另外70家为财务正常的公司。为了研究上市公司发生财务困境的可能性，以“是否被ST”为分组变量，选择资产负债率、总资产周转率和总资产利润率几个财务指标作为判别分析变量，这三个指标分别从上市公司的偿债能力、资产管理能力和获利能力三个不同的角度反映了企业的财务状况。（二）实验目标 贝叶斯判别、费希尔判别法的计算机操作及结果分析。 （三）实验要求 要求学生能熟练应用计算机软件进行判别分析并对结果进行分析，培养实际应用能力。 二、实验准备 （一）运行环境说明 电脑操作系统为Windows XP及以上版本，所需软件为SPSS 16.0。
（二）基础数据设置说明 将数据正确导入SPSS，设置相应的变量值。 三、实验基本操作流程及说明 （一）系统界面及说明 同实验一。 （二）操作步骤 1. 选择菜单项Analyze→Classify→Discriminate，打开Discriminate Analysis对话框，如图4-1。将分组变量st移入Grouping Variable列表框中，将自变量x1－x3选入Independents列表框中。 选择Enter independents together单选按钮，即使用所有自变量进行判别分析。若选择了Use stepwise method单选按钮，则可以根据不同自变量对判别贡献的大小进行变量筛选，此时，对话框下方的Method按钮被激活，可以通过点击该按钮设置变量筛选的方法及变量筛选的标准。 图4-1 Discriminate Analysis对话框
实验一贝叶斯判别函数和决 策面 一、实验结果 1、第一种情况：^.= cr2/,z = 1,2,L 决策面如图1所示: 从图1可以看出，各类样木落入以坷为中心的同样大小的一些超球体内，两类的决策而是一个超平而。当两类的先验概率相等，P(?) = P(?)二0.5时，决策面通过绚与叫连线屮点并与连线正交；当两类先验概率不相等，P(?) 二0.2 , P(?)二0.8时，决策面仍通过坷与弘2连线并与连线止交，但向先验概率较小的类偏移。 2、第二种情况：=； 2 ' i=l，2，如=；‘ “2 二决策面如图2所不: pv/1=0.2, pw2=0.8时'决策面 pw1=0.2/ pw2=0.8时，槪率密度及次策面 0.15 0.05 pw1=0.5^ pw2=0.5时，槪率密度及次策面 1 1=1,2,"产3
从图2可以看出，各类样木落入以冷为中心的同样大小的一些超椭球内，两 类的决策面是一个超平面。当两类的先验概率相等，P(?)二P(?)二0.5时，决 策血通过旳与u 2连线中点；当两类先验概率不相等，戶(?)二0?2,卩(5)二0?8 时，决策面仍通过绚与“2连线，但向先验概率较小的类偏移。 3、第三种情况： ,z, j = 1,2,L ,c '5 0_ _ 1 0_ T _5_ ,11\ — ，= 0 5_ 厶2 _0 1 1 _3_ Z _3_ pw1=0.2, pw2=0.8时,槪潔密度及决策面 pw1=0.2, pw2=0.8时，块策 面 pw1=0.5. pv/2=05时，槪潔密度及决策 面
如图3-1所示，当各个随机变量的方差类内相等、类间不相等时，决策而是 是一个超球面，投影是圆，且将方差较小的类包围。当两类先验概率和等时，决 策面过吗与“2连线屮点，当两类先验概率不相等时，决策而偏向先验概率小 的类。 1 u x = 1 3 如图3-2所示，当两个随机变量各类方差都不相等时，概率密度曲线是椭圆, 决策面也是椭圆。当两类先验概率不相等时，决策面会向偏先验概率小的类。 「10] 「10] 「1] 「5「 ⑶工计0 5f 工2计° 1｝坷甘 鬥3. 0.3 0 u 2 pw1=0.2^ pw2=0.8B 寸，概率密度及决茉面 pw1=O2, pw2=08时，决策面 pw1=0.5> pw2=0.5时，概率密度及决茉面
Bayes判别分析及应用 班级：计算B101姓名：孔维文学号201009014119 指导老师：谭立云教授 【摘要】判别分析是根据所研究个体的某些指标的观测值来推断该个体所属类型的一种统计方法，在社会生产和科学研究上应用十分广泛。在判别分析之前，我们往往已对各总体有一定了解，样品的先验概率也对其预测起到一定作用，因此进行判别时应考虑到各个总体出现的先验概率；由于在实际问题中，样品错判后会造成一定损失，故判别时还要考虑到预报的先验概率及错判造成的损失，Bayes判别就具有这些优点；然而当样品容量大时计算较复杂，故而常借助统计软件来实现。本文着重于Bayes判别分析的应用以及SPSS的实现。 论文共分三部分。首先简单地介绍了判别分析的意义、主要应用及SPSS的优点；其次详细讲解了Bayes判别分析理论,举例说明利用SPSS实现Bayes判别分析的操作及结果分析；最后，在09年统计年鉴收集到“各地区农村居民家庭平均每人生活消费支出”数据资料，研究各地区经济发展程度说明Bayes判别分析在经济学方面的应用。 【关键词】判别分析Bayes判别Spss实现判别函数判别准则 Class: calculation B101 name: KongWeiWen registration number 201009014119 Teacher: TanLiYun professor .【Abstract】Discriminant analysis is based on the study of certain indicators of individual observations to infer that the individual belongs as a type of statistical methods in social production and scientific research is widely used. In discriminant analysis, we often have a certain understanding of the overall sample of the a priori probability of its prediction play a role, it should be taken into account to determine the overall emergence of various prior probability; because of practical problems, samples will result in some loss of miscarriage of justice, so identification must be considered when the prior probability and wrongly predicted loss, Bayes discriminant to have these advantages; However, when the sample is large computing capacity of more complex, often using statistical software Guer to achieve. This article focuses on the application of Bayes discriminant analysis, and implementation of SPSS. Thesis is divided into three parts. First, a brief overview of the significance of discriminant analysis, the main applications and advantages of Spss; followed by detailed explanation of the Bayes discriminant analysis theory, an example implementation using Spss Bayes discriminant analysis and results of operations; finally, in the 2009 Statistical Yearbook of the collected " all areas of life of rural residents per capita household
贝叶斯决策练习 某石油公司拟在一片估计含油的荒地上钻井。如果钻井，费用为150万，若出油的概率为0.55，收入为800万元；若无油的概率为0.45，此时的收入为0。该公司也可以转让开采权，转让费为160万元，但公司可以不担任何风险。为了避免45％的无油风险，公司考虑通过地震试验来获取更多的信息，地震试验费用需要20万元。已知有油的情况下，地震试验显示油气好的概率为0.8，显示油气不好的概率为0.2；在无油条件下，地震显示油气好的概率为0.15，而显示油气不好的概率为0.85。又当试验表明油气好时，出让开采权的费用将增至400万元，试验表明油气不好时，出让开采权费用降至100万元，问该公司应该如何决策，使其期望收益值为最大。
解：该公司面临两个阶段的决策：第一阶段为要不要做地震试验，第二阶段为在做地震试验条件下，当油气显示分别为好与不好时，是采取钻井策略还是出让开采权。 若用A 1表示有油，A 2表示无油；用B 1表示地震试验显示油气好，B 2表示地震试验显示油气不好。由题意可知： 1211211222()0.55 ()0.45 (|)0.8 (|)0.2(|)0.15 (|)0.85 P A P A P B A P B A P B A P B A ====== 由贝叶斯公式计算得到： 11111111212()(|)0.440.44(|)0.867()(|)()(|)0.440.06750.5075 P A P B A P A B P A P B A P A P B A = ===++ 同理，有： 2112220.0675(|)0.1330.5075 0.11(|)0.2230.4925 0.3825(|)0.7770.4925P A B P A B P A B = ===== 该问题对应的决策树图 采用逆序的方法，先计算事件点②③④的期望值： 事件点 期望值 ② 800×0.867＋0×0.133＝693.6（万元） ③ 800×0.223＋0×0.777＝178.4（万元） ④ 800×0.55＋0×0.45＝440（万元） 在决策点2，按max[(693.6-150)，400]＝543.6万元，故选择钻井，删除出让开采权策略； 在决策点3，按max[(178.4-150)，100]＝100万元，故选择出让开采权，删除钻井策略； 在决策点4，按max[(440-150)，160]＝290万元，故选择钻井策略。 在事件点①处期望值为：543.6×0.5075＋100×0.4925＝325.13万元 最后在决策点1，按max[(325.13-20)，290]＝305.13万元，故选择进行地震试验方案。 故为了使该公司的期望收入为最大的决策是：先进行地震试验，当试验结果为油气显示好时，选择钻井；而油气显示不好时，选择出让开采权，该策略下期望收入为305.13万元。
1.什么叫贝叶斯决策？如何进行贝叶斯决策？ 风险型决策方法是根据预测各种事件可能发生的先验概率，然后再采用期望值标准或最大可能性标准来选择最佳决策方案。这样的决策具有一定的风险性，因为先验概率是根据历史资料或主观判断所确定的概率，未经试验证实，为了减少这种风险，需要较准确的掌握和估计这些先验概率。这就要通过科学实验，调查，统计分析等方法获得较为准确的情报信息，以修正先验概率，并据以确定各方案的期望损益值，拟订可供选择的决策方案，协助决策者做出正确的决策。一般来说，利用贝叶斯定理要求得后验概率，据以进行决策的方法称为贝叶斯决策方法。贝叶斯决策方法步骤： (1)进行预后验分析，决定是否值得搜集补充资料以及从补充资料中可能得到的结果和如何决定最优对策。 (2)收集补充资料，取得条件概率，包括历史概率和逻辑概率，对历史概率要加以检验，辨明其是否适合计算后验概率。 (3)用概率的乘法定理计算联合概率，用概率的加法定理计算边际概率，用贝叶斯定理计算后验概率。 (4)用后验概率进行决策分析。 2.如何进行预后验分析和后验分析？ 预后验分析是后验概率决策分析的一种特殊形式的演算，这里的特殊形式是指用一套概率对多种行动策略组合进行多次计算，从中择优。 预后验分析有两种形式，一是扩大型，预后验分析，这实际上是一种反推决策树分析，二是常规型预后验分析，这实际上是一种正向分析，用表格形式进行。扩大型分析要解决的问题是搜集追加信息对决策者有多大的价值，如果试验应采取
什么行动策略，常规型分析要解决的问题是，如果试验应采取什么行动策略，但是这两种分析方法所得出的结论是一致的。 根据预后验分析，如果认为采集信息和进行调查研究是值得的，那么就应该决定去做这项工作。一旦取得了新的信息，决策者就结合这些新信息进行分析，计算各种方案的期望损益值，选择最佳的行动方案，结合运用这些信息并修正先验概率，称为后验分析，这正是发挥贝叶斯决策理论威力的地方。 3.什么是先验分析？ 先验分析就是决策者要详细列出各种自然状态及其概率，各种备选行动方案与自然状态的损益值，并根据这些信息对备选方案作出抉择的决策过程，当时间，人力和财力不允许搜集更完备的信息时，决策者往往用这类方法进行决策，在贝叶斯决策中，先验分析是进行更深入分析的必要条件。 4.贝叶斯决策有哪些优点？哪些局限？ 贝叶斯决策的优点表现在以下几个方面： (1)如果说在第14章中大多用的是不完善的信息或主观概率的话，那么贝叶斯决策则提供了一个进一步研究的科学方法，也就是说，它能对信息的价值或是否需要采集新的信息作出科学判断。 (2)它能对调查结果的可能性加以数量化的评价，而不是像一般的决策方法那样对调查结果，或者是完全相信，或者是完全不相信。 (3)如果说任何调查结果都不可能是完全准确的，而先验知识或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙的将这两种信息有机的结合起来了。(4)它可以在决策过程中，根据具体情况不断的使用，使决策逐步完善和更加科学。贝叶斯决策方法也有其局限性，主要表现在以下几个方面：
1、问题表述： []T l x x x x ,...,,21=是一个用特征向量表示的位置样本， M ωωω,...,,21是预先已知的M 个类，则形成了M 个条件。概率)(x P i ω(后验概率)，表示i x ω∈的概率。用概率最大来进行分类是一种无意义的选择，必须采用Bayes 规则和实验数据进行后验概率密度函数的计算和分类。 2、全概率公式和贝叶斯准则 ),...2,1(M i A i =是M 个事件，设每个事件发生的概率为)(i A P ，则有∑==M i i A p 1 1)(； 任意事件B 的概率为： ∑== M i i i A P A B P B P 1 )()|()( （1-1） 其中)|(i A B P 是条件i A 在B 的条件概率。据此有定义： ) (),()|(A P A B P A B P = （1-2） 为A 下B 的全条件概率，其中),(A B P 是两个事件A 、B 的联合概率。式（1-1）就是著名的全概率公式。 由全概率公式（1-1）可以得到全条件概率： ) (),()|(B P B A P B A P = （1-3） 因为),(),(A B P B A P =，则由（1-2）、（1-3）式可以导出著名的Bayes 准则： )()|()()|(B P B A P A P A B P = （1-4） 将Bayes 准则扩展到随机变量、随机向量： ) ()|()()|()()|()()|(x p x y p y p y x p x p x A P A P A x p ==随机向量： 随机变量： ∑ == M i i i A P A x p x p 1 )()|()(全概率： 3、贝叶斯决策的原理： 首先假定一个具有两个类21ωω、的情况，贝叶斯分类规则可以描述为：
贝叶斯决策的例题练习公司内部档案编码：[OPPTR-OPPT28-OPPTL98-OPPNN08]
一、贝叶斯决策(Bayes decision theory) 【例】某企业设计出一种新产品，有两种方案可供选择：—是进行批量生产，二是出售专利。这种新产品投放市场，估计有3种可能：畅销、中等、滞销，这3种情况发生的可能性依次估计为：，和。方案在各种情况下的利润及期望利润如下表。 企业可以以1000元的成本委托专业市场调查机构调查该产品销售前景。若实际市场状况为畅销，则调查结果为畅销、中等和滞销的概率分别为、和；若实际市场状况为中等，则调查结果为畅销、中等和滞销的概率分别为、和；若实际市场状况为滞销，则调查结果为畅销、中等和滞销的概率分别为、和。问：企业是否委托专业市场调查机构进行调查解： 1.验前分析： 记方案d1为批量生产，方案d2为出售专利 E(d1)=*80+*20+*(-5)=(万元) E(d2)=40*+7*+1*=(万元) 记验前分析的最大期望收益为E1，则E1=max{E(d1),E(d2)}=(万元) 因此验前分析后的决策为：批量生产 E1不作市场调查的期望收益
2.预验分析： （1）设调查机构调查的结果畅销、中等、滞销分别用H1、H2、H3表示由全概率公式 P(H1)=*+*+*= P(H2)=*+*+*= P(H3)=*+*+*= （2）由贝叶斯公式有 P(?1|H1)=*= P(?2|H1)=*= P(?3|H1)=*= P(?1|H2)=*= P(?2|H2)=*= P(?3|H2)=*= P(?1|H3)=*= P(?2|H3)=*= P(?3|H3)=*= （3）用后验分布代替先验分布，计算各方案的期望收益值 a)当市场调查结果为畅销时 E(d1|H1)=80* P(?1|H1)+20* P(?2|H1)+(-5)* P(?3|H1) =80*+20*+(-5)*=(万元) E(d2|H1)=40* P(?1|H1)+7* P(?2|H1)+1* P(?3|H1) =40*+7*+1*=(万元)