1 绪论
1.1课题背景
随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可少的工具和手段。多元统计分析是近年来发展迅速的统计分析方法之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。
判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所属类别的情况下有着广泛的应用。潜在的应用包括预测一个公司是否成功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有某种疾病等等。它是在已知观测对象的分类结果和若干表明观测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进行判断时，出错的概率很小。而Fisher判别方法是多元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。通常用来判别某观测量是属于哪种类型。在方法的具体实现上，采用国内广泛使用的统计软件SPSS
（Statistical Product and Service Solutions）,它也是美国SPSS公司在20世纪80年代初开发的国际上最流行的视窗统计软件包之一
1.2 Fisher判别法的概述
根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。Fisher 判别法是判别分析中的一种，其思想是投影，Fisher判别的基本思路就是投影，针对P维空间中的某点x=(x1，x2，x3，…，xp)寻找一个能使它降为一维数值的线性函数y(x)：()j j x
y
=
x∑
C
然后应用这个线性函数把P维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。这个线性函数应该能够在把P维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。在这里借用了一元方差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别。
1.3 算法优缺点分析
优点：（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布。
（2）Fisher 方法可直接求解权向量*w ；
（3）Fisher 的线性判别式不仅适用于确定性模式分类器的训练，而且对于随机模式也是适用的，Fisher 还可以进一步推广到多类问题中去
缺点：
（1）如果21M M =，0*=w ，则样本线性不可分； 21M M ≠，未必线性可分； w S 不可逆，未必不可分。
（2）对线性不可分的情况，Fisher 方法无法确定分类
2 实验原理
2.1 线性投影与Fisher 准则函数
各类在d 维特征空间里的样本均值向量：
∑∈=
i
k X x k
i
i x
n M 1，2,1=i (2.5-2)
通过变换w 映射到一维特征空间后，各类的平均值为：
∑∈=
i
k Y y k
i
i y
n m 1，2,1=i (2.5-3)
映射后，各类样本“类内离散度”定义为：
22
()k i
i k i y Y S y m ∈=
-∑，2,1=i (2.5-4)
显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher 准则函数：
2
122
2
12||()F m m J w s s -=+ (2.5-5)
使F J 最大的解*w 就是最佳解向量，也就是Fisher 的线性判别式。
2.2 求解*w
从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。 已知：∑∈=
i
k Y y k
i
i y
n m 1，2,1=i , 依次代入(2.5-1)和(2.5-2)，有： i T
X x k
i
T k X x T i
i M w
x n w x w n m i
k i
k ===
∑∑∈∈)1(
1，2,1=i (2.5-6)
所以：221221221||)(||||||||M M w M w M w m m T T T -=-=-
w S w w M M M M w
b T T T
=--=))((2121 (2.5-7)
其中：T b M M M M S ))((2121--= (2.5-8)
b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。
将(2.5-6)i T i M w m =和(2.5-2)∑∈=
i
k X x k
i
i x
n M 1代入(2.5-4)2i S 式中：
∑∈-=
i
k X x i T k
T i M w x
w S 22)(
∑∈?--?
=
i
k X x T i k i k
T w M x M x
w ))((
w S w i T =
(2.5-9)
其中：T i X x k i k
i M x M x
S i
k ))((--=
∑=，2,1=i (2.5-10)
因此：w S w w S S w S S w T T =+=+)(212
221 (2.5-11)
显然：21S S S w += (2.5-12)
i S 称为原d 维特征空间里，样本“类内离散度”矩阵。 w S 是样本“类内总离散度”矩阵。
为了便于分类，显然i S 越小越好，也就是w S 越小越好。 将上述的所有推导结果代入)(w J F 表达式： 可以得到：
)(211
*
M M S w w -=-λγ
其中，λ
γ
是一个比例因子，不影响*w 的方向，可以删除，从而得到最后解：
)(211
*
M M S w w -=- (2.5-18)
*w 就使)(w J F 取得最大值，*w 可使样本由d 维空间向一维空间映射，其投影
方向最好。)(211
*M M S w w -=-是一个Fisher 线性判断式。
这个向量指出了相对于Fisher 准则函数最好的投影线方向。
2.3 Fisher 算法步骤
由Fisher 线性判别式)(211
*
M M S w w -=-求解向量*w 的步骤： ① 把来自两类21/w w 的训练样本集X 分成1w 和2w 两个子集1X 和2X 。 ② 由∑∈=i
k X x k
i
i x
n M 1，2,1=i
，计算i M 。
③ 由T i X x k i k
i M x M x
S i
k ))((--=
∑=计算各类的类内离散度矩阵i
S ，2,1=i
。
④ 计算类内总离散度矩阵21S S S w +=。 ⑤ 计算w S 的逆矩阵1
-w
S 。
⑥ 由)(211
*
M M S w w -=-求解*w 。
3 实验目的
应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher 的方法，实际上涉及维数压缩。
如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。这个投影变换就是我们寻求的解向量*w
本实验通过编制程序体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。
4 实验实例
例题：根据我国东部沿海11个省市城镇居民家庭平均每人全年家庭收入的5个指标（工薪收入、经营净收入、财产性收入和转移性收入）数据将各省市城镇居民家庭分为高收入组和次高收入组，建立判别函数进而判定未分组省市的类别。
4.1数据录入
通过国家统计局网站得到我国东部沿海11省市的城镇居民家庭平均每人全年家庭收入的5个指标（工薪收入、经营净收入、财产性收入和转移性收入）数据得到excel表格，并将11个省份划分为高收入组（代号为1）和次高收入组（代号为2），分类如图2-1组别，将其导入spss得到如图4-1所示：
4-1
4.2进行Fisher判别分析
在SPSS中进行如下操作：
步骤一在analyze菜单中的classify子菜单中选择discriminant命令如4-2图所示。
4-2
步骤二在如图4-3所示的discriminant analyze对话框中，从左侧变量的变量列表中选择“工薪收入”、“经营净收入”、“财产性收入”和“转移性收入”变量，使之添加到independents框中
4-3
步骤三选择“组别”变量使之添加到group ariable框中。这时group ariable 框下的define range按钮变为可用，单击，弹出discriminant analyze：difine 对话框如图4-4所示，并在minium中输入1，在maximum中输入2.
4-4
步骤四在discriminant analyze对话框中单击statistics按钮，弹出discriminant analyze：statistics对话框，如图4-5所示。
4-5
步骤五在discriminant analyze对话框中单击classify按钮弹出discriminant analyze：classification对话框，如图4-6所示
4-6
步骤六单击图4-3所示的discriminant analysis对话框中的ok键，完成操作。
4.3得到分析结果
如表4-1所示可知只有一个判别函数：
D1=2.94*城镇居民家庭总收入-1.892*工资性收入+0.943*经营性收入-1.322*财产性收入-1.112*转移性收入
标准化的典型判别式函数系数
函数
1
城镇居民家庭总收入 2.940
工资性收入-1.892
经营性收入.943
财产性收入-1.322
转移性收入-.112
表4-1
由分析结果表4-2可知高收入组的Fisher线性判别函数为：
F1=0.025*城镇居民家庭总收入-0.018*工资性收入+0.014*经营性收入-0.064*财产性收入-0.009*转移性收入-105.381
次高收入组的Fisher判别函数为：F2=0.021*城镇居民家庭总收入-0.015*工资性收入+0.009*经营性收入-0.05*财产性收入-0.009*转移性收入-55.554。
分类函数系数
组别
高收入次高收入
城镇居民家庭总收入.025 .021
工资性收入-.018 -.015
经营性收入.014 .009
财产性收入-.064 -.050
转移性收入-.009 -.009
(常量) -105.381 -55.554
Fisher 的线性判别式函数
将初始数据代入判别函数可得到表4-3，可知判别函数对初始分组案例100%的进行了正确分类。
4.4应用Fisher 判别方程对未分组省份进行分组 由分析可知判别函数
12345
2.94*X 1.892*X 0.943* 1.322* 1.112*D X X X =-+--
（其中1X 2X 3
X 4X 5
X 分别代表城镇居民家庭总收入、工资性收入、经营性收入、
财产性收入、转移性收入） 又有高收入组各项指标的均值
表4-2
X（1）= （24632.8，18453.4，1826.2 ，703.4 ，6592.4）
次高收入组各项指标的均值
X（2）= （16178.16667，11553.66667 ，1480.333333，489.5，
4210.666667）代入判别函数可得Y（1）=30968.06 ，
2
Y（）=21770.85
进而可得()2,1c Y=25951.4
将剩余的省份代入判别函数如表4-4所示
地区城镇居民家
工资性收入经营性收入财产性收入转移性收入判别函数值庭人均可支
配收入
河北省14718 9831 977 194 4674 20138.023 山西省13997 9741 944 252 4045 18780.216 内蒙古自治
15849 11267 1737 364 3583 22451.383 区
吉林省14006 9482 1307 146 4220 19584.545 黑龙江省12566 8357 1224 89 4020 17698.93 安徽省14086 10362 1023 273 4033 17927.023 江西省14022 9790 1153 240 3864 19175.231 河南省14372 9910 1203 165 4130 19827.699 湖北省14367 10332 1232 297 3838 19192.122 湖南省15084 9854 1744 419 4060 22279.146 重庆市15749 11824 1019 254 3894 20226.053 四川省13839 10132 1132 305 3754 18006.734 贵州省12863 9006 1135 134 3518 17759.009 云南省14424 9642 1092 1044 3902 19474.46
西藏自治区13544 13326 378 218 1056 13500.554 陕西省14129 10775 544 152 3839 17196.04 甘肃省11930 9182 690 59 2986 14954.096 青海省12692 9341 835 46 3928 15999.965 14025 9597 2036 281 3636 20581.21 宁夏回族自治
区
12258 10233 975 116 2279 14909.509 新疆维吾尔自
治区
表4-4
根据表4-4判别函数值列与临界值25951.4比较可知：剩余未分类的省份都属于次高收入组。只有北京、上海、天津、广东、浙江属于高收入组，判别结果与我国东部沿海地区省市的城镇居民家庭收入较中西部高国情基本吻合。
但是，由于先验组的收入水平普遍比较高，因此临界值偏高，由此导致了内陆地区都划入次高收入组。
从得到的判别函数可以看出城镇居民家庭人均可支配总收入是判别的最主要的因素，同时相对于其他的因素，财产性收入比重最小。因此要提高居民的家庭收入，首先要提高可支配收入，另外还要提高财产性收入，使其与其它因素的比重达到相近水平。
Fisher判别分析原理详解 说起Fisher判别分析，不得不提到一个大神级人物！ Ronald Aylmer Fisher (1890～1962) 英国统计学家和遗传学家 主要著作有：《根据孟德尔遗传方式的亲属间的相关》、《研究者用的统计方法》、《自然选择的遗传理论》、《试验设计》、《近交的理论》及《统计方法和科学推理》等。他一生在统计生物学中的功绩是十分突出的。 ?生平 1890年2月17日生于伦敦，1962年7月29日卒于澳大利亚阿德莱德。 1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了一年统计力学。他担任过中学数学教师，1918年任罗坦斯泰德农业试验站统计试验室主任。 1933年，因为在生物统计和遗传学研究方面成绩卓著而被聘为伦敦大学优生学教授。 1943年任剑桥大学遗传学教授。
1957年退休。 1959年去澳大利亚，在联邦科学和工业研究组织的数学统计部作研究工作。 大神解决的问题 ?Fisher 线性判别函数的提出： 在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间可行的方法，在高维空间变得不可行。因此，降低维数就成为解决实际问题的关键。Fisher 的方法，就是解决维数压缩问题。 对xn的分量做线性组合可得标量 yn=wTxn,n=1,2,…,Ni 得到N个一维样本yn组成的集合。从而将多维转换到了一维。 考虑把d维空间中的数据点投影到一条直线上去的问题，需要解决的两个问题： (1)怎样找到最好的投影直线方向；(2)怎样向这个方向实现投影，这个投影变 换就是要寻求的解向量w*。这两个问题就是Fisher方法要解决的基本问题。?判别分析的一些基本公式 Fisher判别分析用于两类或两类以上间的判别，但常用于两类间判别。 Fisher判别函数表达式（多元线性函数式）： 判别函数的系数是按照组内差异最小和组间差异最大同时兼顾的原则来确定判别函数的。 Fisher判别准则： 判别临界点： Fisher判别分析思想： 1. 类间差异大，类内变异小， 最大 2. 方差分析的思想：以下值最大 ?Fisher判别的原理 分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。这就是Fisher准则函数的基本思路。如下图：
对案例中小企业的破产模型做Fisher判别分析 江义114113001059 一问题：对企业的运行状态利用Fisher判别进行分类 选取四个经济指标用于判断企业处于破产状态还是正常运行状态，具体数据如下，其中类别1表示破产状态，类别2表示正常运行状态 X1总负债率X2收益率指 标 X3短期 支付能 力 X4生产 效率指 标 类别 -0.45 -0.41 1.09 0.45 1 -0.56 -0.31 1.51 0.16 1 0.06 0.02 1.01 0.4 1 -0.07 -0.09 1.45 0.26 1 0.38 0.11 3.27 0.55 2 0.19 0.05 2.25 0.33 2 0.32 0.07 4.24 0.63 2 0.04 0.01 1.5 0.71 2 -0.06 -0.06 1.37 0.4 1 0.07 -0.01 1.37 0.34 2 -0.13 -0.14 1.42 0.44 1 0.15 0.06 2.23 0.56 2 0.16 0.05 2.31 0.2 2 0.29 0.06 1.84 0.38 带测定 0.54 0.11 2.33 0.48 带测定 二、程序如下：（R语言） > data=read.table("E:/bac/qiye.txt",header=T) > data1=c(rep(1,6),rep(2,7)) > data2=as.factor(data1) > data$class=data2 > attach(data) > names(data) [1] "X1" "X2" "X3" "X4" "class" > library(MASS) > data.lda=lda(class~X1+X2+X3+X4) > data.lda Call: lda(class ~ X1 + X2 + X3 + X4) Prior probabilities of groups: 1 2 0.4615385 0.5384615 Group means:
Fisher 判别函数的使用具体步骤 Fisher 多类判别模型 假定事物由p 个变量描述, 即: x=(p x x x ,...,,21)T 该种事物有G 个类型, 从每个类型中顺次抽取p n n n ,...,,21个样品, 共计n= ∑=G i i 1 n 个样品。 即从第g 类取了g n 个样品, g=1,2,?, G, 第g 类的第i 个样品, 用向量: gi x =(pgi gi gi x x ,...,,x 21)T (1) ( 1) 式中, 第一个下标是变量号, 第二个下标是类型号,第三个下标是样品号。设判别函数为: T x p p v x v x v x v =+++=...y 2211 （2） 其中: V=(p v v v ,...,21)T 按照组内差异最小, 组间差异最大同时兼顾的原则, 来确定判别函数系数。（中间推导过程不在这里介绍了） 最终就有个判别函数:,y x V T j j =1,...,2,1s j = 一般只取前M=min(G- 1,p)个, 即: M j x v x v x v y p pj j j j ,...,2,1,...2211=+++= （3） 根据上述M 个判别函数, 可对每一个待判样品做出判别。 ),...,,(x 020100p x x ｘ= 其过程如下: 1、把x0 代入式(3) 中每一个判别函数, 得到M 个数 ,,...,2,1,...y 202101j 0M j x v x v x v p pj j j =+++= 记：T M y y y y ),...,,(020100= 2、把每一类的均值代入式（3）得 G g y y y y G g M j x v x v x v y M g g g g pg pg g g g g j g ,...,2,1),,...,,(,...2,1,,...,2,1,...212211====+++= 3、计算：∑=-=M j j j g g y y D 1 2 02 )(，从这G 个值中选出最小值：)(min 212g G g h D D ≤≤=。这样就把0 x 判为h 类。
费希尔判别 费希尔判别（或称典型判别）的基本思想是投影（或降维）：用p维向量 x （X i,X2, X p）的少数几个线性组合（称为费希尔判别函数或典型变量） y i a i x, y2 a?x, y x （—般r明显小于p ）来代替原始的p个变量 X i,X2, X p，以达到降维的目的，并根据这r个判别函数y i,y2, *对样品的归属做出判别或将各组分离。成功的降维将使样品的归类或组的分离更为方便和有效，并且可以对前三个判别函数作图，从直观的几何图像上区别各组。 在降维的过程中难免会有部分有用信息的损失，但只要使用的方法得当，我们可以最大限度地减少这种损失，从而保留尽可能多的有用信息，即关于能够反 点画于直角坐标系上，一组的样品点用“肿表示，另一组的样品点用“c”表示。 假定我们希望将二维空间的点投影到某个一维空间，即一条直线上，然后再对两组进行判别，则投影到不同的直线上，判别的效果一般是不同的。从图中可见,
如果两组的点都投影到直线 z 上则这两组的投影点在该直线上的分布几乎无任 何差异，他们完全混合在一起，我们无法将这两组的点区别开来， 这样的降维把 反应两组间差异的信息都给损失了， 显然是不可取的。事实上，最好的投影是投 影到直线y 上，因为它把两组的投影点很清楚地区分了开来， 这种降维把有关两 组差异的信息很好地保留了下来，几乎没有任何损失，如此就完全可以在一维的 直线上作判别分析。 我们现考虑在R p 中将k 组的p 维数据向量投影到某个具有最佳方向的 a 上, 即投影到a 上的点能最大限度地显现出各组之间的差异。 设来自组i 的p 维观测值为X j ，j=1,2, ,n i ，i=l,2, ,k ，将它们共同投影 到某一 p 维常数向量a 上，得到的投影点可分别对应线性组合 y j =a x 0， j=1,2, ,n i ，i=1,2, ,k 。这样，所有的p 维观测值就简化为一维观测值。下面 我们用％表示组i 中y j 的均值，y 表示所有组k 组的y 0的总均值，即 对于任一用来投影的a ，我们需要给出一个能反映组之间分离程度的度量 比较图 中的上、下半图，上半图三组均值之间的差异程度与下半图是相同的， 而前者组之间的分离程度却明显高于后者， 原因就在于前者的组内变差要远小于 后者，后者组之间有较多重叠。因此，可以考虑将组之间的分离程度度量为相对 其组内变差的组间变差。在以下的讨论中，我们需假定各组的协方差矩阵相同，n i j i y j a X i 式中n X i 1 ni x ij ， n j 1 a X i 1 k - n i X i o n i 1 n i n
Fisher 线性判别式 前面讲过的感知器准则、最小平方和准则属于用神经网络的方法解决分类问题。下面介绍一种新的判决函数分类方法。 由于线性判别函数易于分析，关于这方面的研究工作特别多。历史上，这一工作是从R.A.Fisher 的经典论文（1936年）开始的。我们知道，在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher 的方法，实际上涉及维数压缩。 如果要把模式样本在高(d )维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。另外，即使样本在高维空间里聚集成容易分开的群类，把它们投影到一条任意的直线上，也可能把不同的样本混杂在一起而变得无法区分。也就是说，直线的方向选择很重要。 在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。这个投影变换就是我们寻求的解向量* w 。 1．线性投影与Fisher 准则函数 在21/w w 两类问题中，假定有n 个训练样本),....,2,1(n k x k =其中1n 个样本来自i w 类型，2n 个样本来自j w 类型，21n n n +=。两个类型的训练样本分别构成训练样本的子集1X 和2X 。 令：k T k x w y =，n k ,...,2,1= (4.5-1) k y 是向量k x 通过变换w 得到的标量，它是一维的。实际上，对于给定的w ，k y 就是判决函数的值。 由子集1X 和2X 的样本映射后的两个子集为1Y 和2Y 。因为我们关心的是w 的方向，可以令1||||=w ，那么k y 就是k x 在w 方向上的投影。使1Y 和2Y 最容易区分开的w 方向正是区分超平面的法线方向。如下图： 图中画出了直线的两种选择，图(a)中，1Y 和2Y 还无法分开，而图(b)的选择可以使1Y 和2Y 区分开来。所以图(b)的方向是一个好的选择。 下面讨论怎样得到最佳w 方向的解析式。 各类在d 维特征空间里的样本均值向量： ∑∈= i k X x k i i x n M 1，2,1=i (4.5-2) 通过变换w 映射到一维特征空间后，各类的平均值为： ∑∈= i k Y y k i i y n m 1，2,1=i (4.5-3) 映射后，各类样本“类内离散度”定义为： 2 2 () k i i k i y Y S y m ∈= -∑ ，2,1=i (4.5-4) 显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher
实验1 Fisher 线性判别分析实验 一、摘要 Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。 Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向W 和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。 二、算法的基本原理及流程图 1 基本原理 （1）W 的确定 各类样本均值向量mi 样本类内离散度矩阵i S 和总类内离散度矩阵w S 12w S S S =+ 样本类间离散度矩阵b S 在投影后的一维空间中，各类样本均值T i i m '= W m 。样本类内离散度和总类内离散度 T T i i w w S ' = W S W S ' = W S W 。样本类间离散度T b b S ' = W S W 。 Fisher 准则函数满足两个性质： ·投影后，各类样本内部尽可能密集，即总类内离散度越小越好。 ·投影后，各类样本尽可能离得远，即样本类间离散度越大越好。 根据这个性质确定准则函数，根据使准则函数取得最大值，可求出W ： -1w 12W = S (m - m ) 。 （2）阈值的确定 实验中采取的方法：012y = (m ' + m ') / 2。 （3）Fisher 线性判别的决策规则 对于某一个未知类别的样本向量x ，如果y=W T ·x>y0，则x ∈w1；否则x ∈w2。 x 1 m x, 1,2 i i X i i N ∈= =∑T x S (x m )(x m ), 1,2 i i i i X i ∈= --=∑T 1212S (m m )(m m )b =--
1 绪论 1.1课题背景 随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可少的工具和手段。多元统计分析是近年来发展迅速的统计分析方法之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。 判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所属类别的情况下有着广泛的应用。潜在的应用包括预测一个公司是否成功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有某种疾病等等。它是在已知观测对象的分类结果和若干表明观测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进行判断时，出错的概率很小。而Fisher判别方法是多元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。通常用来判别某观测量是属于哪种类型。在方法的具体实现上，采用国广泛使用的统计软件SPSS （Statistical Product and Service Solutions）,它也是美国SPSS公司在20世纪80年代初开发的国际上最流行的视窗统计软件包之一 1.2 Fisher判别法的概述 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。Fisher 判别法是判别分析中的一种，其思想是投影，Fisher判别的基本思路就是投影，针对P维空间中的某点x=(x1，x2，x3，…，xp)寻找一个能使它降为一维数值的线性函数y(x)：()j j x C y = x∑
然后应用这个线性函数把P 维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。这个线性函数应该能够在把P 维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。在这里借用了一元方差分析的思想，即依据组间均方差与组均方差之比最大的原则来进行判别。 1.3 算法优缺点分析 优点：（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布。 （2）Fisher 方法可直接求解权向量*w ； （3）Fisher 的线性判别式不仅适用于确定性模式分类器的训练，而且对于随机模式也是适用的，Fisher 还可以进一步推广到多类问题中去 缺点： （1）如果21M M =，0*=w ，则样本线性不可分； 21M M ≠，未必线性可分； w S 不可逆，未必不可分。 （2）对线性不可分的情况，Fisher 方法无法确定分类 2 实验原理 2.1 线性投影与Fisher 准则函数 各类在d 维特征空间里的样本均值向量：
文章编号：１０００－２２４３（２００６）０４－０４７３－０５ 改进的Ｆｉｓｈｅｒ判别方法 黄利文１，２，梁飞豹１ （１．福州大学数学与计算机科学学院，福建 福州 ３５０００２；２．泉州师范学院理工学院，福建 泉州 ３６２０００）摘要：对Ｆｉｓｈｅｒ判别方法进行了改进，其主要思想是改变Ｆｉｓｈｅｒ判别中以临界值为准则的判别方法，而以各总体的投影值所确定的正态分布的密度函数作为样品归类准则，并形成多次判别．例子表明，该方法优于Ｆｉｓｈｅｒ判别方法． 关键词：Ｆｉｓｈｅｒ判别；临界值；判别分析 中图分类号：Ｏ２１２ 文献标识码：Ａ Ｉｍｐｒｏｖｅｍｅｎｔ Ｆｉｓｈｅｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄ ＨＵＡＮＧ Ｌｉ － ｗｅｎ１，２， ＬＩＡＮＧ Ｆｅｉ － ｂａｏ１ （１． Ｃｏｌｌｅｇｅ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， Ｆｕｚｈｏｕ Ｕｎｉｖｅｒｓｉｔｙ， Ｆｕｚｈｏｕ， Ｆｕｊｉａｎ ３５０００２， Ｃｈｉｎａ； ２． Ｓｃｈｏｏｌ ｏｆ Ｓｃｉｅｎｃｅ， Ｑｕａｎｚｈｏｕ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ， Ｑｕａｎｚｈｏｕ， Ｆｕｊｉａｎ ３６２０００， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ： Ｈａｓ ｉｍｐｒｏｖｅｄ ｔｈｅ Ｆｉｓｈｅｒ ｄｉｓｃｒｉｍｉｎａｎｔ ｍｅｔｈｏｄ， ｉｔｓ ｍａｉｎ ｔｈｏｕｇｈｔ ｉｓ ｔｏ ｃｈａｎｇｅ ｔｈｅ ｍｅｔｈｏｄ ｏｆ Ｆｉｓｈｅｒ ｄｉｓｃｒｉｍｉｎａｎｔ ｔａｋｉｎｇ ｃｒｉｔｉｃａｌ ｖａｌｕｅ ａｓ ｃｒｉｔｅｒｉｏｎ， ｂｕｔ ｔｈｅ ｎｏｒｍａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ ｗｈｉｃｈ ｄｅｔｅｒ－ ｍｉｎｅｄ ｂｙ ｖａｒｉｏｕｓ ｅｎｓｅｍｂｌｅｓ ｐｒｏｊｅｃｔｉｏｎ ｖａｌｕｅ ｔｏｏｋ ｔｈｅ ｓａｍｐｌｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｒｉｔｅｒｉｏｎ， ａｎｄ ｆｏｒｍｓ ｔｈｅ ｍｕｌｔｉ－ ｖａｒｉａｔｅ ｄｉｓｃｒｉｍｉｎａｔｅ ｍｅｔｈｏｄ． Ｔｈｅ ｅｘａｍｐｌｅ ｉｎｄｉｃａｔｅｓ ｔｈｉｓ ｍｅｔｈｏｄ ｉｓ ｓｕｐｅｒｉｏｒ ｔｏ Ｆｉｓｈｅｒ ｄｉｓｃｒｉｍｉｎａｎｔ． Ｋｅｙｗｏｒｄｓ ： Ｆｉｓｈｅｒ ｄｉｓｃｒｉｍｉｎａｎｔ； ｃｒｉｔｉｃａｌ ｖａｌｕｅ； ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ
实验项目四判别分析的计算机实现 一、实验内容、目标及要求 （一）实验内容 选取140家上市公司作为样本，其中70家为由于“财务状况异常”而被交易所对其股票实行特别处理（Special Treatment，简称ST）的公司，另外70家为财务正常的公司。为了研究上市公司发生财务困境的可能性，以“是否被ST”为分组变量，选择资产负债率、总资产周转率和总资产利润率几个财务指标作为判别分析变量，这三个指标分别从上市公司的偿债能力、资产管理能力和获利能力三个不同的角度反映了企业的财务状况。（数据略） （二）实验目标 贝叶斯判别、费希尔判别法的计算机操作及结果分析。 （三）实验要求 要求学生能熟练应用计算机软件进行判别分析并对结果进行分析，培养实际应用能力。 二、实验准备 （一）运行环境说明 电脑操作系统为Windows XP及以上版本，所需软件为SPSS 16.0。 （二）基础数据设置说明 将数据正确导入SPSS，设置相应的变量值。 三、实验基本操作流程及说明 （一）系统界面及说明 同实验一。
（二）操作步骤 1. 选择菜单项Analyze→Classify→Discriminate，打开Discriminate Analysis对话框，如图4-1。将分组变量st移入Grouping V ariable列表框中，将自变量x1－x3选入Independents 列表框中。 选择Enter independents together单选按钮，即使用所有自变量进行判别分析。若选择了Use stepwise method单选按钮，则可以根据不同自变量对判别贡献的大小进行变量筛选，此时，对话框下方的Method按钮被激活，可以通过点击该按钮设置变量筛选的方法及变量筛选的标准。 图4-1 Discriminate Analysis对话框 2. 单击Define Range按钮，在打开的Define Range子对话框中定义分组变量的取值范围。本例中分类变量的取值范围为0到1，所以在Minimum和Maximum输入框中分别输入0和1。单击Continue按钮，返回主对话框。 3. 如果不想使用全部的样本进行分析，单击Select按钮，则Discriminate Analysis对话框下方会跳出一个Selection Variable列表框，将一个选择变量移入Selection Variable列表框，并单击Rule按钮，设置选择条件。这样，只有满足选择条件的观测才能参与判别分析。 4. 单击Statistics按钮，在跳出的Statistics子对话框中指定输出的描述统计量和判别函数系数。该对话框中各选项的含义如下： Descriptives选项栏：输出原始数据的描述性统计量 ◆Means：输出各类中所有自变量的均值、组内标准差以及总样本的均值和标准差； ◆Univariate ANOV A：进行单因素方差分析，检验的原假设为不同类别中自变量的均 值不存在显著差异； ◆Box’s M：对各类的协方差矩阵是否相等进行检验。 Matrices选项栏：输出各种不同的协差阵和相关系数矩阵 ◆Within-groups correlation matrix：平均组内相关系数矩阵，它是由平均组内协差阵 计算得到的； ◆Within-groups covariance matrix：平均组内协差阵，它是由各组的协差阵平均后得 到的； ◆Separate-groups covariance matrix：分别输出各个类的协差阵； ◆Total covariance matrix：总体协差阵。 Function Coefficients选项栏：输出不同的判别函数系数 ◆Fisher’s：给出Bayes线性判别函数的系数。（注意：这个选项不是要给出Fisher判 别函数的系数。这个复选框的名字之所以为Fisher’s，是因为按判别函数值最大进
贝叶斯判别、费希尔判别法的计算机 操作及结果分析 一、实验内容、目标及要求 （一）实验内容 选取140家上市公司作为样本，其中70家为由于“财务状况异常”而被交易所对其股票实行特别处理（Special Treatment，简称ST）的公司，另外70家为财务正常的公司。为了研究上市公司发生财务困境的可能性，以“是否被ST”为分组变量，选择资产负债率、总资产周转率和总资产利润率几个财务指标作为判别分析变量，这三个指标分别从上市公司的偿债能力、资产管理能力和获利能力三个不同的角度反映了企业的财务状况。（二）实验目标 贝叶斯判别、费希尔判别法的计算机操作及结果分析。 （三）实验要求 要求学生能熟练应用计算机软件进行判别分析并对结果进行分析，培养实际应用能力。 二、实验准备 （一）运行环境说明 电脑操作系统为Windows XP及以上版本，所需软件为SPSS 16.0。
（二）基础数据设置说明 将数据正确导入SPSS，设置相应的变量值。 三、实验基本操作流程及说明 （一）系统界面及说明 同实验一。 （二）操作步骤 1. 选择菜单项Analyze→Classify→Discriminate，打开Discriminate Analysis对话框，如图4-1。将分组变量st移入Grouping Variable列表框中，将自变量x1－x3选入Independents列表框中。 选择Enter independents together单选按钮，即使用所有自变量进行判别分析。若选择了Use stepwise method单选按钮，则可以根据不同自变量对判别贡献的大小进行变量筛选，此时，对话框下方的Method按钮被激活，可以通过点击该按钮设置变量筛选的方法及变量筛选的标准。 图4-1 Discriminate Analysis对话框
fisher判别
实验名称：fisher判别一、实验目的和要求 通过上机操作，完成spss软件的fisher判别二、实验内容和步骤 依次点击，选择discriminant 如下图所示进行操作
点击ststistics,进行以下操作
点击classification，进行以下操作 点击save，进行以下操作
Analysis Case Processing Summary Unweighted Cases N Percent Valid 15 100.0 Excluded Missing or out-of-range group codes 0 .0 At least one missing discriminating variable 0 .0 Both missing or out-of-range group codes and at least one missing discriminating variable 0 .0 Total 0 .0 Total 15 100.0 该表为分析案例处理摘要表，反映的是有效样本与缺失值的情况，可以看出本案例中有效值有15个，缺失值为15个 Group Statistics 类别Mean Std. Deviation Valid N (listwise) Unweighted Weighted 1.00 X1 188.6000 57.13843 5 5.000 X2 150.4000 16.50152 5 5.000 X3 13.8000 5.93296 5 5.000 X4 20.0000 13.32291 5 5.000 2.00 X1 157.0000 41.17038 5 5.000 X2 115.0000 14.81553 5 5.000
Fisher 线性判别上机实验报告 班级: 学号: 姓名: 一．算法描述 Fisher 线性判别分析的基本思想:选择一个投影方向(线性变换,线性组合),将高维问题降低到一维问题来解决,同时变换后的一维数据满足每一类内部的样本尽可能聚集在一起,不同类的样本相隔尽可能地远。 Fisher 线性判别分析,就就是通过给定的训练数据,确定投影方向W 与阈值w0, 即确定线性判别函数,然后根据这个线性判别函数,对测试数据进行测试,得到测试数据的类别。 线性判别函数的一般形式可表示成0)(w X W X g T += 其中 ????? ??=d x x X Λ1 ?????? ? ??=d w w w W Λ21 Fisher 选择投影方向W 的原则,即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开,类内样本投影尽可能密集的要求。 如下为具体步骤: (1)W 的确定
样本类间离散度矩阵b S 在投影后的一维空间中,各类样本均值T i i m '= W m 样本类内离散度与总类内离散度 T T i i w w S ' = W S W S ' = W S W 样本类间离散度T b b S ' = W S W Fisher 准则函数为 max 22 212 21 ~~)~~()(S S m m W J F +-= (2)阈值的确定 w 0 就是个常数,称为阈值权,对于两类问题的线性分类器可以采用下属决策规 则: 令) ()()(2 1 x x x g g g -=则: 如果g(x)>0,则决策w x 1∈;如果g(x)<0,则决策w x 2∈;如果g(x)=0,则可将x 任意分到某一类,或拒绝。 (3)Fisher 线性判别的决策规则 Fisher 准则函数满足两个性质: 1、投影后,各类样本内部尽可能密集,即总类内离散度越小越好。 2、投影后,各类样本尽可能离得远,即样本类间离散度越大越好。 根据这个性质确定准则函数,根据使准则函数取得最大值,可求出 W :-1 w 12W = S (m - m ) 。 这就就是Fisher 判别准则下的最优投影方向。 最后得到决策规则 T 1212S (m m )(m m ) b =--
实验1 Fisher 线性判别实验 一、实验目的 应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher 的方法，实际上涉及维数压缩。 如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。这个投影变换就是我们寻求的解向量* w 本实验通过编制程序体会Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握Fisher 线性判别问题的实质。 二、实验原理 1．线性投影与Fisher 准则函数 各类在d 维特征空间里的样本均值向量： ∑∈= i k X x k i i x n M 1 ，2,1=i (4.5-2) 通过变换w 映射到一维特征空间后，各类的平均值为： ∑∈= i k Y y k i i y n m 1，2,1=i (4.5-3) 映射后，各类样本“类内离散度”定义为： 22 ()k i i k i y Y S y m ∈= -∑，2,1=i (4.5-4) 显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher 准则函数： 2 122 2 12 ||()F m m J w s s -=+ (4.5-5) 使F J 最大的解* w 就是最佳解向量，也就是Fisher 的线性判别式。
实验容使用FISHER线性判别来对树叶进行分类指导老师_王旭初_____ 一．实验目的 利用FISHER线性判别函数来对桃树叶子和芒果树叶子进行分类，将这两者若干片树叶进行一定特点分类，做出函数图，使得我们容易分析这两者之间的异同。 二．数据获取方式 实验过程中将会使用到FISHER线性判别函数法，MATLAB实验仿真程序。通过实验MATLAB程序来设计一个FISHER线性判别分类器，将实验前收集到的两种树叶的若干片叶子的数据输入分类器，运行后得出一个分类仿真图形，从而可以得出其叶子间的异同点。 三．实验原理 Fisher线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。 Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值y0，即确定
线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。 线性判别函数的一般形式可表示成 0)(w X W X g T += 其中 ????? ??=d x x X Λ1 ?????? ? ??=d w w w W Λ21 根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类样本投影尽可能密集的要求，用以评价投影方向W 的函数为： 2 2 2122 1~~)~~()(S S m m W J F +-= )(211 *m m S W W -=- 上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。另外， 该式这种形式的运算，我们称为线性变换，其中21m m -式一个向量，1 -W S 是W S 的逆矩阵，如21m m -是d 维，W S 和1-W S 都是d ×d 维，得到的*W 也是一个d 维的向量。 向量*W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原d 维特征向量求加权和的权值。
Fisher判别 理论，编程步骤和优缺点 1.理论 判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分析是一种应用性很强的统计数据分析方法。 Fisher判别 （1）借助方差分析的思想构造一个线性判别函数： （2）确定判别函数系数时要求使得总体之间区别最大，而使每个总体内部的离差最小。 （3）从几何的角度看，判别函数就是p维向量X在某种方向上的投影。使得变换后的数据同类别的点“尽可能聚在一起”，不同类别的点“尽可能分离”，以此达到分类的目的。 两类Fisher判别示意图
（1）如果有多个类别， Fisher 判别可能需要两个或者更多的判别函数才能完成分类。 （2）一般来说判别函数的个数等于分类的个数减一。 （3）得到判别函数后，计算待判样品的判别函数值，根据判别函数的值计算待判样品到各类的重心的距离，从而完成分类。 2.编程步骤 ① 把来自两类 21/w w 的训练样本集X 分成1w 和2w 两个子集1X 和2X 。 G1 G2 X
② 由∑∈=i k X x k i i x n M 1，2,1=i ，计算i M 。 ③ 由T i X x k i k i M x M x S i k ))((--= ∑=计算各类的类内离散度矩阵i S ，2,1=i 。 ④ 计算类内总离散度矩阵21S S S w +=。 ⑤ 计算 w S 的逆矩阵1 -w S 。 ⑥ 由)(211*M M S w w -=-求解*w 。 3.优点 （1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后的样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离竟可能的远，同一类别的尽可能的集中分布。 （2）Fisher 方法可以直接求解法向量。 （3）Fisher 的线性判别不仅适用于确定性的模式分类器的训练，而且对于随机的模机也是适用的，Fisher 还可以推广到多类问题中去。 缺点 （1）如果M1=M2,W=0.则这样的样本线性不可分；M1！=M2，未必线性可分；SW 不可逆，未必不可分。
1 绪 论 1.1课题背景 随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可少的工具和手段。多元统计分析是近年来发展迅速的统计分析方法之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。 判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所属类别的情况下有着广泛的应用。潜在的应用包括预测一个公司是否成功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有某种疾病等等。它是在已知观测对象的分类结果和若干表明观测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进行判断时，出错的概率很小。而Fisher 判别方法是多元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。通常用来判别某观测量是属于哪种类型。在方法的具体实现上，采用国内广泛使用的统计软件SPSS （Statistical Product and Service Solutions ）,它也是美国SPSS 公司在20世纪80年代初开发的国际上最流行的视窗统计软件包之一 1.2 Fisher 判别法的概述 根据判别标准不同，可以分为距离判别、Fisher 判别、Bayes 判别法等。Fisher 判别法是判别分析中的一种，其思想是投影，Fisher 判别的基本思路就是投影，针对P 维空间中的某点x=(x1，x2，x3，…，xp)寻找一个能使它降为一维数值的线性函数y(x)： ()j j x C x ∑=y
然后应用这个线性函数把P 维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。这个线性函数应该能够在把P 维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。在这里借用了一元方差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别。 1.3 算法优缺点分析 优点：（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布。 （2）Fisher 方法可直接求解权向量*w ； （3）Fisher 的线性判别式不仅适用于确定性模式分类器的训练，而且对于随机模式也是适用的，Fisher 还可以进一步推广到多类问题中去 缺点： （1）如果21M M =，0*=w ，则样本线性不可分； 21M M ≠，未必线性可分； w S 不可逆，未必不可分。 （2）对线性不可分的情况，Fisher 方法无法确定分类 2 实验原理 2.1 线性投影与Fisher 准则函数
Fisher 线性判别分析实验报告 一、摘要 Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有性质：同类样本尽可能聚集在一起，不同类样本尽可能地远。 Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向w 和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。 二、算法的基本原理及流程图 1 基本原理 （1） W 的确定 各类样本均值向量 mi 样本类内离散度矩阵i S 和总类内离散度矩阵 w S 12w S S S =+ 样本类间离散度矩阵 b S 在投影后的一维空间中， 各类样本均值 T i i m '= W m 样本类内离散度和总类内离散度 T T i i w w S ' = W S W S ' = W S W 样本类间离散度 T b b S ' = W S W Fisher 准则函数满足两个性质： 投影后，各类样本内部尽可能密集，即总类内离散度越小越好。 投影后，各类样本尽可能离得远，即样本类间离散度越大越好。 根据这个性质确定准则函数，根据使准则函数取得最大值，可求出w T x S (x m )(x m ), 1,2 i i i i X i ∈= --=∑T 1212S (m m )(m m )b =--
-1 w12 W = S(m - m) （2）阈值的确定 实验中采取的方法： 012 y = (m' + m') / 2 （3） Fisher线性判别的决策规则 对于某一个未知类别的样本向量 x，如果y = W T x >y0, 则x∈w1 否则x∈w2 2流程图 方差标准化（归一化处理） 一个样本集中，某一个特征的均值与方差为：归一化：
1 实验1 Fisher 线性判别实验 一、实验目的 应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher 的方法，实际上涉及维数压缩。 如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。这个投影变换就是我们寻求的解向量* w 本实验通过编制程序体会Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握Fisher 线性判别问题的实质。 二、实验原理 1．线性投影与Fisher 准则函数 各类在d 维特征空间里的样本均值向量： ∑∈=i k X x k i i x n M 1 ，2,1=i (4.5-2) 通过变换w 映射到一维特征空间后，各类的平均值为： ∑∈=i k Y y k i i y n m 1 ，2,1=i (4.5-3) 映射后，各类样本“类内离散度”定义为： 22()k i i k i y Y S y m ∈= -∑，2,1=i (4.5-4) 显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher 准则函数： 2 122212 ||()F m m J w s s -=+ (4.5-5) 使F J 最大的解* w 就是最佳解向量，也就是Fisher 的线性判别式。 2．求解*w 从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。
机器学习笔记-----Fisher 判别式 本文申明：本系列文章为本人原创，如有转载请注明文章原地址。 今天我们机器学习老师在说到周志华老师的《机器学习》这本书的时候，p60页讲到了LDA ，但是其中的公式推导省略了很多，现在我来补充一下。 一：LDA 的思想 给定两个数据集一个是XX 一个是OO ，然后我们把XXOO 投影到一条直线上，但是啊，这个人是很坏的，人家XXOO 本来想分配到一起，但是你非要让人家两类离得越远越好，相同的呢离得越近越好，美其名：异性只是繁衍，同性才是真爱。哎，你说这不是泯灭人性么，好吧，我们先不扯蛋了。说正题： 1.1首先我们定义m i ,它表示这个i 类样本d 维空间的均值。也就是这个分别代表类xx 和oo 。m i 表示如下。 1i x i m X n δ∈=∑ 那么我们既然知道了这个，我们是不是也要找一个投影到这条直线上的代表点啊，所以就有了： *1 1T T i i y i y i m y w X W m n n γγ∈∈===∑∑ 那么现在我们就可以知道两个分类之间的距离了： **1211||||||()||T m m W m m -=- 从上述式子我们可以看出，改变直线的斜率，也就是方向，可以改变两者之间的大小。 刚刚我们说了我们的准则就是让类内之间的距离最小，这是不是有点像我们之前的指示函数，那么如下图公式：
*2 *2()i i y i s y m γ∈=-∑ 我们前面已经说过，这是一个二分类问题，现在已经给了一般形式的离散度（我们叫他离散度，其实就是真实值与预测值（这里用平方表示预测值）的平方），那我们是不是要把这个两个离散度相加，然后让这个达到最小？ 总得离散度为： *2 *2 12all s s s =+ 为了让类内的距离越小，类间的距离越大，我给出下面的判别式。你们看，能不能满足。 **211*2*211||||()m m J W s s -=+，现在只要让J(W)达到极大，是不是就可以让我们前面说的两 个要求满足？ 那就让我们来求出J(W)的极大值。 1.2求其中一类的离散度（就是那一类的点到这个类中平均点的距离之和） 公式： ()() T i i i x i s X m X m ?∈=--∑ 二分类问题就是总得离散度为:12W S S S =+ 1.2类间的离散度用矩阵表示为： 1212()() T B S m m m m =-- 那么： *2*22()()()()T T T T T i i i i i i y i y i y i s y m W X W m W X m X m W W SW γγγ∈∈∈=-=-=--=∑∑∑所以总得类内离散度： *2*212T W S S W S W += 有因为： **2212121212||||()()()T T T T T B m m W m W m W m m m m W W S W -=-=--= 所以：