1、试说明Mahalanobis 距离平方的定义，到某点的Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。
答：Mahalanobis 距离的平方定义为：∑---=1
2)()(),(u x u x u x r T
其中x ，u 为两个数据，1-∑是一个正定对称矩阵（一般为协方差矩阵）。根据定义，距
某一点的Mahalanobis 距离相等点的轨迹是超椭球，如果是单位矩阵Σ，则Mahalanobis 距离就是通常的欧氏距离。
2、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。
答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。
非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。
就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。
使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。
3、已知一组数据的协方差矩阵为???
? ??12/12/11，试问
(1) 协方差矩阵中各元素的含义。 (2) 求该数组的两个主分量。
(3) 主分量分析或称K-L 变换，它的最佳准则是什么？ (4) 为什么说经主分量分析后，消除了各分量之间的相关性。
答：协方差矩阵为???
?
??12/12/11，则
(1) 对角元素是各分量的方差，非对角元素是各分量之间的协方差。
(2) 主分量，通过求协方差矩阵的特征值，用????
?
? ??
----121211λλ＝0得4/1)1(2=-λ，则 ??
?=2/32/1λ，相应地：2/3=λ，对应特征向量为???? ??11，21
=λ，对应???
? ??-11。 这两个特征向量，即为主分量。 (3) K-L 变换的最佳准则为：
对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。
(4) 在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。
4、试说明以下问题求解是基于监督学习或是非监督学习：
(1) 求数据集的主分量 (2) 汉字识别 (3) 自组织特征映射 (4) CT 图像的分割
答：(1) 求数据集的主分量是非监督学习方法；
(2) 汉字识别：对待识别字符加上相应类别号—有监督学习方法；
(3) 自组织特征映射—将高维数组按保留近似度向低维映射—非监督学习； (4) CT 图像分割—按数据自然分布聚类—非监督学习方法； 5、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。
答：线性分类器三种最优准则：
Fisher准则：根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。
这种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。
感知准则函数：准则函数以使错分类样本到分界面距离之和最小为原则。
其优点是通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元网络多层感知器的基础。
支持向量机：基本思想是在两类线性可分条件下，所设计的分类器界面使两类之间的间隔为最大，它的基本出发点是使期望泛化风险尽可能小。
6、试分析五种常用决策规则思想方法的异同。
答、五种常用决策是：
1. 基于最小错误率的贝叶斯决策，利用概率论中的贝叶斯公式，得出使得错误率最小
的分类规则。
2. 基于最小风险的贝叶斯决策，引入了损失函数，得出使决策风险最小的分类。当在
0-1损失函数条件下，基于最小风险的贝叶斯决策变成基于最小错误率的贝叶斯决策。
3. 在限定一类错误率条件下使另一类错误率最小的两类别决策。
4. 最大最小决策：类先验概率未知，考察先验概率变化对错误率的影响，找出使最小
贝叶斯奉献最大的先验概率，以这种最坏情况设计分类器。
5. 序贯分类方法，除了考虑分类造成的损失外，还考虑特征获取造成的代价，先用一
部分特征分类，然后逐步加入性特征以减少分类损失，同时平衡总的损失，以求得最有效益。
7、 1. 什么是特征选择？
2. 什么是Fisher 线性判别？
答：1. 特征选择就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的。
2. Fisher 线性判别：可以考虑把d 维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维，这在数学上容易办到，然而，即使样本在d 维空间里形成若干紧凑的互相分得开的集群，如果把它们投影到一条任意的直线上，也可能使得几类样本混在一起而变得无法识别。但是在一般情况下，总可以找到某个方向，使得在这个方向的直线上，样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线，这就是Fisher 算法所要解决的基本问题。
8、写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
两类问题：判别函数 )()()(2121111x w p x w p x g λλ+=
)()()(2221212x w p x w p x g λλ+=
决策面方程：)()(21x g x g =
C 类问题：判别函数 )()(1x w p x g j ij c
j i λ=∑=，c i ,......2,1=
决策面方程：)()(x g x g j i =，j i ≠，c i ,......
2,1=，c j ,......2,1= 9、请论述模式识别系统的主要组成部分及其设计流程，并简述各组成部分中常用方法的主
信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或波形。 预处理：去除噪声，加强有用的信息，并对输入测量仪器或其他因素造成的退化现象进行复原。
特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。
分类决策：在特征空间中用统计方法把识别对象归为某一类。 10、简述支持向量机的基本思想。
答：SVM 从线性可分情况下的最优分类面发展而来。
最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且使分类间隔最大。
SVM 考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域(margin)最大。
过两类样本中离分类面最近的点，且平行于最优分类面的超平面上H 1，H 2的训练样本就叫支持向量。
四、计算题
1、设两类样本的类内散布矩阵分别为???
???--=??????=11,112121221211S S ， 两类的类心分别为m 1=(2,0)T , m 2=(2,2)T , 试用fisher 准则求其决策面方程。
解：??????=+=1001)(212
1
S S S w ，??
????=-10011w S 22)1,2(10
01)2,0()()()(22121212
1+-=--???
? ??-=--=+-x x x x S m m x d T m m w T ρρρρρρ ???∈?<>21
0)(ωωx x d ρρ
或 写出决策面方程 01)(2=+-=x x d ρ
2、已知两个一维模式类别的类概率密度函数为:
其它2
11002)/(1≤≤<≤??
?
??-=x x x x x p ω 其它3
22
1031)/(2≤≤<≤???
??--=x x x x x p ω
先验概率P(ω1)=0.6，P(ω2)=0.4， （1）求0-1代价Bayes 判决函数； （2）求总错误概率P(e )；
（3）判断样本{x 1=1.35, x 2=1.45, x 3=1.55, x 4=1.65} 各属于哪一类别。
答：(1) 基于0-1代价Bayes 判决函数为：
当
67.032
6.04.0)()()
|()
|(1221≈==ωωωωP P x p x p 时，1w x ∈，否则2w x ∈， (2) 总的误判概率P(e )为：
由
3212=--x x ， 得：6.15
8
==x 12
.0 )1(*4.0)2(*6.0
)|(*)()|(*)()(6
.11
26
.122111
2
=-+-=+=????dx x dx x dx
x p P dx x p P e P D D ωωωω
(3) 67.086.135.0/65.0)/(/)/(,
35.1211>≈==ωωx p x p x ，所以11w x ∈ 67.022.145.0/55.0)/(/)/(,
45.1212>≈==ωωx p x p x ，所以12w x ∈
> <
67.082.055.0/45.0)/(/)/(,55.1213>≈==ωωx p x p x ，所以13w x ∈
67.054.065.0/35.0)/(/)/(,
65.1214<≈==ωωx p x p x ，所以24w x ∈
3、假设在某个地区细胞识别中正常（w 1）和异常（w 2）两类先验概率分别为8.0)(1=w P ，
2.0)(2=w P ，现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得25.0)(1=w x P ，6.0)(2=w x P ，并且已知011=λ，612=λ，121=λ，022=λ
试对该细胞x 用一下两种方法进行分类：
(1) 基于最小错误率的贝叶斯决策； (2) 基于最小风险的贝叶斯决策； 请分析两种结果的异同及原因。
答：(1) 利用贝叶斯公式，分别计算出1w 和2w 的后验概率：
625.02
.06.08.025.08
.025.0)
()()
()()(2
1
1
111=?+??==
∑=j j j
w
p w x p w p w x p x w p
375.0)(1)(12=-=x w p x w p
根据贝叶斯决策规则：375.0)(625.0)(21=>=x w p x w p ，所以把x 归为正常状态。 (2) 根据条件和上面算出的后验概率，计算出条件风险：
125.3)()()()(2121112
111=+==∑=x w p x w p x w p x R j j j λλλα
75.1)()()()(222212121
22=+==∑=x w p x w p x w p x R j j j λλλα
由于)()(21x R x R αα>，即决策为2w 的条件风险小于决策为1w 的条件风险，因此采取决策行动2α，即判断待识别的细胞x 为2w 类----异常细胞。
将 (1) 与 (2) 相对比，其分类结果正好相反，这是因为这里影响决策结果的因素又多了一个，即“损失”；而且两类错误决策所造成的损失相差很悬殊，因此“损失”起了主导作用。
4、有两类样本集 T x ]0,0,0[1
1
=，T x ]0,0,1[21=，T x ]1,0,1[31=，T x ]0,1,1[41= T x ]1,0,0[12=，T x ]0,1,0[22=，T x ]1,1,0[32=，T x ]1,1,1[42
= (1) 用K-L 变换求其二维特征空间，并求出其特征空间的坐标轴； (2) 使用Fisher 线性判别方法给出这两类样本的分类面。
??
??
?
?????=5.025.025.025.05.025.025.025.05.0][T XX E ，其对应的特征值和特征向量为： ??
??
??????=Λ100025.0000
25.0
对应的坐标： , 6132 6132 6231 00:1??
??
????????-????????????-????????????-??????w 033 6232 6131 6131 :2??
?????????????
?
??????
????????????
?????????
??
?
w (2) ??????????=25.025.075.01m ????
?
?????=75.075.025.02m ,
???????
?
?
????
?
??--=????????????
????----+???????
?????????----
+????????????????-
--
-
+????????????
????=--=∑=434
141
414341041
43
16116
316
1163169163
161163
161
16916316
3163161161163161
16116116
116
1
16116116116116116116116
1163161161163
16316316
9))((41
111i T
i i m x m x S ?????
??
?????
????-
-=????????????????+????????????????--
--+????????
????????---
-+????????????????----=--=∑=434141414341
41414316116116316116116316316316916116116
1161161161
161161161 16916316316316116116316
1161161163161
16316916
3161163161
))((4
1
222i T
i i m x m x S ????
?
??
???--=+=31113111341)(2121S S S w ??????????--=-=-222)(211*m m S w w ， 12
2*1
*0-=+=m w m w y T
T 所以 判别函数为1222)(+????
?
?????--=x x g T
5、假设两类模式服从如下的正态分布：
??????=111μ，??????--=112μ，?
?
?
???=∑=∑5.200121，5.021==P P ，
求使)(1
b w
S S tr -最大化的一维特征空间的变换矢量。
答：[]T 0 ,0=μ，??????=∑+∑=500221)(2121w S , ??
????=-4.00011
w S ??????=--=--∑==1111))((41))((21212121T T i i i b S μμμμμμμμ, ??
????=-4.04.0111
b w S S 因为b w S S 1-的秩为1，所以b w S S 1
-只有一个非零特征值，W 是1?D 矩阵，即w W =。
为求解b w S S 1-的特征值，解方程 w w S S b w 11
λ=-，
即
w w S T w 121211
))((4
1λμμμμ=--- 因为
w T )(4121μμ-为标量，所以，??
????=-=-8.02)(211
μμw S w 。
6、现有样本集X={(0,0)T , (0,1) T , (2,1) T , (2,3) T , (3,4) T , (1,0) T },
试用K-means {C-均值}算法进行聚类分析(类数C=2), 初始聚类中心为(0, 0)T 、(0, 1) T 。 解：
第一步：由题意知C = 2，初始聚类中心为Z 10=(0,0)T , Z 20=(0,1) T 第二步： ||x 1-Z 10||=||(0,0) T -(0,0) T ||=0
||x 1-Z 20||=||(0,0) T -(0,1) T ||=1 因为||x 1-Z 10||<||x 1-Z 20||, 所以x 1∈ω1
||x 2-Z 10||=||(0,1) T -(0,0) T ||=1
||x 2-Z 20||=||(0,1) T -(0,1) T ||=0 因为||x 2-Z 10||>||x 2-Z 20||, 所以x 2∈ω2 同理
因为||x 3-Z 10||=51/2>||x 3-Z 20||=2，所以x 3∈ω2 因为||x 4-Z 10||=81/2>||x 4-Z 20||=51/2，所以x 4∈ω2
x 5∈ω2, x 6∈ω1
由此得到新的类：ω1={x 1, x 6} N 1=2, ω2={x 2, x 3, x 4, x 5 } N 2=4
第三步：根据新分成的两类计算新的聚类中心
Z 11=(x 1+x 6)/2=(0.5, 0)T
Z 21=(x 2+x 3+x 4+x 5)/4=(1.75, 2.25)T
第四步：因为新旧聚类中心不等，转第二步
第二步：重新计算x 1, x 2, x 3, x 4, x 5, x 6到Z 11、Z 12的距离，把它们归为最近聚类中心，重
新分为两类ω1={x 1, x 2, x 6} N 1=3, ω2={x 3, x 4, x 5 } N 2=3
第三步：根据新分成的两类计算新的聚类中心
Z 12=(x 1+x 2+x 6)/3=(1/3, 1/3)T Z 22=(x 3+x 4+x 5)/3=(7/3, 8/3)T
第四步：因为新旧聚类中心不等，转第二步
重新计算x 1, x 2, x 3, x 4, x 5, x 6到Z 12、Z 22的距离，把它们归为最近聚类中心，重新分为两类ω1={x 1, x 2, x 6}，N 1=3, ω1={x 3, x 4, x 5 }，N 2=3
和上次聚类结果一样，计算结束。
7、已知二维样本：1x ρ=(-1,0)T ，2x ρ=(0,-1)T ，3x ρ=(0,0)T ，4x ρ=(2,0)T 和5x ρ=(0,2)T ，121},{ω∈x x ρ
ρ，2543},,{ω∈x x x ρρρ。试用感知器算法求出分类决策函数，并判断6x ρ
=(2,1)T 属于哪一类？
答：将样本符号规范化得：
1x ρ=(-1,0,1)T ，2x ρ=(0,-1,1)T ，3x ρ=(0,0,-1)T ，4x ρ
=(-2,0,-1)T 和5x ρ=(0,-2,-1)T ，
赋初值T w )1 ,1 ,1()1(=，取增量1=ρ, 置迭代步数k=1, 则有： k=1, 1x x k =, 0)()(==k T k x k w x d , T x w w )2 ,1 ,0()1()2(1=+= k=2, 2x x k =, 01)()(>==k T k x k w x d , )2()3(w w =
k=3, 3x x k =, 02)()(<-==k T k x k w x d , T x w w )1 ,1 ,0()3()4(3=+= k=4, 4x x k =, 01)()(<-==k T k x k w x d , T x w w )0 ,1 ,2()4()5(4-=+= k=5, 5x x k =, 02)()(<-==k T k x k w x d , T x w w )1 ,1 ,2()5()6(5---=+= k=6, 1x x k =, 01)()(>==k T k x k w x d , )6()7(w w =
k=7, 2x x k =, 0)()(==k T k x k w x d , T x w w )0 ,2 ,2()7()8(2--=+= k=8, 3x x k =, 0)()(==k T k x k w x d , T x w w )1 ,2 ,2()8()9(3---=+= k=9, 4x x k =, 05)()(>==k T k x k w x d , )9()10(w w = k=10, 5x x k =, 05)()(>==k T k x k w x d , )10()11(w w = k=11, 1x x k =, 01)()(>==k T k x k w x d , )11()12(w w = k=12, 2x x k =, 05)()(>==k T k x k w x d , )12()13(w w =
k=13, 3x x k =, 05)()(>==k T k x k w x d , )13()14(w w =
所以，最后收敛于T
w )1 ,2 ,2(---=, 分类决策函数为122)(21---=x x x d
将T x )1 ,2(6=代入决策函数，07)(<-=x d , 所以 26ω∈x ρ
8、两类样本的均值矢量分别为m 1=(4, 2)T 和 m 2=(- 4,-2)T ，
协方差矩阵分别为： ?
??
???=31131C , ??????=42242C , 两类的先验概率相等， 试求一维特征提取矩阵。 解，总的类内散布阵可以算得：
9、设语言L(G)的正样本集}111 ,101{=+R ，试推断出余码文法G c 。
人工智能的研究方向和应用领域 人工智能(Artificial Intelligence) ，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。广义的人工智能包括人工智能、人工情感与人工意志三个方面。 一、研究方向 1.问题求解 人工智能的第一个大成就是发展了能够求解难题的下棋(如国际象棋)程序。在下棋程序中应用的某些技术，如向前看几步，并把困难的问题分成一些比较容易的子问题，发展成为搜索和问题归约这样的人工智能基本技术。今天的计算机程序能够下锦标赛水平的各种方盘棋、十五子棋和国际象棋。另一种问题求解程序把各种数学公式符号汇编在一起，其性能达到很高的水平，并正在为许多科学家和工程师所应用。有些程序甚至还能够用经验来改善其性能。 2.逻辑推理与定理证明 逻辑推理是人工智能研究中最持久的子领域之一。其中特别重要的是要找到一些方法，只把注意力集中在一个大型数据库中的有关事实上，留意可信的证明，并在出现新信息时适时修正这些证明。对数学中臆测的定理寻找一个证明或反证，确实称得上是一项智能任务。为此不仅需要有根据假设进行演绎的能力，而且需要某些直觉技巧。 1976年7月，美国的阿佩尔(K.Appel)等人合作解决了长达124年之久的难题--四色定理。他们用三台大型计算机，花去1200小时CPU时间，并对中间结果进行人为反复修改500多处。四色定理的成功证明曾轰动计算机界。 3.自然语言理解 NLP(Natural Language Processing)自然语言处理也是人工智能的早期研究领域之一，已经编写出能够从内部数据库回答用英语提出的问题的程序，这些程序通过阅读文本材料和建立内部数据库，能够把句子从一种语言翻译为另一种语言，执行用英语给出的指令和获取知识等。有些程序甚至能够在一定程度上翻译从话筒输入的口头指令(而不是从键盘打入计算机的指令)。目前语言处理研究的主要课题是：在翻译句子时，以主题和对话情况为基础，注意大量的一般常识--世界知识和期望作用的重要性。
模式识别的研究现状与发展趋势 摘要：随着现今社会信息技术的飞速发展, 人工智能的应用越来越广泛, 其中模式识别是人工智能应用的一个方面。而且现今的模式识别的应用也越来越得到大家的重视与支持，在各方面也有重大的进步。模式识别也成为人们身边不可或缺的一部分。关键词：人工智能，技术，模式识别，前景 Abstract：In the modern society with the rapid development of information technology, the application of a rtificial intelligence is more and more extensive, among them pattern recognition is one of the ap ply of artificial intelligence. And now the application of pattern recognition is also more and more to get everyone's attention and support, in various aspects have significant progress. Pattern rec ognition has become an integral part of people around. Keywords: Artificial Intelligence, Technology,Pattern Recognition, prospects 一，引言 如今计算机硬件的高速发展, 以及计算机应用领域的不断开拓, 人们开始要求计算机能够更有效地感知诸如声音、文字、图像、温度、震动等人类赖以发展自身、改造环境所运用的信息资料。但就一般意义来说, 目前一般计算机却无法直接感知它们, 我们常用的键盘、鼠标等外部设备, 对于这些外部世界显得无能为力。虽然摄像机、图文扫描仪、话筒等设备业已解决了上述非电信号的转换, 并与计算机联机, 但由于识别技术不高, 而未能使计算机真正知道采录后的究竟是什么信息。计算机对外部世界感知能力的低下, 成为开拓计算机应用的瓶颈, 也与其高超的运算能力形成强烈的对比。于是, 着眼于拓宽计算机的应用领域, 提高其感知外部信息能力的学科———模式识别, 便得到迅速发展。 人工智能所研究的模式识别是指用计算机代替人类或帮助人类感知模式, 是对人类感知外界功能的模拟, 研究的是计算机模式识别系统, 也就是使一个计算机系统具有模拟人类通过感官接受外界信息、识别和理解周围环境的感知能力。现将人工智能在模式识别方面的一些具体和最新的应用范围遍及遥感、生物医学图象和信号的分析、工业产品的自动无损检验、指纹鉴定、文字和语音识别、机器视觉地圈模式识别等方面。 二，现状 以地图模式识别为例，地图模式识别是由计算机来对地图进行识别与理解, 并借助一定的技术手段, 让计算机研究和分析地图上的各种模式信息, 获取地图要素的质量意义。其计算处理的过程类似于人对地图的阅读。 地图模式识别是近年来在地图制图领域中新兴的一门高新技术, 是信息时代人工智能、模式识别技术在地图制图中的具体应用。由于它是传统地图制图迈向数字地图制图的一座桥梁, 因此,地图模式识别遥感技术、地理信息系统一起, 被称为现代地图制图的三大技术。 目前, 地图模式识别由于具有广泛的应用价值和发展潜力,因而受到了人们的普遍重视。尤其是随着现今的计算机及其外部硬件环境的不断提高, 科技不过发展的情况下，
模式识别基础
回顾：模式识别与机器学习的基本思路
第十三章 统计学习理论与支持向量机简介
---- 暨课程总结与展望
x
S M
y y'
?
Xuegong Zhang Tsinghua University
1
Xuegong Zhang Tsinghua University
2
例
现实经济数据
声音数据 语料库
语音识别结果
模式识别系统的基本组成
监督模式识别(supervised PR)
分类器设计(训练)
经济发展预测 历史数据 储层性质
已知数据
信息获取与预处理 地震数据
特征提取与选择 分类决策(识别)
非监督模式识别(unsupervised PR)
聚类(自学习) 信息获取与预处理 特征提取与选择 结果解释
3 Xuegong Zhang Tsinghua University 4
基因表达数据
Xuegong Zhang Tsinghua University
复杂疾病 已知病例数据
监督模式识别： 回顾与探讨
贝叶斯决策 最小错误率 /最小风险 --最优分类器 要求模型已 知，否则要估 计模型 问题：有限
样本下估计概率 密度模型可能比 设计分类器更难
Xuegong Zhang Tsinghua University
5
Xuegong Zhang Tsinghua University
6
贝叶斯决策 线性判别
Fisher, Perceptron, MSE, …
次优，一定条 件下可最优 线性假设 问题： — 训练错误率 最小≠预测错 误率小 — 多解时谁为 最优？ — Fisher准则 的理论依据？
线性判别
最小距离 分类器
简单、 有效，但 局限大
如何设 计？ 分段线性分类器 样本较 多时性能 优越，样 本少时怎 么办？
8
近邻法
Xuegong Zhang Tsinghua University
7
Xuegong Zhang Tsinghua University
改进的近邻法
通过非线 性变换间接 实现非线性 分类 问题：思 路很好，但 不易实现 广义线性 判别函数 复杂多 样，无从 确定
Xuegong Zhang Tsinghua University
线性判别
线性判别
非线性 判别函数
复杂多 样，无从 确定
9 Xuegong Zhang Tsinghua University
非线性 判别函数 人工神经 网络
MLP: 通用的 非线性分类器 最小化训练 错误≠预测错 误最小 过学习问题 局部最优解 问题
10
通过非线 性变换间接 实现非线性 分类 问题：思 路很好，但 不易实现 广义线性 判别函数
线性判别
线性 训练错误率最小 ≠ 预测错误率小 多解时谁为最优？ Fisher准则的理论 依据？ 参考书： 通用线性/非线性分 类器 大间隔 有限样本 下高的推广能力 核函数 巧妙实现 广义判别函数 二次规划有唯一解 11 良好的理论支持
统计学习理论概要
支持向量机 （SVM）
Xuegong Zhang Tsinghua University
Xuegong Zhang Tsinghua University
12
模式识别与机器学习期末考查 试卷 研究生姓名：入学年份：导师姓名：试题1：简述模式识别与机器学习研究的共同问题和各自的研究侧重点。 答：（1）模式识别是研究用计算机来实现人类的模式识别能力的一门学科，是指对表征事物或现象的各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。主要集中在两方面，一是研究生物体（包括人）是如何感知客观事物的，二是在给定的任务下，如何用计算机实现识别的理论和方法。机器学习则是一门研究怎样用计算机来模拟或实现人类学习活动的学科，是研究如何使机器通过识别和利用现有知识来获取新知识和新技能。主要体现以下三方面：一是人类学习过程的认知模型；二是通用学习算法；三是构造面向任务的专用学习系统的方法。两者关心的很多共同问题，如：分类、聚类、特征选择、信息融合等，这两个领域的界限越来越模糊。机器学习和模式识别的理论和方法可用来解决很多机器感知和信息处理的问题，其中包括图像/ 视频分析（文本、语音、印刷、手写）文档分析、信息检索和网络搜索等。 （2）机器学习和模式识别是分别从计算机科学和工程的角度发展起来的，各自的研究侧重点也不同。模式识别的目标就是分类，为了提高分类器的性能，可能会用到机器学习算法。而机器学习的目标是通过学习提高系统性能，分类只是其最简单的要求，其研究更
侧重于理论，包括泛化效果、收敛性等。模式识别技术相对比较成熟了，而机器学习中一些方法还没有理论基础，只是实验效果比较好。许多算法他们都在研究，但是研究的目标却不同。如在模式识别中研究所关心的就是其对人类效果的提高，偏工程。而在机器学习中则更侧重于其性能上的理论证明。试题2：列出在模式识别与机器学习中的常用算法及其优缺点。答：（1）K 近邻法算法作为一种非参数的分类算法，它已经广泛应用于分类、 回归和模式识别等。在应用算法解决问题的时候，要注意的两个方面是样本权重和特征权重。 优缺点：非常有效，实现简单，分类效果好。样本小时误差难控制，存储所有样本，需要较大存储空间，对于大样本的计算量大。（2）贝叶斯决策法 贝叶斯决策法是以期望值为标准的分析法，是决策者在处理 风险型问题时常常使用的方法。 优缺点：由于在生活当中许多自然现象和生产问题都是难以完全准确预测的，因此决策者在采取相应的决策时总会带有一定的风险。贝叶斯决策法就是将各因素发生某种变动引起结果变动的概率凭统计资料或凭经验主观地假设，然后进一步对期望值进行分析，由于此概率并不能证实其客观性，故往往是主观的和人为的概率，本身带有一定的风险性和不肯定性。虽然用期望的大小进行判断有一些风险，但仍可以认为贝叶斯决策是一种兼科学性和实效性于一身的比较完善的用于解决风险型决策问题的方法，在实际中能够广泛应
《模式识别与人工智能》课程教学大纲 一、课程基本信息 课程代码：DX3004 课程名称：模式识别与人工智能 课程性质：选修课 课程类别：专业与专业方向课程 适用专业：电气信息类专业 总学时： 64 学时 总学分： 4 学分 先修课程：MATLAB程序设计；数据结构；数字信号处理；概率论与数理统计 后续课程：语音处理技术；数字图像处理 课程简介： 模式识别与人工智能是60年代迅速发展起来的一门学科，属于信息，控制和系统科学的范畴。模式识别就是利用计算机对某些物理现象进行分类，在错误概率最小的条件下，使识别的结果尽量与事物相符。模式识别技术主要分为两大类：基于决策理论的统计模式识别和基于形式语言理论的句法模式识别。模式识别的原理和方法在医学、军事等众多领域应用十分广泛。本课程着重讲述模式识别的基本概念，基本方法和算法原理，注重理论与实践紧密结合，通过大量实例讲述如何将所学知识运用到实际应用之中去，避免引用过多的、繁琐的数学推导。这门课的教学目的是让学生掌握统计模式识别基本原理和方法，使学生具有初步综合利用数学知识深入研究有关信息领域问题的能力。 选用教材： 《模式识别》第二版，边肇祺，张学工等编著[M]，北京：清华大学出版社，1999； 参考书目： [1] 《模式识别导论》，齐敏，李大健，郝重阳编著[M]. 北京：清华大学出版社，2009； [2] 《人工智能基础》，蔡自兴，蒙祖强[M]. 北京：高等教育出版社，2005； [3] 《模式识别》，汪增福编著[M]. 安徽：中国科学技术大学出版社，2010； 二、课程总目标 本课程为计算机应用技术专业本科生的专业选修课。通过本课程的学习，要求重点掌握统计模式识别的基本理论和应用。掌握统计模式识别方法中的特征提取和分类决策。掌握特征提取和选择的准则和算法，掌握监督学习的原理以及分类器的设计方法。基本掌握非监督模式识别方法。了解应用人工神经网络和模糊理论的模式识别方法。了解模式识别的应用和系统设计。要求学生掌握本课程的基本理论和方法并能在解决实际问题时得到有效地运用，同时为开发研究新的模式识别的理论和方法打下基础。 三、课程教学内容与基本要求 1、教学内容： （1）模式识别与人工智能基本知识； （2）贝叶斯决策理论； （3）概率密度函数的估计； （4）线性判别函数； （5）非线性胖别函数；
模式识别与智能系统 （081104） 一、培养目标 培养热爱祖国，拥护中国共产党的领导，拥护社会主义制度，遵纪守法，品德良好，具有服务国家、服务人民的社会责任感，掌握本学科坚实的基础理论和系统的专业知识，具有创新精神、创新能力和从事科学研究、教学、管理等工作能力的高层次学术型专门人才。 模式识别与智能系统是20世纪60年代以来在信号处理、人工智能、控制论、计算机技术等学科基础上发展起来的新型学科。该学科以各种传感器为信息源，以信息处理与模式识别的理论技术为核心，以数学方法与计算机为主要工具，探索对各种媒体信息进行处理、分类、理解并在此基础上构造具有某些智能特性的系统或装置的方法、途径与实现，以提高系统性能。模式识别与智能系统是一门理论与实际紧密结合，具有广泛应用价值的控制科学与工程的重要学科分支。 本学科培养德智体全面发展，具有坚实和系统的模式识别与智能系统理论知识和实践技能，了解模式识别与智能系统学科发展的前沿和动态，能够适应我国经济、科技、教育发展需要，面向二十一世纪的科学研究、工程技术和高等教育的高层次人才。学位获得者业务上应具有具备从事在本学科及相关学科领域独立开发研究工作的能力，注意理论联系实际，能够分析和解决现代经济建设和交叉学科中涌现出的新课题；能够熟练利用计算机解决本学科的有关问题；较为熟练地掌握一门外国语；具有健康的体格。 二、研究方向 （一）智能机器人系统 主要进行智能机器人控制与决策系统的研究与开发，包括自主移动机器人、特种机器人、服务机器人、工业机器人等内容。机器人的自主定位、导航、避障与多机器人协调控制为主要研究方向。 （二）系统仿真技术与应用 主要研究方向为控制系统仿真与计算机辅助设计、半实物仿真与实时控制、分数阶与网络控制系统仿真、系统建模校验与验证及仿真算法和高层体系结构理论与应用技术、工业过程建模仿真和提高控制效果与系统性能的方法研究。 （三）图像处理与计算机视觉 研究图像信息获取、处理、分析、理解与识别分类等理论与技术，研究图像处理技术在医学影像处理、动态目标识别与跟踪、智能交通系统、军事等领域的工程应用问题。 （四）建筑智能化技术 本方向以建筑智能化技术为背景，主要研究智能建筑系统集成理论与技术、
统计模式识别方法 在嗅觉模拟技术领域中，模式识别问题就是由气敏传感器阵列的测量空间向被测对象的的分类或分级空间转化的问题。由于这种模式空间的变化对识别或鉴别结果有着较大的影响，因此模式识别算法的研究和讨论始终较为活跃，各种模式识别方法层出不穷，有力推动了嗅觉模拟技术的应用进程。下面介绍几种常用的统计模式识别方法。 1统计模式识别概述 统计方法，是发展较早也比较成熟的一种方法。被识别对象首先数字化，变换为适于计算机处理的数字信息。一个模式常常要用很大的信息量来表示。许多模式识别系统在数字化环节之后还进行预处理，用于除去混入的干扰信息并减少某些变形和失真。随后是进行特征抽取，即从数字化后或预处理后的输入模式中抽取一组特征。所谓特征是选定的一种度量，它对于一般的变形和失真保持不变或几乎不变，并且只含尽可能少的冗余信息。特征抽取过程将输入模式从对象空间映射到特征空间。这时，模式可用特征空间中的一个点或一个特征矢量表示。这种映射不仅压缩了信息量，而且易于分类。在决策理论方法中，特征抽取占有重要的地位，但尚无通用的理论指导，只能通过分析具体识别对象决定选取何种特征。特征抽取后可进行分类，即从特征空间再映射到决策空间。为此而引入鉴别函数，由特征矢量计算出相应于各类别的鉴别函数值，通过鉴别函数值的比较实行分类。 统计模式识别的技术理论较完善，方法也很多，通常较为有效，现已形成了一个完整的体系。尽管方法很多，但从根本上讲，都是利用各类的分布特征，即直接利用各类的概率密度函数、后验概率等，或隐含地利用上述概念进行识别。其中基本的技术为聚类分析法、判别类域代数界面法、统计决策法、最邻近法等。在聚类分析中，利用待分类模式之间的“相似性”进行分类，较相似的作为一类，较不相似的作为另外一类。在分类过程中不断地计算所划分的各类的中心，一个待分类模式与各类中心的距离作为对其分类的依据。这实际上在某些设定下隐含地利用了概率分布概念，因常见的概率密度函数中，距期望值较近的点概密值较大。该类方法的另一种技术是根据待分类模式和已指判出类别的模式的距离来确定其判别，这实际上也是在一定程度上利用了有关的概念。判别类域界面法中，用已知类别的训练样本产生判别函数，这相当于学习或训练。根据待分类模式
中国科学技术大学模式识别试题 （2012年春季学期） 姓名：学号：成绩： 一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：、 和。 2、统计模式识别中描述模式的方法一般使用；句法模式识别中模式描述方法一般 有、、。 3、聚类分析算法属于；判别域代数界面方程法属于。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有。 （1） (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有；线性可分、不可分都适用的 有。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 二、(15分)简答及证明题 （1）影响聚类结果的主要因素有那些？ （2）证明马氏距离是平移不变的、非奇异线性变换不变的。 （3）画出对样本集 ω1：{(0,0,0)T, (1,0,0)T, (1,0,1)T, (1,1,0)T,} PDF 文件使用 "pdfFactory Pro" 试用版本创建https://www.doczj.com/doc/d61900929.html,
模式识别与智能系统硕士点 研究生入学复试大纲 复试笔试满分为150分，包括基本能力测试（45分）和专业基础知识测试（105分）两部分。采取闭卷考试，考试时间一般为2至3小时。 有关专业基础知识测试的说明 专业基础知识测试（105分）由21道题目组成，参加笔试同学可从中任意选择7道完成，每题15分。专业知识点包括以下七个方面： 一．图象处理(共3题) 考试知识点：数字图象直方图、基于直方图均衡化的图象增强、边缘检测算子、梯度大小/方向计算、频域滤波基础、频域滤波操作的基本步骤。 辅导材料：冈萨雷斯等，《数字图象处理》,第二版，电子工业出版社, 2003.3, ISBN 7-5053-8236-5。认真阅读该书的3.3, 4.2, 10.1。 二．信息安全(共2题) 考试知识点：信息熵的计算、信源编码。 辅导材料：《信息与编码理论基础》，万旺根，上海大学出版社。 三．人工智能(共2题) 考试知识点：人工智能的基本概念。 辅导材料：廉师友，人工智能技术导论（第二版）廉师友西安电子科技大学出版社, 2002.7, ISBN 7-5606-0811-6。认真阅读该书的第一章。 四．微型计算机原理(共5题) 考试知识点：80x86指令寻址模式及汇编指令的书写格式；不同进制数之间的转换；汇编程序的阅读；计数器模块8253及其编程；可编程中断控制器8259模块及其编程。 注：相关硬件模块控制字格式不需记忆。（提供）
辅导材料：微型计算机技术及应用（第3版），戴梅萼等，清华大学出版社，2003 五．多媒体信息处理(共4题) 考试知识点：1.多媒体基本概念 多媒体技术，多媒体系统的层次结构，多媒体系统的组成 2.多媒体数据压缩： 数据压缩算法概念及分类，统计编码，预测编码，变换编码，分形编码 静态图像压缩标准JPEG，运动图像压缩标准MPEG，音频压缩标准 3.音频信息处理 声音数字化，音频文件格式，声卡的组成与设计(含声卡的工作原理、硬件设计、软件结构、编程接口等) 4.视频信息处理 视频信号数字化，视频的文件格式，视频压缩卡的设计 辅导材料：多媒体技术基础及应用，钟玉琢等，北京：清华大学出版社，2006.2 六．生物特征识别(共2题) 考试知识点：生物信息学序列联配（双序列比对，多序列比对）。 辅导材料：David W. Mount，《生物信息学：序列与基因组分析（影印）》,Bioinformatics: Sequence and Genome Analysis, Cold Spring Harbor Lab(CSHL) Press。认真阅读sequence alignment 的相关内容。 七．射频识别(共3题) 考试知识点：电子标签的基本概念。 辅导材料：纪震，李慧慧等，《电子标签原理与应用》,西安电子科技大学出版社, 2005.12, ISBN 705606-1599-6。认真阅读该书的第一章。
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2） (3)
(4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A?01, A ? 0A1 , A ? 1A0 , B ? BA , B ? 0}, A)（2）({A}, {0, 1}, {A?0, A ? 0A}, A) （3）({S}, {a, b}, {S ? 00S, S ? 11S, S ? 00, S ? 11}, S) （4）({A}, {0, 1}, {A?01, A ? 0A1, A ? 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类 间距离门限、预定的类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别 界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。
浅析人工智能中的图像识别技术 本文从网络收集而来，上传到平台为了帮到更多的人，如果您需要使用本文档，请点击下载按钮下载本文档（有偿下载），另外祝您生活愉快，工作顺利，万事如意！ 图像识别技术是信息时代的一门重要的技术，其产生目的是为了让计算机代替人类去处理大量的物理信息。随着计算机技术的发展，人类对图像识别技术的认识越来越深刻。图像识别技术的过程分为信息的获取、预处理、特征抽取和选择、分类器设计和分类决策。文章简单分析了图像识别技术的引入、其技术原理以及模式识别等，之后介绍了神经网络的图像识别技术和非线性降维的图像识别技术及图像识别技术的应用。从中可以总结出图像处理技术的应用广泛，人类的生活将无法离开图像识别技术，研究图像识别技术具有重大意义。 1 图像识别技术的引入 图像识别是人工智能科技的一个重要领域。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。图像识别，顾名思义，就是对图像做出各种处理、分析，最终识别我们所要研究的
目标。今天所指的图像识别并不仅仅是用人类的肉眼，而是借助计算机技术进行识别。虽然人类的识别能力很强大，但是对于高速发展的社会，人类自身识别能力已经满足不了我们的需求，于是就产生了基于计算机的图像识别技术。这就像人类研究生物细胞，完全靠肉眼观察细胞是不现实的，这样自然就产生了显微镜等用于精确观测的仪器。通常一个领域有固有技术无法解决的需求时，就会产生相应的新技术。图像识别技术也是如此，此技术的产生就是为了让计算机代替人类去处理大量的物理信息，解决人类无法识别或者识别率特别低的信息。 图像识别技术原理 其实，图像识别技术背后的原理并不是很难，只是其要处理的信息比较繁琐。计算机的任何处理技术都不是凭空产生的，它都是学者们从生活实践中得到启发而利用程序将其模拟实现的。计算机的图像识别技术和人类的图像识别在原理上并没有本质的区别，只是机器缺少人类在感觉与视觉差上的影响罢了。人类的图像识别也不单单是凭借整个图像存储在脑海中的记忆来识别的，我们识别图像都是依靠图像所具有
模式识别与智能系统 Pattern Recognition & Intelligent System （专业代码：081104） 一、学科概况 本校模式识别与智能系统学科为国务院1993年批准的博士学位授予权学科，2001年经国务院学位委员会批准为国家级重点学科（二级学科）；本学科所在的控制科学与工程学科具有一级学科博士学位授予权,同时拥有一级学科博士后流动站。本学科主要从事模式识别与智能系统的理论与应用研究，为本校“211工程”重点建设学科。经过多年的建设，现有博士生导师七名，百余名的博士生研究队伍，和先进的教学与科研硬设备环境。多年来，一批科研成果达到国际与国内先进水平。 二、培养目标 本学科培养的模式识别与智能系统的硕士研究生应具有较宽广的基础理论及较深入的专业知识，能解决国家经济建设与国防中在本领域内的工程技术的应用课题，具有较好的理论联系实际的能力。 三、学制和学分 全日制硕士研究生实行以两年半制为主的弹性学制，原则上不超过5年。 总学分33学分，其中必修课程不少于14学分。
四、硕士课程设置 五、科研能力与水平 1. 掌握本学科的基础理论和专业知识，对所研究的课题有新的见解，取得新的成果。对于学术型学位的硕士研究生，还应熟悉国内外相关的学术研究动态。 2. 工作认真踏实，能独立进行科研工作并圆满完成科研任务。 3. 对于应用型、复合型学位的硕士研究生，能发现实践中与本学科相关的需求，能提出工程解决方案；对于学术型学位的硕士研究生，能提出和界定科学问题。
4. 硕士研究生在校期间应积极发表学术论文，参与学术交流。 六、开题报告 为确保学位论文的质量，指导教师应针对每个硕士研究生的类型和层次，确定选题范围。硕士研究生在导师的指导下，通过阅读文献、收集资料和调查研究后确定研究课题，提交开题报告。开题报告的主要内容包括： （1）课题来源及研究的目的和意义； （2）国内外在该方向的研究现状及分析； （3）主要研究内容； （4）研究方案及进度安排，预期达到的目标； （5）预计研究过程中可能遇到的困难和问题以及解决的措施； （6）主要参考文献。 提交开题报告的时间一般为第四小学期，开题报告字数应在5000字以上。开题报告的评议结果为通过或不通过。硕士研究生学位论文选题、开题的要求详见《南京理工大学硕士学位论文选题、开题及撰写的有关规定 七、学位论文 学位论文工作是研究生培养的重要组成部分，是对研究生进行科学研究或承担专业技术工作的全面训练，是培养研究生创新能力、综合运用所学知识发现问题、分析问题和解决问题能力的重要环节。 硕士学位论文要求概念清楚、立论正确、分析严谨、计算正确、数据可靠、文句简练、图表清晰、层次分明，能体现硕士研究生具有宽广的理论基础，较强的独立工作能力和优良的学风。在阐明论文的目的、意义和成果时，应有实事求是的科学态度。 硕士研究生的论文工作必须在导师指导下，由研究生独立完成。完成后应按照《中华人民共和国学位条理暂行实施办法》和《南京理工大学博士、硕士学位授予细则》的规定,组织论文评审和答辩。获准参加答辩的前提条件是：必须修满规定的学分，外语通过学位英语考试或通过国家英语六级考试，其余学科基础课程成绩不得低于70分并完成教学实践、科研实习。
1、试说明Mahalanobis 距离平方的定义，到某点的Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。 答：Mahalanobis 距离的平方定义为：∑---=1 2)()(),(u x u x u x r T 其中x ，u 为两个数据，1-∑是一个正定对称矩阵（一般为协方差矩阵）。根据定义，距 某一点的Mahalanobis 距离相等点的轨迹是超椭球，如果是单位矩阵Σ，则Mahalanobis 距离就是通常的欧氏距离。 2、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。 答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。 非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。 就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。 使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。 3、已知一组数据的协方差矩阵为??? ? ??12/12/11，试问 (1) 协方差矩阵中各元素的含义。 (2) 求该数组的两个主分量。 (3) 主分量分析或称K-L 变换，它的最佳准则是什么？ (4) 为什么说经主分量分析后，消除了各分量之间的相关性。
答：协方差矩阵为??? ? ??12/12/11，则 (1) 对角元素是各分量的方差，非对角元素是各分量之间的协方差。 (2) 主分量，通过求协方差矩阵的特征值，用???? ? ? ?? ----121211λλ＝0得4/1)1(2=-λ，则 ?? ?=2/32/1λ，相应地：2/3=λ，对应特征向量为???? ??11，21 =λ，对应??? ? ??-11。 这两个特征向量，即为主分量。 (3) K-L 变换的最佳准则为： 对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。 (4) 在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。 4、试说明以下问题求解是基于监督学习或是非监督学习： (1) 求数据集的主分量 (2) 汉字识别 (3) 自组织特征映射 (4) CT 图像的分割 答：(1) 求数据集的主分量是非监督学习方法； (2) 汉字识别：对待识别字符加上相应类别号—有监督学习方法； (3) 自组织特征映射—将高维数组按保留近似度向低维映射—非监督学习； (4) CT 图像分割—按数据自然分布聚类—非监督学习方法； 5、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。
2013–2014 学年度 模式识别 课程期末考试试题 一、计算题 （共20分） 在目标识别中，假定类型1ω为敌方目标，类型2ω为诱饵（假目标），已知先验概率P (1ω)=0.2和P (2ω)=0.8，类概率密度函数如下： ??? ??≤≤-<≤=其它021210)(1x x x x x p ω ?? ? ??≤≤-<≤=其它0323211-)(2x x x x x p ω 1、求贝叶斯最小误判概率准则下的判决域，并判断样本x =1.5属于哪一类； 2、求总错误概率p (e )； 3、假设正确判断的损失λ11=λ22=0，误判损失分别为λ12和λ21，若采用最小损失判决准则，λ12和λ21满足怎样的关系时，会使上述对x =1.5的判断相反？ 解：（1）应用贝叶斯最小误判概率准则如果 )()()(2112ωω=x p x p x l <>)() (12ωωP P 则判 ???ωω∈21 x （2分） 得 l 12(1.5)=1 < )() (12ωωP P =4，故 x=1.5属于ω2 。（2分） （2）P(e)= 212121)()()(εω+εω=P P e P ??ΩΩωω+ωω=1 2 )()()()(2211x d x p P x d x p P = dx x x x ??-+- 1.2 1 2 1.2 10.8d )2(0.2）（=0.08 （算式正确2分，计算错误扣1～2分） (3) 两类问题的最小损失准则的似然比形式的判决规则为：
如果 ) )(())(()()(111212221221λ-λωλ-λω< >ωωP P x p x p 则判 ???ωω∈21 x 带入x=1.5得到 λ12≥4λ21 二、证明题（共20分） 设p(x)~N (μ,σ)，窗函数?(x)~N (0,1)，试证明Parzen 窗估计1 1 ?()( )N i N i N N x x p x Nh h ?=-= ∑ 有如下性质：22 ?[()](,)N N E p x N h μσ+ 。 证明：（1）（为书写方便，以下省略了h N 的下标N ） 22 22 22 2222222222 222211()()()()]22111exp[()()]2221111exp{[()2()]}221 1111exp[()]exp{()[2222y x y x y p y dy dy h h y x y dy h x x y y dy h h h x y h h μ?σμπσσ μμπσσσσ μπσσσ∞ ∞ -∞ -∞∞ -∞∞ -∞ ∞ -∞---=----=--= -+-+++=-+-+-? ??? ?2222()]}x h y dy h σμσ++ 222222 2222222222221 1()exp[(exp()22()2 11()exp[22()1()]2()x x h y dy h h h x h x h μσμπσσσσμπσσμσ∞ +=-+--+-=-+-=-+? （1-1） 121211?[()][()](,,...,)N i N N N i x x E p x p x x x dx dx dx Nh h ?∞ =-∞ -=∑??? 因为样本独立 121211?[()][()]()()...()N i N N N i x x E p x p x p x p x dx dx dx Nh h ?∞ =-∞ -=∑???
人工智能与模式识别 摘要：信息技术的飞速发展使得人工智能的应用围变得越来越广，而模式识别作为其中的一个重要方面，一直是人工智能研究的重要方向。在介绍人工智能和模式识别的相关知识的同时，对人工智能在模式识别中的应用进行了一定的论述。模式识别是人类的一项基本智能，着20世纪40年代计算机的出现以及50年代人工智能的兴起，模式识别技术有了长足的发展。模式识别与统计学、心理学、语言学、计算机科学、生物学、控制论等都有关系。它与人工智能、图像处理的研究有交叉关系。模式识别的发展潜力巨大。 关键词：模式识别；数字识别；人脸识别中图分类号； Abstract: The rapid development of information technology makes the application of artificial intelligence become more and more widely. Pattern recognition, as one of the important aspects, has always been an important direction of artificial intelligence research. In the introduction of artificial intelligence and pattern recognition related knowledge at the same time, artificial intelligence in pattern recognition applications were discussed.Pattern recognition is a basic human intelligence, the emergence of the 20th century, 40 years of computer and the rise of artificial intelligence in the 1950s, pattern recognition technology has made great progress. Pattern recognition and statistics, psychology,
人工智能的模式识别与机器视觉 模式识别 “模式”(Panern)一词的本意是括完整天缺的供模仿的标本或标识。模式识别就是识别出给定物体所模仿的标本或标识。计算机模式识别系统使一个计算机系统具有模拟人类通过感官接受外界信息、识别和理解周围环境的感知能力。 模式识别是一个不断发展的学科分支，它的理论基础和研究范围也在不断发展。在二维的文字、图形和图像的识别方而，已取得许多成果。三维景物和活动目标的识别和分析是目前研究的热点。语音的识别和合成技术也有很大的发展。基于人工神经网络的模式识别技术在手写字符的识别、汽车牌照的识别、指纹识别、语音识别等方面已经有许多成功的应用。模式识别技术是智能计算机和智能机器人研究的十分重要的基础 机器视觉 实验表明，人类接受外界信息的80％以上来自视觉，10％左右来自听觉，其余来自嗅觉、味觉及触觉。在机器视觉方面，只要给计算机系统装上电视摄像输入装置就可以“看见”周围的东西。但是，视觉是一种感知，机器视觉的感知过程包含一系列的处理过程，例如，一个可见的景物由传感器编码输入，表示成一个灰度数值矩阵；图像的灰度数值由图像检测器进行处理，检测器检测出图像的主要成分，如组成景物的线段、简单曲线和角度等；这些成分又校处理，以便根据景物的表面特征和形状特征来推断有关景物的特征信息；最终目标是利用某个适当的模型来表示该景物。 视觉感知问题的要点是形成一个精练的表示来取代极其庞大的未经加工的输入情息，把庞大的视觉输人信息转化为一种易于处理和有感知意义的描述。 机器视觉可分为低层视觉和高后视觉两个层次，低层视觉主要是对视觉团像执行预处理，例如，边缘检测、运动目标检测、纹理分析等，另外还有立体造型、曲面色彩等，其目的是使对象凸现出来，这时还谈不上对它的理解。高层视觉主要是理解对象，显然，实现高层视觉需要掌捏与对象相关的知识。 机器视觉的前沿研究课题包括：实时图像的并行处理，实时图像的压缩、传输与复原，三绍景物的建模识别，动态和时变视觉等。 人娄的钉能活动过程主要是一个获得知识并运用知识的过程，知识是智能的基础。为了使计算机具有钉能，能模拟人类的智能行为，就必须使它具有知识。把人类拥有的知识采用适当的模式表示出来以便存储到计算机中，这就是知识表示要解决的问题。知识表示是对知识的一种描述，或者说是一组约定，是一种计算机可以接受的用于描述知识的数据结构，对知识进行表木就是把知识表示咸便于计算机存储和利用的菜种数据结构。知识表示方法给出的知识表示形式称为知识表示程式，知识表示模式分为外部表示模式和内部表示模式两个层次。知识外部表示模式是与软件开发的工具、运行的软件平台无关的知识表示的形式化描述。知
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是：、、。 1.2、模式分布为团状时，选用聚类算法较好。 1.3 欧式距离具有。马式距离具有。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 1.4 描述模式相似的测度有：。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）； （3）。其中最常用的是第个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义 是：， 。 1.7 感知器算法。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有：。 （1） 1 [] w B Tr S S - （2） B W S S （3） B W B S S S + 1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。 1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为 （）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。 ①（）；
②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x ρ)=p( x ρ|ω1)/p( x ρ|ω2)，l( x ρ)又称似然比，则E {l( x ρ)|ω2}= （ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。 1.19 基于熵的可分性判据定义为 )] |(log )|([1 x P x P E J i c i i x H ρ ρωω∑=-=，J H 越（ ），说明模式的 可分性越强。当P(ωi | x ρ) =（ ）(i=1,2,…,c)时，J H 取极大值。 1.20 Kn 近邻元法较之于Parzen 窗法的优势在于 （ ）。 上述两种算法的共同弱点主要是（ ）。 1.21 已知有限状态自动机Af=(∑，Q ，δ，q0，F)，∑={0，1}；Q={q0，q1}； δ：δ(q0，0)= q1，δ(q0，1)= q1，δ(q1，0)=q0，δ(q1，1)=q0；q0=q0；F={q0}。现有输入字符串：(a) 00011101011，(b) 1100110011，(c) 101100111000，(d)0010011，试问，用Af 对上述字符串进行分类的结果为（ ）。 1.22 句法模式识别中模式描述方法有： 。 （1）符号串 （2）树 （3）图 （4）特征向量