《模式识别导论》教学大纲
（课程编号08824380 学分-学时 2-40）
东南大学自动化学院
一．课程的性质与目的
本课程是自动化专业高年级本科生一门专业选修课，是研究计算机模式识别的基本理论和方法、应用。本课程的教学目的是，通过对模式识别的基本理论和方法、运用实例的学习，使学生掌握模式识别的基本知识，培养学生利用模式识别方法、运用技能解决本专业及相关领域实际问题的能力。
二．课程内容的教学要求
1.掌握模式识别的概念、发展和应用，模式识别的研究方法；
2.掌握统计模式识别中Bayes决策理论的基本原理及运用；
3.掌握统计模式识别中线性判别函数的基本理论及运用；
4.熟悉概率总体估计中的参数估计方法和非参数技术估计方法；
5.掌握近邻法则和集群；
6.掌握模式特征的抽取和选择；
7.了解人工神经网络在模式识别中的应用；
8.熟悉模式识别的聚类算法。
三．能力培养要求
1.分析能力的培养：主要是对相似性度量方法、特征提取和选择方法、各种识别方法特点进行分析的能力的培养，同时也要注意培养针对具体应用选择合适的识别方法的能力的培养。
2.计算能力的培养：要求学生通过本课程的学习，具备对线性判决函数、似然比、Bayes 风险进行计算或确定计算步骤的能力和对计算结果的正确性进行判断或校核的能力；具有使用计算机进行模式识别分析和计算的能力。
3.自学能力的培养：通过本课程的教学，要培养和提高学生对所学知识进行整理、概括、消化吸收的能力，以及围绕课堂教学内容，阅读参考书籍和资料，自我扩充知识领域的能力。
4.表达能力的培养：主要是通过作业，清晰、整洁地表达自己解决问题的思路和步骤的能力。
5.创新能力的培养：培养学生独立思考、深入钻研问题的习惯，和对问题提出多种解决方案、选择不同计算方法，以及对计算进行简化和举一反三的能力。
总评成绩＝平时成绩＋平时作业∕大作业成绩+期末考试成绩
平时成绩占10％
平时作业∕大作业成绩占40％
期末考试成绩占50％
六．教材及参考书
1．边肇祺、张学工等编著．模式识别（第二版）．清华大学出版社，2000年
2．《模式分类（Pattern Recognition）》．Richard O. Duda, Peter E. Hart, David G.
Stork．机械工业出版社，200３
《模式识别导论》教学大纲 （课程编号08824380 学分-学时 2-40） 东南大学自动化学院 一．课程的性质与目的 本课程是自动化专业高年级本科生一门专业选修课，是研究计算机模式识别的基本理论和方法、应用。本课程的教学目的是，通过对模式识别的基本理论和方法、运用实例的学习，使学生掌握模式识别的基本知识，培养学生利用模式识别方法、运用技能解决本专业及相关领域实际问题的能力。 二．课程内容的教学要求 1.掌握模式识别的概念、发展和应用，模式识别的研究方法； 2.掌握统计模式识别中Bayes决策理论的基本原理及运用； 3.掌握统计模式识别中线性判别函数的基本理论及运用； 4.熟悉概率总体估计中的参数估计方法和非参数技术估计方法； 5.掌握近邻法则和集群； 6.掌握模式特征的抽取和选择； 7.了解人工神经网络在模式识别中的应用； 8.熟悉模式识别的聚类算法。 三．能力培养要求 1.分析能力的培养：主要是对相似性度量方法、特征提取和选择方法、各种识别方法特点进行分析的能力的培养，同时也要注意培养针对具体应用选择合适的识别方法的能力的培养。 2.计算能力的培养：要求学生通过本课程的学习，具备对线性判决函数、似然比、Bayes 风险进行计算或确定计算步骤的能力和对计算结果的正确性进行判断或校核的能力；具有使用计算机进行模式识别分析和计算的能力。 3.自学能力的培养：通过本课程的教学，要培养和提高学生对所学知识进行整理、概括、消化吸收的能力，以及围绕课堂教学内容，阅读参考书籍和资料，自我扩充知识领域的能力。 4.表达能力的培养：主要是通过作业，清晰、整洁地表达自己解决问题的思路和步骤的能力。 5.创新能力的培养：培养学生独立思考、深入钻研问题的习惯，和对问题提出多种解决方案、选择不同计算方法，以及对计算进行简化和举一反三的能力。
天津大学《模式识别2》课程教学大纲 课程代码：2160265 课程名称：模式识别2 学 时： 20 学 分： 1 学时分配： 授课：12 上机：8 实验： 实践： 实践（周）： 授课学院： 计算机学院 适用专业： 计算机科学与技术 先修课程： 高等数学，线性代数，概率统计 一．课程的性质与目的 本课程讲授模式识别的基本理论与基本方法。具体介绍模式识别问题定义，贝叶斯分类器，错误率估计，概率密度估计，窗方法，线性判别分类器，多类别分类，紧邻法，支持向量机，人工神经网络，分类树，K均值聚类，分级聚类等基础模式识别算法的理论和实际使用方法。 二．教学基本要求 要求学生了解模式识别的基本理论，掌握基本算法原理，能够根据给出的数据和要求，选择合适的算法，使用现有的软件解决模式识别的模型训练，测试，性能评价问题。 三．教学内容 第一章：模式识别的问题定义与数据收集 介绍模式识别的问题定义方法，数据形式，模型形式，并指导学生进行一次实际的数据收集。 实践内容：收集包括身高，体重，性别三个维度的数据，并按照模式识别的数据要求进行整理 第二章：贝叶斯分类器及其性能评价 介绍贝叶斯分类器，两种错误的概念及其估计，证明最小错误率分类器，介绍概率密度估计的基本理论，窗估计方法，介绍性能评价体系，交叉验证的概念，过学习的概念，推广性的概念。 实践内容：利用第一章中收集的数据，建立贝叶斯分类器并进行性能评价。
第三章：线性分类器 介绍线性分类器的基本理论，Fisher线性判别器，线性分类器的性能评价。 实践内容：利用第一章的数据，建立Fisher线性分类器，并进行性能评价。 第四章：人工神经网络和支持向量机简介 介绍人工神经网络的基本概念和算法，反向传播（BP）训练算法，支持向量机基本概念和算法。简单介绍统计机器学习理论（SLT）的最基本概念：VC维，泛化能力，模型选择定理。 实践内容：利用第一章中的数据，建立人工神经网络和支持向量机模型，并进行性能评价。 第五章：紧邻法 介绍紧邻法的基本理论和方法，紧邻法的错误率边界定理，紧邻法的实现技术，紧邻法在应用上的优势与局限，稀疏性问题。 实践内容：利用第一章中的数据，建立紧邻法分类模型并进行性能评价 第六章：分类树 介绍分类树的基本理论和方法，介绍C4.5算法的理论与实现。 实践内容：利用第一章中的数据，建立分类树模型并进行性能评价。 第七章：聚类 介绍聚类与无监督学习的基本理论和方法，介绍K均值聚类，分级聚类的理论与实现。简单介绍K均值聚类算法的局限和改进算法。简单介绍半监督学习的基本方法。 实践内容：利用第一章中的数据，建立聚类模型，并进行模型评价 第八章：分类器组合与在线算法 介绍分类器组合的基本理论和基本算法，介绍Logistic和semi-logistic 回归技术,AdaBoost技术，Bagging和BootStrap技术，介绍模型训练的在线算法的基本概念和实现算法在线化的基本方法。 实践内容：利用第一章中的数据，建立组合分类器，并进行模型评价 四．学时分配
7.朴素贝叶斯方法的条件独立假设是( P(x| 3 i) =P(x1, x2,…,xn | co i) 第一章绪论 1 ?什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的 2?模式识别的定义？ 让计算机来判断事物。 3?模式识别系统主要由哪些部分组成？ 数据获取一预处理一特征提取与选择一分类器设计 / 分类决策。 第二章贝叶斯决策理论 P ( W 2 ) / P ( W 1 ) _,贝V X 1. 最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后 验概率。根据后验概率大小进行决策分析。 2. 最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 P ( W i ), > 类条件概率分布P ( X | W i ), i 1 , 2 利用贝叶斯公式得到后验概率 P (W i 1 x) 1 如果输入待测样本 X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3. 最小错误率贝叶斯决策规则有哪几种常用的表示形式? 决策规则的4- I-J 形工战< d x +) — max 爪'(vr I A *), MJ A * 匚 w. 如SI 卫(A *叫)厂)= 如果lg=上心lw) py %) 心li M/ JC ) = —1IL | /( A *)J = — hi JC | 讥.j + 111 | i r 2 ) > 尸(“空) I MJ 4 .贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了 (平均)错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5. 贝叶斯决策是 由先验概率和(类条件概率)概率，推导(后验概率)概率，然后利用这 个概率进行决策。 6. 利用乘法法则和全概率公式证明贝叶斯公式 p(AB) p(A|B)p(B) p(B|A)p(A) P (A 」B ) 答： m 所以推出贝叶斯公式 p(B) p(B|Aj)p(Aj) j 1 P(W i |x) P (x | W i ) P(W i ) 2 P(x | W j ) P (w j ) j 1 1 , 2 .信息__。 如果 I (x) P (X | W i ) P (W i ) P(X | W j )P(W j ) max />(A' | t ),则 时 P(B |A i )P(AJ P ( B ) P ( B | A i ) P ( A i ) 7M P ( B | A j ) P ( A j ) 2
《模式识别与人工智能》课程教学大纲 一、课程基本信息 课程代码：DX3004 课程名称：模式识别与人工智能 课程性质：选修课 课程类别：专业与专业方向课程 适用专业：电气信息类专业 总学时： 64 学时 总学分： 4 学分 先修课程：MATLAB程序设计；数据结构；数字信号处理；概率论与数理统计 后续课程：语音处理技术；数字图像处理 课程简介： 模式识别与人工智能是60年代迅速发展起来的一门学科，属于信息，控制和系统科学的范畴。模式识别就是利用计算机对某些物理现象进行分类，在错误概率最小的条件下，使识别的结果尽量与事物相符。模式识别技术主要分为两大类：基于决策理论的统计模式识别和基于形式语言理论的句法模式识别。模式识别的原理和方法在医学、军事等众多领域应用十分广泛。本课程着重讲述模式识别的基本概念，基本方法和算法原理，注重理论与实践紧密结合，通过大量实例讲述如何将所学知识运用到实际应用之中去，避免引用过多的、繁琐的数学推导。这门课的教学目的是让学生掌握统计模式识别基本原理和方法，使学生具有初步综合利用数学知识深入研究有关信息领域问题的能力。 选用教材： 《模式识别》第二版，边肇祺，张学工等编著[M]，北京：清华大学出版社，1999； 参考书目： [1] 《模式识别导论》，齐敏，李大健，郝重阳编著[M]. 北京：清华大学出版社，2009； [2] 《人工智能基础》，蔡自兴，蒙祖强[M]. 北京：高等教育出版社，2005； [3] 《模式识别》，汪增福编著[M]. 安徽：中国科学技术大学出版社，2010； 二、课程总目标 本课程为计算机应用技术专业本科生的专业选修课。通过本课程的学习，要求重点掌握统计模式识别的基本理论和应用。掌握统计模式识别方法中的特征提取和分类决策。掌握特征提取和选择的准则和算法，掌握监督学习的原理以及分类器的设计方法。基本掌握非监督模式识别方法。了解应用人工神经网络和模糊理论的模式识别方法。了解模式识别的应用和系统设计。要求学生掌握本课程的基本理论和方法并能在解决实际问题时得到有效地运用，同时为开发研究新的模式识别的理论和方法打下基础。 三、课程教学内容与基本要求 1、教学内容： （1）模式识别与人工智能基本知识； （2）贝叶斯决策理论； （3）概率密度函数的估计； （4）线性判别函数； （5）非线性胖别函数；
2013模式识别练习题 一. 填空题 1、模式识别系统的基本构成单元包括：模式采集、特征的选择和提取和模式分类。 2、统计模式识别中描述模式的方法一般使用特征矢量；句法模式识别中模式描述方法一般有串、树、 网。 3、影响层次聚类算法结果的主要因素有计算模式距离的测度、聚类准则、类间距离阈值、预定的类别数目。 4、线性判别函数的正负和数值大小的几何意义是正负表示样本点位于判别界面法向量指向的正负半空间中， 绝对值正比于样本点与判别界面的距离。 5、感知器算法1 ，H-K算法 2 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 6、在统计模式分类问题中，聂曼- 况；最小最大判别准则主要用于先验概率未知的情况。 7、“特征个数越多越有利于分类”这种说法正确吗？错误。 特征选择的主要目的是。一般在可 和（C n m>>n ）的条件下，可以使用分支定界法以减少计算量。 8、散度J ij越大，说明ωi类模式与ωj类模式的分布差别越大； 当ωi类模式与ωj类模式的分布相同时，J ij= 0。 二、选择题 1、影响聚类算法结果的主要因素有（B、C、D ）。 A.已知类别的样本质量； B.分类准则； C.特征选取； D.模式相似性测度 2、模式识别中，马式距离较之于欧式距离的优点是（C、D）。 A.平移不变性； B.旋转不变性；C尺度不变性；D.考虑了模式的分布 3、影响基本K-均值算法的主要因素有(ABD）。 A.样本输入顺序； B.模式相似性测度； C.聚类准则； D.初始类中心的选取 4、位势函数法的积累势函数K(x)的作用相当于Bayes判决中的（B D）。
华南理工大学本科课程教学大纲基本格式 《图像处理与分析技术》教学大纲 总学时：54 理论课学时：48 实验课学时：6 一、课程的性质 人类从外接获得的信息约有75%是从图像中获得的。随着计算机技术的高速发展,数字图像技术今年来得到极大的重视和长足的进展，并已在科学研究、军事、遥感、天文、地质、工业生产、医疗卫生、教育、管理和通信等方面得到了广泛的应用，对推动社会发展、改善人们的生活水平起到了重要的作用。本课程介绍图像处理和分析的基本原理、典型方面和实用技术。通过本课程的学习，较为全面地了解该领域的基本理论、技术、应用和发展。为将来应用于实际和进行科学研究打下良好的基础。本课程适合相关专业的大学本科高年级学生和研究生学习。 二、课程的目的与教学基本要求 教学目的：使学生对图像处理与分析的理论和技术有较全面的了解和掌握。 基本要求：通过本课程学习，掌握基本概念和原理，应用其中的理论和方法解决问题。 三、课程适用专业 信号与信息处理、通信与信息系统、计算机应用技术、生物医学工程等 四、课程的教学内容、要求与学时分配 1．理论教学部分： 第一章绪论(2学时) 图像处理和分析系统介绍,数字图像的数学描述. 第二章图像和视觉基础(2学时) 1亮度视觉 2颜色视觉 第三章图像变换(4学时) 1.傅立叶变换和性质 2.图像变换的通用公式 3.其它可分离图像变换、离散余弦变换、沃尔什-哈德码变换 4 霍德林变换
第四章图像增强(6学时) 1.图像的对比度增强 2.图像的噪声平滑滤波 3.图像的边缘 第五章图像恢复和重建(6学时) 1.图像退化模型 2.常用频域和空域复原方法 3.投影重建 第六章图像编码(6学时) 1.基本概念-图像的信息熵值,数据冗余,图像编码模型 2.哈夫曼编码技术 3.预测编码 4.变换编码 5.国际标准简介 第七章图像分割 1.阈值法 2.区域生长,分裂合并 3.边缘检测 4.二值图像处理方法 第八章.图像目标的表达和描述(6学时) 1.边界表达 2.区域的几何特征 3.区域的纹理特征 第九章.模式识别方法简介(4学时) 1.统计模式识别方法 2.句法模式识别方法 3.模糊集合识别方法 2．实验教学部分（课内共6学时，未计课外实验时间）1）DFT、DCT正反变换实现 2）直方图均衡、直方图规定化、时域模板处理、频域高低通滤波3）去运动模糊、去失焦、逆滤波、维纳滤波 4）DPCM编码、游程编码、HUFFMAN编码 5）目标描述与识别(分割、描述、识别)
模式识别导论习题集 1、设一幅256×256大小的图像，如表示成向量，其维数是多少？如按行串接成一维，则第3行第4个象素在向量表示中的序号。 解：其维数为2；序号为256×2＋4＝516 2、如标准数字1在5×7的方格中表示成如图所示的黑白图像，黑为1，白为0，现若有一数字1在5×7网格中向左错了一列。试用分别计算要与标准模板之间的欧氏距离、绝对值偏差、偏差的夹角表示，异己用“异或”计算两者差异。 解：把该图像的特征向量为5×7＝35维，其中标准模版的特征向量为： x =[0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0]T 待测样本的特征向量为： y =[0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0]T ，绝对值偏差为351 |()|14i i i x y =-=∑， 夹角余弦为cos 0|||||||| T x y x y θ= =?，因此夹角为 90度。 3、哈明距离常用来计算二进制之间的相似度，如011与010的哈明距离为1，010与100距离为3。现用来计算7位LED 编码表示的个数字之间的相似度，试计算3与其它数字中的哪个数字的哈明距离最小。 解：是“9”，距离为1
4、对一个染色体分别用一下两种方法描述： (1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？ (2)按其轮廓线的形状分成几种类型，表示成a 、b 、c 等如图表示，如何利用这些量？属哪种描述方法？ (3)设想其他结构描述方法。 解： （1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。把这四个值组成一个维数为4的特征向量，该特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。可以区分染色体和其它圆形、椭圆细胞结构。 （2）a 形曲线表示水平方向的凹陷，b 形表示竖直方向的凹陷，c 形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。它可以很好的体现染色体的形状，用于区分X 和Y 染色体很合适。这是结构表示法。 （3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。 5. 设在一维特征空间中两类样本服从正态分布，1σ=2σ=1，μ1=0，μ2=3，两类先验概率之比e P P =)(/)(21ωω，试求按基于最小错误率贝叶斯决策原则的决策分界面的x 值。 解：按照公式（2－84），分界面上的点应满足：
数字图像处理 课程编码：3073009223 课程名称：数字图像处理 总学分： 2 总学时：32 (讲课28，实验4) 课程英文名称：Digital Image Processing 先修课程：概率论与数理统计、线性代数、C++程序设计 适用专业：自动化专业等 一、课程性质、地位和任务 数字图像处理课程是自动化专业的专业选修课。本课程着重于培养学生解决智能化检测与控制中应用问题的初步能力，为在计算机视觉、模式识别等领域从事研究与开发打下坚实的理论基础。主要任务是学习数字图像处理的基本概念、基本原理、实现方法和实用技术，并能应用这些基本方法开发数字图像处理系统，为学习图像处理新方法奠定理论基础。 二、教学目标及要求 1．了解图像处理的概念及图像处理系统组成。 2．掌握数字图像处理中的灰度变换和空间滤波的各种方法。 3．了解图像变换，主要是离散和快速傅里叶变换等的原理及性质。 4．理解图像复原与重建技术中空间域和频域滤波的各种方法。 5. 理解解彩色图像的基础概念、模型和处理方法。 6. 了解形态学图像处理技术。 7. 了解图像分割的基本概念和方法。 三、教学内容及安排 第一章：绪论（2学时） 教学目标：了解数字图像处理的基本概念，发展历史，应用领域和研究内容。通过大量的实例讲解数字图像处理的应用领域；了解数字图像处理的基本步骤；了解图像处理系统的组成。 重点难点：数字图像处理基本步骤和图像处理系统的各组成部分构成。 1.1 什么是数字图像处理 1.2 数字图像处理的起源
1.3.1 伽马射线成像 1.3.2 X射线成像 1.3.3 紫外波段成像 1.3.4 可见光及红外波段成像 1.3.5 微波波段成像 1.3.6 无线电波成像 1.3.7 使用其他成像方式的例子 1.4 数字图像处理的基本步骤 1.5 图像处理系统的组成 第二章：数字图像基础（4学时） 教学目标：了解视觉感知要素；了解几种常用的图像获取方法；掌握图像的数字化过程及其图像分辨率之间的关系；掌握像素间的联系的概念；了解数字图像处理中的常用数学工具。 重点难点：要求重点掌握图像数字化过程及图像中像素的联系。 2.1 视觉感知要素（1学时） 2.1.1 人眼的构造 2.1.2 眼镜中图像的形成 2.1.3 亮度适应和辨别 2.2 光和电磁波谱 2.3 图像感知和获取（1学时） 2.3.1 用单个传感器获取图像 2.3.2 用条带传感器获取图像 2.3.3 用传感器阵列获取图像 2.3.4 简单的图像形成模型 2.4 图像取样和量化（1学时） 2.4.1 取样和量化的基本概念 2.4.2 数字图像表示 2.4.3 空间和灰度级分辨率 2.4.4 图像内插 2.5 像素间的一些基本关系（1学时） 2.5.1 相邻像素 2.5.2 临接性、连通性、区域和边界 2.5.3 距离度量 2.6 数字图像处理中所用数学工具的介绍 2.6.1 阵列与矩阵操作
模式识别 复习题 1. 简单描述模式识别系统的基本构成（典型过程）？ 2. 什么是监督模式识别（学习）？什么是非监督模式识别（学习）？ 对一副道路图像，希望把道路部分划分出来，可以采用以下两种方法： (1). 在该图像中分别在道路部分与非道路部分画出一个窗口，把在这两个窗口中的象素数据作为训练集，用某种判别准则求得分类器参数，再用该分类器对整幅图进行分类。 (2)．将整幅图的每个象素的属性记录在一张数据表中，然后用某种方法将这些数据按它们的自然分布状况划分成两类。因此每个象素就分别得到相应的类别号，从而实现了道路图像的分割。 试问以上两种方法哪一种是监督学习，哪个是非监督学习？ 3. 给出一个模式识别的例子。 4. 应用贝叶斯决策的条件是什么？列出几种常用的贝叶斯决策规 则，并简单说明其规则. 5. 分别写出在以下两种情况：（1）12(|)(|)P x P x ωω=；（2）12()() P P ωω=下的最小错误率贝叶斯决策规则。 6. （教材P17 例2.1） 7. （教材P20 例2.2），并说明一下最小风险贝叶斯决策和最小错误 率贝叶斯决策的关系。 8. 设在一维特征空间中有两类服从正态分布的样本， 12122,1,3,σσμμ====两类先验概率之比12(),() P e P ωω= 试确定按照最小错误率贝叶斯决策规则的决策分界面的x 值。
9. 设12{,,...,}N x x x =X 为来自点二项分布的样本集，即 1(,),0,1,01,1x x f x P P Q x P Q P -==≤≤=-，试求参数P 的最大似然估 计量?P 。 10. 假设损失函数为二次函数2??(,)()P P P P λ=-，P 的先验密度为均匀分布，即()1,01f P P =≤≤。在这样的假设条件下，求上题中的贝叶 斯估计量?P 。 11. 设12{,,...,}N x x x =X 为来自(|)p x θ的随机样本，其中0x θ≤≤时， 1 (|)p x θθ=，否则为0。证明θ的最大似然估计是max k k x 。 12. 考虑一维正态分布的参数估计。设样本（一维）12,,...,N x x x 都是由 独立的抽样试验采集的，且概率密度函数服从正态分布，其均值μ和方差2σ未知。求均值和方差的最大似然估计。 13. 设一维样本12{,,...,}N x x x =X 是取自正态分布2(,)N μσ的样本集，其中 均值μ为未知的参数，方差2σ已知。未知参数μ是随机变量，它的先验分布也是正态分布200(,)N μσ，200,μσ为已知。求μ的贝叶斯估计 ?μ 。 14. 什么是概率密度函数的参数估计和非参数估计？分别列去两种 参数估计方法和非参数估计方法。 15. 最大似然估计和Parzen 窗法的基本原理？
第6章 句法模式识别习题解答 6.1 用链码法描述5～9五个数字。 解：用弗利曼链码表示，基元如解图6.1所示： 数字5~9的折线化和量化结果如解图6.2所示： 各数字的链码表示分别为： “5”的链码表示为434446600765=x ； “6”的链码表示为3444456667012=x ； “7”的链码表示为00066666=x ； “8”的链码表示为21013457076543=x ； “9”的链码表示为5445432107666=x 。 1 7 解图6.1 弗利曼链码基元 解图6.2 数字5~9的折线化和量化结果
6.2 定义所需基本基元，用PDL 法描述印刷体英文大写斜体字母“H ”、“K ”和 “Z ”。 解：设基元为： 用PDL 法得到“H ”的链描述为)))))(~((((d d c d d x H ?+?+=； “K ”的链描述为))((b a d d x K ??+=； “Z ”的链描述为))((c c g x Z ?-=。 6.3 设有文法),,,(S P V V G T N =，N V ，T V 和P 分别为 },,{B A S V N =，},{b a V T = ：P ①aB S →，②bA S →，③a A →，④aS A → ⑤bAA A →，⑥b B →，⑦bS B →，⑧aBB B → 写出三个属于)(G L 的句子。 解： 以上句子ab ，abba ，abab ，ba ，baab ，baba 均属于)(G L 。 6.4 设有文法),,,(S P V V G T N =，其中},,,{C B A S V N =，}1,0{=T V ，P 的各 生成式为 ①A S 0→，②B S 1→，③C S 1→ b c a d e abba abbA abS aB S ???? ① ⑦ ② ③ ab aB S ?? ① ⑥ ba bA S ?? ② ③ abab abaB abS aB S ???? ① ⑦ ① ⑥ baab baaB baS bA S ???? ② ④ ① ⑥ baba babA baS bA S ???? ② ④ ② ③
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答 ： ???∈>=<2 1 1221_,)(/)(_)|() |()(w w x w p w p w x p w x p x l 则如果∑==2 1 ) ()|() ()|()|(j j j i i i w P w x P w P w x P x w P 2 ,1),(=i w P i 2 ,1),|(=i w x p i ∑== 21 ) ()|() ()|()|(j j j i i i w P w x P w P w x P x w P
4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答： ∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1 ) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 ∑== = M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1 ) ()| () ()|() () ()|()|(
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的 类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 12、感知器算法1。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
《模式识别导论》课程教学大纲 一、课程基本信息 课程编号：04010290 课程中文名称：模式识别导论 课程英文名称：Introduction of Pattern Recognition 课程性质：专业任意选修课 考核方式：考查 开课专业：自动化、探测制导与控制技术 开课学期：7 总学时：24 （其中理论24学时，实验0学时） 总学分：1.5 二、课程目的和任务 通过本课程的学习，使学生了解当前模式识别理论的发展现状，初步掌握模式识别的基本方法，使学生对模式、模式识别等基本概念有明确地认识，具有实用统计模式识别完成模式分类的能力。 三、教学基本要求（含素质教育与创新能力培养的要求） 1、掌握模式、模式识别的含义； 2、掌握基于Bayes决策理论的模式分类方法； 3、掌握线性分类的基本方法； 4、掌握近邻法； 5、了解聚类分析的基本方法； 6、了解特征提取的基本方法。 四、教学内容与学时分配 第一章绪论（2学时） 模式和模式识别；模式识别的发展和应用；模式识别的研究方法。 第二章Bayes决策理论（4学时）
最小错误率的Bayes决策；最小风险的Bayes决策；Bayes分类器和判别函数；正态分布模式的Bayes分类器；均值向量和协方差矩阵的估计。 第三章线性判决函数（4学时） 线性判决函数和决策面；最小距离分类器；感知机准则函数；平方误差准则函数；多类模式的线性分类器。 第四章非线性判决函数（4学时） 分段线性判别函数；近邻法；K－近邻法；快速近邻法。 第五章聚类分析（4学时） 模式相似性测度和聚类准则；分级聚类法；C—均值算法。 第六章特征提取（6学时） 类别可分性准则；特征选择；基于距离的特征提取；基于K-L变换的特征提取。五、教学方法及手段（含现代化教学手段） 课堂讲授、专题讨论。 六、实验（或）上机内容 无 七、前续课程、后续课程 前续课程：概率论与数理统计、线性代数 后续课程：无 八、教材及主要参考资料 教材： [1] 黄凤岗，宋克欧. 模式识别[M]. 哈尔滨：哈尔滨工程大学出版社，1998. 主要参考资料： [1] 杨光正等. 模式识别[M].合肥：中国科技大学出版社，2000. [2] 边肇祺，张学工. 模式识别[M].北京：清华大学出版社，2000. 撰写人签字：院（系）教学院长（主任）签字：
人工智能》课程教学大纲 、课程基本信息 二、课程教学目标 《人工智能》是计算机科学与技术专业的一门专业拓展课，通过本课程的学习使本科生对人工智能的基本内容、基本原理和基本方法有一个比较初步的认识，掌握人工智能的基本概念、基本原理、知识的表示、推理机制和智能问题求解技术。启发学生开发软件的思路，培养学生对相关的智能问题的分析能力，提高学生开发应用软件的能力和水平。 三、教学学时分配
四、教学内容和教学要求 第一章人工智能概述（3 学时） （一）教学要求 1.掌握人工智能的基本概念； 2.理解人工智能的发展状况。 3.理解人工智能的基本技术； 4.了解人工智能的研究途径与方法； 5.了解人工智能的分支领域； （二）教学重点与难点教学重点：人工智能的基本技术。教学难点：三大学派的研究途径与方法。 （三）教学内容 第一节人工智能的基本概念 1.什么是人工智能 2.强人工智能与弱人工智能 3.脑智能和群智能 4.符号智能和计算智能 第二节人工智能发展概况 1.人工智能学科的产生
2.人工智能学科的发展 3.人工智能三大学派 第三节人工智能研究途径与方法 1.人工智能的研究目标 2.人工智能的研究方法 3.人工智能的研究内容 第四节人工智能基本技术 1.推理技术 2.搜索技术 3.知识库技术 4.归纳技术 5.联想技术第五节人工智能的应用 1.难题求解 2.机器定理证明 3.自动程序设计 4.模式识别 5.机器翻译 6.智能管控 7.智能决策 8.智能人机接口 第六节人工智能的影响 1.人工智能对人类的影响 2.人工智能对社会的影响 本章习题要点：对基本概念、技术、方法的理解。 第二章智能程序设计语言（5 学时）（一）教学要求 1．了解常见的几种人工智能程序设计语言；
模式识别导论基础实验(2) 实验二 1、利用matlab程序完成课本P38页中，学生身高体重数据的均值、方差以及相关系数的计算。设学生身高体重数据为data=[1.71.75 1.651.801.781.601.551.601.651.70;65706065706045455055] (1)计算身高与体重的均值向量 (2)计算身高与体重的方差向量 (3)计算身高与体重的协方差矩阵 (4)计算身高与体重的相关系数矩阵 (5)利用PCA主成分分析的方法，计算出由身高体重构成的二维特征空间的特征值和特征向量，并指出哪个特征向量的方向是第一主分量方向（提示，可借鉴期中测试中的PCA代码和步骤，按照标准化、求协方差矩阵、PCA主成分分解的顺序依次完成） 2、找到上题中身高最矮的那位同学的编号，计算在身高和体重所构成的二维特征空间中，该同学与均值数据之间的各项距离（此题的第(2)、(3)问要求利用matlab和Octave两种软件分别使用不同的语句编程，并分别截图分析） (1)找到10位同学中身高最矮的那位同学的编号 (2)计算该同学与均值数据之间的欧式距离（matlab和Octave） (3)计算该同学与均值数据之间的马氏距离（matlab和Octave） (4)计算该同学与均值数据之间的夹角余弦距离
3、假设手写数字的每类样品均服从正态分布，请按照课本“基于最小错误率的贝叶斯分类实现”（P79页4.6节）中的介绍，完成下列内容： (1)利用教材所提供的手写数字分类软件（该软件在matlab2010版本下可用），在数字输入区手写一个数字1，通过matlab程序读取该数字的编码信息并以列向量形式保存在变量a中； (2)针对用户手写的数字1，运行函数bayesleasterror(a')，验证实验结果与预期是否吻合； (3)熟悉P80-81页的“基于最小错误率贝叶斯分类”的实现步骤，假设每类样品均服从正态分布，写出判别函数h i(X)的表达式，要求在实验报告中写出关键matlab代码并添加注释。 4、理解课本P95-99页中奖惩算法在两类和多类情况下的表达式，仿照P96页的“实例说明”利用感知器算法对两类模式求判别函数。 (1)设该模式线性可分为两个类，每类中有两个样品，四个样品的具体分布情况为ω1：{(0,0)，(0,1)},ω2:{(1,0)，(1,1)},试写出样品的增广形式 (2)手工写出迭代的计算过程，并求出最后的判别函数结果 (3)用matlab代码实现上述计算过程（此步骤不做要求，作为思考题由同学们自己完成，可以不写在实验报告中）
1、PCA和LDA的区别？ PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。 2、最大似然估计和贝叶斯方法的区别？p(x|X)是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？ 最大似然估计把待估的参数看做是确定性的量，只是其取值未知。利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值(模型已知，参数未知）。贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。 当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。如果有非常多的训练样本，使得p(x|X)形成一个非常显著的尖峰，而先验概率p(x)又是均匀分布，此时两者的本质是相同的。 3、为什么模拟退火能够逃脱局部极小值？ 在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。这个随机因素就是：以一定的概率来接受一个比单前解要差的解。通过这个随机因素使得算法有可能跳出这个局部最优解。 4、最小错误率和最小贝叶斯风险之间的关系？ 基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。 5、SOM的主要功能是什么？怎么实现的？是winner-all-take-all 策略吗？ SOM是一种可以用于聚类的神经网络模型。 自组织映射（SOM）或自组织特征映射（SOFM）是一种使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维）离散化的表示的人工神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。SOM网络中, 某个输出结点能对某一类模式作出特别的反应以代表该模式类, 输出层上相邻的结点能对实际模式分布中相近的模式类作出特别的反映,当某类数据模式输入时, 对某一输出结点产生最大刺激( 获胜结点) , 同时对获胜结点周围的一些结点产生较大刺激。在训练的过程中, 不断对获胜结点的连接权值作调整, 同时对获胜结点的邻域结点的连接权值作调整; 随着训练的进行, 这个邻域围不断缩小, 直到最后, 只对获胜结点进行细微的连接权值调整。 不是winner-all-take-all 策略。获胜结点产生刺激，其周围的结点也会产生一定程度的兴奋。 6、期望算法需要哪两步？请列出可能的公式并做必要的解释。 E-Step和M-Step。E-Step叫做期望化步骤，M-Step为最大化步骤。 整体算法的步骤如下所示： 1、初始化分布参数。 2、(E-Step)计算期望E，利用对隐藏变量的现有估计值，计算其最大似然估计值，以此实现期望化的过程。 3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值
《机器视觉》教学大纲 课程编码：08241059 课程名称：机器视觉 英文名称：MACHINE VISION 开课学期：7 学时/学分：36/2 （其中实验学时：4 ） 课程类型：专业方向选修课 开课专业：机械工程及自动化 选用教材：贾云得编著《机器视觉》科学出版社 2002年 主要参考书： 1.ROBOTICS: Control, Sensing, Vision, and Intelligence, K. S. Fu，McGraw-Hill Publishing Company, 1987 2.张广军编著，机器视觉，科学出版社，2005年 执笔人：孔德文 本课程主要内容包括：二值图像分析、图像预处理、边缘检测、图像分割、纹理分析、明暗分析、彩色感知、深度图与立体视觉。通过本课程的学习，学生应掌握机器视觉的基础理论、基本方法和实用算法。 一、课程性质、目的与任务 机器视觉课程是机械工程及自动化专业在智能机器方向的一门专业方向选修课。机器智能化是机械学科的重要发展方向，也是国际上跨学科的热门研究领域。而机器视觉是智能机器的重要组成部分，它与图象处理、模式识别、人工智能、人工神经网络以及神经物理学及认知科学等都有紧密的关系。本课程对于开阔学生视野、使学生了解本专业的发展前沿，把学生培养成面向二十一世纪的复合型人才具有重要的地位和作用。通过本课程的学习，学生也能掌握一定的科学研究方法与技能，为有潜力成为研究型人才的学生打下一定基础。 二、教学基本要求 本课程主要内容包括：二值图像分析、图像预处理、边缘检测、图像分割、纹理分析、明暗分析、深度图与立体视觉。通过本课程的学习，学生应掌握机器视觉的基础理论、基本方法和实用算法。 本大纲仅列出达到教学基本要求的课程内容，不限制讲述的体系、方式和方法，列出的内容并非要求都讲，有些内容，可以通过自学达到教学基本要求。 使用CAI课件作为辅助教学手段可以节省大量时间，传递更多的信息量，所以本课程建议使用CAI课件。 作业是检验学生学习情况的重要教学环节，为了帮助学生掌握课程的基本内容，培养分析、运算的能力，建议布置作业5－8次，并在期末前安排一次综合作业作为主要考查环节。实验是教学的一个主要环节，实验时间共4学时，每次实验每小组4－6人，使每个学生均有亲自操作的机会。 三、各章节内容及学时分配 1．人类视觉与机器视觉 (4学时) : 人类视觉原理与视觉信息的处理过程；机器视觉理论框架与应用；成像几何学基础。
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是： 、 。 1.2、模式分布为团状时，选用 聚类算法较好。 1.3 欧式距离具有 。 马式距离具有 。 （1）平移不变性 （2）旋转不变性 （3）尺度缩放不变性 （4）不受量纲影响的特性 1.4 描述模式相似的测度有： 。 （1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1） ；（2） ； （3） 。其中最常用的是第 个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义是： ， 。 1.7 感知器算法 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为 。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有： 。 （1）1[]w B Tr S S - （2） B W S S （3）B W B S S S + 1.10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。
1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k )与积累位势函数K(x)的关系为（ ）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和x k 的函数K(x,x k )若同时满足下列三个条件，都可作为势函数。 ①（ ）； ②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x )=p(x |ω1)/p(x |ω2)，l(x )又称似然比，则 E {l(x )|ω2}=（ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。