基于视频人脸识别跟踪监测与识别系统的研究与实现
摘要
随着现代科技的快速发展，生活智能化程度不断提高。各种智能型系统已被应用到各行各业。在众多智能系统中，自动身份认证系统由于其应用范围广，在业界已受到极大的关注。特别是基于人脸识别的身份认证系统，比起基于指纹和虹膜的认证系统。人脸识别是对于输入的人脸图像或视频，首先判断其中是否存在人脸，如果存在人脸，则进一步给出每个人脸中所蕴含的特征，并将其中与已知人脸库中的人脸图像进行对比，从而可以得到识别结果。由此可见，一个完整的人脸识别过程应该包括人脸检测和人脸识别两大部分。
人脸检测作为人脸信息处理中的一项关键技术，近年来成为模式识别与计算机视觉领域内一项是受到普遍重视、研究十分活跃的课题，已经广泛应用于各种不同领域中。人脸检测技术的研究，由于受到背景、姿态、尺寸、光照以及检测时间等的影响，大部分算法都是在一定的约束条件下提出的。
人脸识别技术因其在安全验证系统、信用卡验证、档案管理、视频会议、罪犯识别、医学等方面的巨大应用前景而越来越成为当前模式识别和人工智能领域的一个研究热点。本系统采用摄像头获取动态人脸图像预处理、人脸检测和定位、特征匹配实现了人脸识别；也可以采用静态图片人脸定位。
关键词：人脸检测；人脸识别；定位；
目录
1 前言 3
1.1 课题来源 3
1.2人脸识别技术的研究意义 3 1.
2.1富有挑战性的课题 3
1.2.2研究背景与意义 3
2 系统需求分析和方案选择11 2.1可行性分析 11
2.1.1技术可行性12
2.1.2 操作可行性12
2.2需求分析12
2.2.1应用程序的功能需求分析12 2.2.2开发环境需求分析13
2.2.3运行环境需求分析2.3预处理方案选择14
2.3.1设计方案原则的选择14 2.3.2图像文件格式选择14 2.3.3开发工具选择 14
2.3.4算法分析选择
3 系统的概要设计14
1 前言
1.1 课题来源
随着安全入口控制和金融贸易方面应用需要的快速增长，生物统计识别技术得到了新的重视。目前，微电子和视觉系统方面取得的新进展，使该领域中高性能自动识别技术的实现代价降低到了可以接受的程度。而人脸识别是所有的生物识别方法中应用最广泛的技术之一，人脸识别技术是一项近年来兴起的，但不大为人所知的新技术。人们更多的是在电影中看到这种技术的神奇应用：警察将偷拍到的嫌疑犯的脸部照片，输入到电脑中，与警方数据库中的资料进行比对，并找出该嫌犯的详细资料和犯罪记录。这并非虚构的情节。在国外，人脸识别技术早已被大量使用在国家重要部门以及军警等安防部门。在国内，对于人脸识别技术的研究始于上世纪90年代，目前主要应用在公安、金融、网络安全、物业管理以及考勤等领域。
1.2人脸识别技术的研究意义
1.2.1富有挑战性的课题
人脸识别是机器视觉和模式识别领域最富有挑战性的课题之一，同时也具有较为广泛的应用意义。人脸识别技术是一个非常活跃的研究领域，它覆盖了数字图像处理、模式识别、计算机视觉、神经网络、心理学、生理学、数学等诸多学科的内容。现如今的我们，虽然在这方面的研究已取得了一些可喜的成果，但是FRT在实用的应用中仍面临着很严峻的问题，因为人脸五官的分布是非常复杂，相似的，而且人脸的本身又是一个柔性物体，表情、姿态或发型、化妆的千变万化都给正确识别带来了相当大的麻烦。如何能正确识别大量的人并满足实时性要求是迫切需要解决的问题。
1.2.2研究背景与意义
近年来，随着现代科技的快速发展，生活智能化程度不断提高。各种智能型
系统已被应用到各行各业。在众多智能系统中，自动身份认证系统由于其应用范围广，在业界已受到极大的关注。特别是基于人脸识别的身份认证系统严重的冲击了传统的指纹识别身份认证系统在身份认证市场的市场占有率，快速占领了生物特征识别中的12.9%的市场份额，仅仅只落后于指纹识别的市场占有率，并且还呈现不错的上涨趋势，同时据预测和人脸识别相关的产品未来的5年中将以8亿美元及以上的增幅快速增长。
随着科学技术的发展，很多企业和科研单位都推出了自己的人脸识别系统。但这些系统多数是针对某种的特定环境而开发的，很大程度上缺乏通用性。缺乏通用性的重要原因是其核心技术仍然是采用国外的技术，只是通过一定的简单加工，而且多数还是考勤系统等。就是由于这些大公司没有产品开发的知识产权，没有形成深入研究相关方面的知识，因此在人脸识别技术上很难达到实际的应用模式的。同时由于通过各种不同的渠道从国外学习的相关技术也是参差不齐，使得产品的可靠性很难得到保障，其中有些涉及到国家安全的更是值得考虑的因素。在过去的一两年中人脸识别市场在中国处于快速的发展中，同时市场份额也在快速的扩大之中。其主要有以下原因：脸识别技术的重要性的认识。由于受到各界相关人士对其重要性的认识，使得国家也给予政策上的支持，是人脸识别在未来发展的重要基础之一，同时由于对其深入的研究，相关技术也更加的成熟，同时识别率比起以前提升至少在10倍以上，其中的一些方法几乎可以和人类的视觉系统相媲美，机器识别精准率接近100%。
各种市场需求促进。由于生物识别需求的多元化和人脸识别技术的快速进步使相关公司可以生产出更加适合市场的产品，与此同时人脸识别产品的市场就得到了快速的发展。人脸识别产品已经不单单是门禁考勤系统，视频监控识别也成为其重要发展的方向，即通过检测某个人出现的视频，识别出其身份的系统，这显然是如指纹识别不能达到的效果。
人口基数因素，我国的人口相比其他世界的其他国家那是有数量级之间区别的，这从本质上决定了我国的人脸识别市场需求。虽然我国的人脸识别市场的需求空间很大，但是现阶段的人脸识别产品的研究效果还远远达不到通用的市场需求。人脸识别在很大程度上还受到很多因素的影响，比如：光照条件、姿态、背景和面部表情等现实因素。这些变化的因素有时候会给识别算法带来灾难性的破坏，导致识别的结果明显不同，当然目前对其中的一个到两个方面的影响因素克服的算法还是有的，但其通用性也不是很强。人脸识别最主要的影响还是来自光
照条件和姿态变化。为了消除光照和姿态对人脸识别算法的影响，相关工作者也做出了深入的研究，识别判断时采用和各种不同光照下的样本比较，但这样就大大减低了识别算法的速度，在实时性上又不能满足人脸识别的产品要求。当然现在正致力于人脸3D 模型重建算法，可以有效的克服大部分不良因素产生的影响，将会得到更加深入的研究。
人脸识别系统现在应用于许多领域，但是人脸识别技术也是一项近年来兴起的，且不大为人所知的新技术。在我国以及其他国家都有大量的学者正在研究之中，不断的更新人脸识别技术，以便系统的识别准确率达到新的高度。
2人脸检测与方法综述
2.1人脸检测主要算法原理分析
主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。
1. 基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果；
2. 基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。
3. 基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。
2.1.1 基于几何特征的方法
人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。
采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征，但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。
可变形模板法可以视为几何特征方法的一种改进，其基本思想是：设计一个参数可调的器官模型（即可变形模板），定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。
这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。
2.1.2局部特征分析方法（Local Face Analysis）
主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，外国人提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的基础。
2.1.3特征脸方法（Eigenface或PCA）
特征脸方法是90年代初期由Turk（人名）和Pentland（人名）提出的目前最流行的算法之一，具有简单有效的特点, 也称为基于主成分分析(principal component analysis,简称PCA)的人脸识别方法。
特征子脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。
实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。
基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量，这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而且也保留各部件本身的信息，而基于部件的识别是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。Eigenface(PCA)算法已经与经典的模板匹配算法一起成为测试人脸识别系统性
能的基准算法；而自1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，FERET'96测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。
该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。其技术的核心实际为“局部人体特征分析”和“图形/神经识别算法。”这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认等。Turk、Pentland二人提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸，识别时将测试图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像比较进行识别。Pentland等报告了相当好的结果，在200个人的3000幅图像中得到95%的正确识别率，在FERET数据库上对150幅正面人脸象只有一个误识别。但系统在进行特征脸方法之前需要作大量预处理工作如归一化等。
在传统特征脸的基础上，研究者注意到特征值大的特征向量(即特征脸)并不一定是分类性能好的方向，据此发展了多种特征（子空间）选择方法，例如Peng的双子空间方法、Weng的线性歧义分析方法、Belhumeur的FisherFace方法等。事实上，特征脸方法是一种显式主元分析人脸建模，一些线性自联想、线性压缩型ＢＰ网则为隐式的主元分析方法，它们都是把人脸表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向量，Valentin对此作了详细讨论。总之，特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集比较想象，所以它有着很大的局限性。
基于KL 变换的特征人脸识别方法
基本原理:
KL变换是图象压缩中的一种最优正交变换，人们将它用于统计特征提取，从而形成了子空间法模式识别的基础，若将KL变换用于人脸识别，则需假设人脸处于低维线性空间，且不同人脸具有可分性，由于高维图象空间KL变换后可得到一组新的正交基，因此可通过保留部分正交基，以生成低维人脸空间，而低维空间的基则是通过分析人脸训练样本集的统计特性来获得，KL变换的生成矩阵可以是训练样本集的总体散布矩阵，也可以是训练样本集的类间散布矩阵，即
可采用同一人的数张图象的平均来进行训练，这样可在一定程度上消除光线等的干扰，且计算量也得到减少，而识别率不会下降。
2.1.4基于弹性模型的方法
Ｌａｄｅｓ等人针对畸变不变性的物体识别提出了动态链接模型(ＤＬＡ)，将物体用稀疏图形来描述(见下图)，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系并用几何距离来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。Ｗｉｓｃｏｔｔ等人在此基础上作了改进，用ＦＥＲＥＴ图像库做实验，用300幅人脸图像和另外300幅图像作比较，准确率达到97.3%。此方法的缺点是计算量非常巨大。
Nastar将人脸图像(Ⅰ) (ｘ，ｙ)建模为可变形的3Ｄ网格表面(ｘ，ｙ，Ｉ(ｘ，ｙ) ) ，从而将人脸匹配问题转化为可变形曲面的弹性匹配问题。利用有限元分析的方法进行曲面变形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点在于将空间(ｘ，ｙ)和灰度Ｉ(ｘ,ｙ)放在了一个3Ｄ空间中同时考虑，实验表明识别结果明显优于特征脸方法。
Lanitis等提出灵活表现模型方法，通过自动定位人脸的显著特征点将人脸编码为83个模型参数，并利用辨别分析的方法进行基于形状信息的人脸识别。弹性图匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别算法，由于该算法较好的利用了人脸的结构和灰度分布信息，而且还具有自动精确定位面部特征点的功能，因而具有良好的识别效果，适应性强识别率较高，该技术在FERET测试中若干指标名列前茅，其缺点是时间复杂度高，速度较慢，实现复杂。
2.1.5神经网络方法（Neural Networks）
人工神经网络是一种非线性动力学系统，具有良好的自组织、自适应能力。目前神经网络方法在人脸识别中的研究方兴未艾。Valentin提出一种方法，首先提取人脸的50个主元，然后用自相关神经网络将它映射到5维空间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；Intrator等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取，而监督神经网络用于分类。Lee等将人脸的特点用六条规则描述，然后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善，Laurence等采用卷积神经网络方法进行人脸识别，由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在
一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果，Lin等提出了基于概率决策的神经网络方法(PDBNN),其主要思想是采用虚拟(正反例)样本进行强化和反强化学习，从而得到较为理想的概率估计结果，并采用模块化的网络结构(OCON)加快网络的学习。这种方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用，其它研究还有:Dai等提出用Hopfield网络进行低分辨率人脸联想与识别，Gutta等提出将RBF与树型分类器结合起来进行人脸识别的混合分类器模型，Phillips等人将MatchingPursuit 滤波器用于人脸识别，国内则采用统计学习理论中的支撑向量机进行人脸分类。神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。因此人工神经网络识别速度快，但识别率低。而神经网络方法通常需要将人脸作为一个一维向量输入，因此输入节点庞大，其识别重要的一个目标就是降维处理。
PCA的算法描述：利用主元分析法(即Principle Component Analysis,简称PCA)进行识别是由Anderson和Kohonen提出的。由于PCA在将高维向量向低维向量转化时，使低维向量各分量的方差最大，且各分量互不相关，因此可以达到最优的特征抽取。
4、人脸识别关键问题研究
a) 人脸识别中的光照问题
光照变化是影响人脸识别性能的最关键因素，对该问题的解决程度关系着人脸识别实用化进程的成败。中科院计算所将在对其进行系统分析的基础上，考虑对其进行量化研究的可能性，其中包括对光照强度和方向的量化、对人脸反射属性的量化、面部阴影和照度分析等等。在此基础上，考虑建立描述这些因素的数学模型，以便利用这些光照模型，在人脸图像预处理或者归一化阶段尽可能的补偿乃至消除其对识别性能的影响。重点研究如何在从人脸图像中将固有的人脸属性（反射率属性、3D表面形状属性）和光源、遮挡及高光等非人脸固有属性分离开来。基于统计视觉模型的反射率属性估计、3D表面形状估计、光照模式估计，以及任意光照图像生成算法是中科院计算所的主要研究内容。具体考虑两种不同的解决思路：
1、利用光照模式参数空间估计光照模式，然后进行针对性的光照补
偿，以便消除非均匀正面光照造成的阴影、高光等影响；
2、基于光照子空间模型的任意光照图像生成算法，用于生成多个不同光照条件的训练样本，然后利用具有良好的学习能力的人脸识别算法，如子空间法，SVM等方法进行识别，
b) 人脸识别中的姿态问题研究
姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。使得姿态问题成为人脸识别的一个技术难题。解决姿态问题有三种思路：第一种思路是学习并记忆多种姿态特征，这对于多姿态人脸数据可以容易获取的情况比较实用，其优点是算法与正面人脸识别统一，不需要额外的技术支持，其缺点是存储需求大，姿态泛化能力不能确定，不能用于基于单张照片的人脸识别算法中等。
第二种思路是基于单张视图生成多角度视图，可以在只能获取用户单张照片的情况下合成该用户的多个学习样本，可以解决训练样本较少的情况下的多姿态人脸识别问题，从而改善识别性能。
第三种思路是基于姿态不变特征的方法，即寻求那些不随姿态的变化而变化的特征。中科院计算所的思路是采用基于统计的视觉模型，将输入姿态图像校正为正面图像，从而可以在统一的姿态空间内作特征的提取和匹配。
因此，基于单姿态视图的多姿态视图生成算法将是中科院计算所要研究的核心算法，中科院计算所的基本思路是采用机器学习算法学习姿态的2D变化模式，并将一般人脸的3D模型作为先验知识，补偿2D姿态变换中不可见的部分，并将其应用到新的输入图像上去。
人脸识别内容
2.2人脸跟踪
面貌跟踪是指对被检测到的面貌进行动态目标跟踪。具体采用基于模型的方法或基于运动与模型相结合的方法。此外，利用肤色模型跟踪也不失为一种简单而有效的手段。
2.3人脸比对
面貌比对是对被检测到的面貌像进行身份确认或在面像库中进行目标搜索。
这实际上就是说，将采样到的面像与库存的面像依次进行比对，并找出最佳的匹配对象。所以，面像的描述决定了面像识别的具体方法与性能。目前主要采用特征向量与面纹模板两种描述方法:
①特征向量法
该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。
②面纹模板法
该方法是在库中存贮若干标准面像模板或面像器官模板，在进行比对时,将采样面像所有象素与库中所有模板采用归一化相关量度量进行匹配。此外，还有采用模式识别的自相关网络或特征与模板相结合的方法。
人脸识别技术的核心实际为"局部人体特征分析"和"图形/神经识别算法"。这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。一般要求判断时间低于1秒。
2.4人脸的识别过程
一般分三步：
(1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。
(2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。
(3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库存中的面纹编码进行检索比对。上述的"面纹编码"方式是根据人脸脸部的本质特征和开头来工作的。这种面纹编码可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性，从而使它可以从百万人中精确地辩认出某个人。人脸的识别过程，利用普通的图像处理设备就能自动、连续、实时地完成。
3 系统需求分析和方案选择
3.1可行性分析
在开发该人脸识别软件之前，我们查询了前人所写过的诸多论文以及源程序，在开发之时，结合了资料中的算法并揉进了自己的一些思想，使程序可以对人脸图片进行简易识别，以及摄像头捕捉人脸识别。
3.1.1技术可行性
图像的处理方法很多，我们可以根据需要，有选择地使用各种方法。
在确定脸部区域上，通常使用的方法有肤色提取。肤色提取，则对脸部区域的获取则比较准确，成功率达到95%以上，并且速度快，减少很多工作。
图像的亮度变化，由于图像的亮度在不同环境的当中，必然受到不同光线的影响，图像就变得太暗或太亮，我们就要对它的亮度进行调整，主要采取的措施是对图像进行光线补偿。
高斯平滑：在图像的采集过程中,由于各种因素的影响,图像中往往会出现一些不规则的随机噪声,如数据在传输、存储时发生的数据丢失和损坏等,这些都会影响图像的质量，因此需要将图片进行平滑操作以此来消除噪声。
灰度变换：进行灰度处理，我们要保证图像信息尽可能少的丢失。同样在进行灰度变换前，我们也要对图像的信息进行统计，找出一个比较合理的灰度值，才能进行灰度变换。
灰度均衡：灰度变换后，就要进行灰度均衡，可以根据灰度分布来进行灰度均衡。
对比度增强：将所要处理的区域和周围图像区域进一步拉开他们的对比度，使它们更加明显，主要通过像素的聚集来实现。
3.1.2 操作可行性
该人脸识别软件需要如下的运行环境：CPU：500M及以上；内存：64 M及以上。安装有Windows 98、Windows Me、Windows 2000、Windows NT等操作系统中的其中一种。另还装有摄像头可进行随机拍照和识别。因此，从操作可行性来看，只要系统用户的硬件软件设备满足以上条件，即可用该人脸识别软件进行人脸的识别。
3.2需求分析
3.2.1应用程序的功能需求分析
该软件最主要的功能就是要能识别出人脸，首先该系统需要对通过摄像头拍照而获取到的原始的人脸图片进行一系列处理才可进行下一步的工作，该处理过程也称图像预处理。预处理这个模块在整个人脸识别系统的开发过程中占有很重
要的地位，只有预处理模块做的好，才可能很好的完成后面的人脸定位和特征提取这两大关键模块。因此本设计中所要完成的主要功能如下所述：图像获取功能：
该模块主要是从摄像头拍照后进行获取图片，也可以从图片库中获取，获取后的图片可以在软件的界面中显示出来以便进行识别。
图像预处理功能：
该模块主要包括图像光线补偿、图像变成灰色、高斯平滑、均衡直方图、实现图像对比度增强、二值化变换等。
人脸定位功能：
该模块主要是将处理后的人脸图片进行定位，将眼睛、鼻子、嘴巴标记出来，以便进行特征提取。
特征提取功能：
该模块是在定位后的人脸图片中将眼睛、鼻子、嘴巴的特征值提取出来。
识别功能：
该模块是将从图片中提取的特征值和后台数据库中的值进行比较来完成识别功能。
3.2.2开发环境需求分析
1、硬件环境
（1）硬件配置原则
具有可靠性，可用性和安全性，具有完善的技术支持。能够满足个人学习和设计需要。
（2）运行本软件所需的硬件资源
CPU：800M及以上；内存：128M及以上
2、软件环境
（1）系统软件配置原则
能够满足该软件的可靠性，可用性和安全性的要求
（2）系统软件配置方案
①配置有持续工作能力、高稳定性、高度可集成的开放式标准的操作系统，如Windows2000，Windows NT，UNIX，Linux等。
②配备符合ANSI/ISO标准的高级程序设计语言处理软件。如：Visual C#。
③熟悉C#高级程序设计语言。
3、运行环境需求分析
（1）、硬件环境
CPU：500M及以上；内存：64 M及以上。
（2）、软件环境
可以运行在微软公司近年来所出的各种操作系统。如Windows 98、Windows Me、Windows 2000、Windows NT等。
3.3预处理方案选择
3.3.1设计方案原则的选择
本应用程序的设计方案原则如下：
1、采用较为先进的技术力量，保证应用程序在技术上具备一定的优势。
2、采用成熟的技术，保证应用程序的安全性和可靠性。
3、应用程序便于扩展和维护，易于技术的更新。
4、应用程序充分利用现有的资源，尽量减少不必要的再投资。
5、编写的代码必须严谨易读，代码的解释必须清楚明白，为应用程序的再开发提供应尽的责任。
3.3.2图像文件格式选择
2.4.3开发环境选择
本次设计所用的开发工具是Microsoft Visual C#。Visual C#是Microsoft公司推出的一种可视化编程工具。它支持多平台和交叉平台的开发，将各种编程工具如编辑器、连接器、调试器等巧妙的结合在一起，构成一个完美的可视化开发环境。用户无需通过繁杂的编程操作，即可完成Windows下应用程序的编辑、编译、测试和细化等工作。
4 系统的概要设计
本章主要介绍系统的结构设计的流程以及系统各模块的功能及相关原理。
应用程序的总体结构设计流程图如图3－1所示：
图3－1总体结构设计流程图
进入界面
显示识别结果 人脸检测
人脸对比论证 动态人脸检测 动态人脸对比 离线高性能演示
图像预处理的层次图如图3-2所示：
图3-2 预处理的层次图
以上是该系统的总体结构设计图以及图像预处理模块的层次图。下面介绍系统中的各模块的功能及算法：
（1）图像获取模块
该模块主要是从摄像头拍照后进行获取图片，也可以从图片库中获取，获取后的图片可以在软件的界面中显示出来以便进行识别。
人脸区域获取
该系统中图像里人脸区域的获取，主要是根据肤色来进行获取，通过肤色非线形分段色彩变换来实现。这一非线性分段色彩变换得到的肤色模型属于色彩空间中的聚类模型，这一类肤色模型的建立首先要选取一种合适的色彩空间。
图像预处理模块 预处理 光线补偿 图像灰度化 高斯平滑 均衡直方图 图像对比度增强
二值化
图像预处理就是对获取得来的图像进行适当的处理，使它具有的特征能够在图像中明显的表现出来。该模块中的子模块有如下5个，下面对它们进行概述：光线补偿[3]
因为系统得到的图片可能会存在光线不平衡的情况，这会影响我们对特征的提取，同时系统中要用到YcrCB色彩空间，所以有必要对图像进行光线补偿。尽可能将它的特征在图像中表现出来。YcrCB是一种色彩空间，它用于视频系统中，在该色彩空间中，Y分量表示像素的亮度，Cr表示红色分量，Cb表示蓝色分量，通常把Cr和Cb称为色度。YcrCB色彩空间是以演播室质量标准为目标的CC601编码方案中采用的彩色表示模型。
灰度变化[4]
图像灰度化的过程就是把彩色图像转换为黑白色图像的过程，它也是为了将图像的信息更加具体、简单的表现出来，但是，这样做也将会丢失图像信息。因此，尽可能在转化的过程中用简单的方式表现图像复杂的信息。
高斯平滑处理[5]
高斯平滑将对图像进行平滑处理，在图像采集过程中，由于各种因素的影响，图像往往会出现一些不规则的噪声，入图像在传输、存储等都有可能产生数据的丢失。从而影响图像的质量。处理噪声的过程称为平滑。平滑可以降低图像的视觉噪声，同时出去图像中的高频部分后，那些本来不明显的低频成分更容易识别。平滑可以通过卷积来实现。经过卷积平滑后的水平投影后，二值化提供了较好的图像效果。
对比度增强[6]
对比度增强，就是对图像的进一步处理，将对比度再一次拉开。它针对原始图像的每一个像素直接对其灰度进行处理的，其处理过程主要是通过增强函数对像素的灰度级进行运算并将运算结果作为该像素的新灰度值来实现的。通过改变选用的增强函数的解析表达式就可以得到不同的处理效果。
二值化[7]
二值化的目的是将采集获得的多层次灰度图像处理成二值图像，以便于分析理解和识别并减少计算量。二值化就是通过一些算法，通过一个阈值改变图像中的像素颜色，令整幅图像画面内仅有黑白二值，该图像一般由黑色区域和白色区域组成，可以用一个比特表示一个像素，“1”表示黑色，“0”表示白色，当然也可以倒过来表示，这种图像称之为二值图像。这便有利于我们对特征的提取。该
设计中采用组内方差和组外方差来实现二值化。
直方图均衡[8]
直方图均衡化的目的是使一输入图像转换为在每一灰度级上都有相同的象素点数，它的处理的中心思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，它的研究思路是：通过直方图变换式来进行直方图的均衡处理，直方图变换式是：
但是直方图均衡化存在着两个缺点：
1）变换后图像的灰度级减少，某些细节消失；
2）某些图像，如直方图有高峰，经处理后对比度不自然的过分增强。 人脸定位模块
人脸定位是将典型的脸部特征（如眼睛，鼻尖，嘴唇等等）标记出来，在本系统中，定位的特征是眼睛，鼻尖和嘴巴三个。由于眼睛具有对称性，因此可以很快就能标记出来，而鼻子是在眼睛下面，且嘴巴在鼻子下面，所以只要眼睛标记好，鼻子和嘴巴也能相应的标记出来。
特征提取模块
特征提取按以下4个步骤进行：
（1）、提取两只眼睛的距离
（2）、眼睛的倾角度
（3）、眼睛、嘴巴的重心
（4）、用一个矩形标出每一个特征
在特征提取完之后将会得到相应的特征值以便存入后台数据库。
识别模块
该模块通过与库存中的特征向量进行比较，找出与特征最相近的参数，再对该参数进一步分析。如果分析在我们所确认的范围内，我们就认为该人就是我们所要找的。然后从库存中提取出该人相关的信息，并显示出来。如果库存中没有，则给出提示是否对存库作为样本。
()()()1'1A B H f D H D f f D --????
=????
6 测试
测试是为了找出程序的错误。正如测试的规则所确定的一样：测试是为了发现程序中的错误而执行程序的过程；好的测试方案是极可能发现迄今为止尚未发现的错误的测试方案；成功的测试是发现了迄今为止尚未发现的错误的测试。
6.1测试的原则
1、应当把“尽早地和不断地进行软件测试”作为软件开发者的座右铭。
2、测试用例应由测试输入数据和与之对应的预期输出结果两部分组成。
3、程序员应避免检查自己的程序。（注意不是指对程序的调试）
4、在设计测试用例时，应当包括合理的输入条件和不合理的输入条件。不合理的输入条件是指异常的，临界的，可能引起问题异变的输入条件。
5、充分注意测试中的群集现象。经验表明，测试后程序残存的错误数目与该程序中以发现的错误数目或检错率成正比。应该对错误群集的程序段进行重点测试。
6、严格执行测试计划，排除测试的随意性。测试计划应包括：所测软件的功能，输入和输出，测试内容，各项测试的进度安排，资源要求，测试资料，测试工具，测试用例的选择，测试的控制方法和过程，系统的组装方式，跟踪规则，调试规则，以及回归测试的规定等等以及评价标准。
7、应当对每一个测试结果做全面的检查。
8、妥善保存测试计划，测试用例，出错统计和最终分析报告，为维护提供方便。
知道了测试的目的和测试的原则之后，现在进行软件的具体测试，对软件的功能实现进行详细的测试。
6.2 测试方案
本系统主要由图像处理、人脸定位、特征提取、识别四个部分组成，而图像处理对于后面的工作结果好坏起着至关重要的作用，因此从软件开发的最初阶段我们就要对软件进行不断的测试，对图像处理模块中的各个子模块进行测试以便检测经过处理后的图像效果是否达到预期的效果。下面对图像处理模块的测试过程进行描述：
图像处理模块：该模块分为光线补偿、图像变成灰色、均衡直方图、实现图像对比度增强、二值化处理。对该模块进行测试的方法是：采用多张24位的彩色图像来进行逐一测试，看这些图片经过处理后是否达到预期的效果，如光线补偿模块，则检测所测图片的亮度是否变强；图像灰度化模块的检测则需看所测的彩色图片是否变成灰色；高斯平滑的实现采用了模板操作，因此模板参数的选择对其十分重要，先用图片进行测试来检测平滑效果，如果效果不理想则继续选择模板参数，直至效果理想为止；图像对比度增强是为了将图像的特征一步一步显现出来，在测试的过程中，用含人脸的图片进行检测看是否图像的特征显示出来的是否足够明显。
经过测试之后，光线补偿模块将图像的像素亮度增强，并使图片中的光线达到平衡；图像灰度化模块达到了预期的效果，将图片转变为灰色；高斯平滑模块能有效的消除图像噪音，提高了图像质量；而增强图像对比度模块能够较好的把图像特征表现出来。
二代身份证(感应卡）识别+人脸识别+视频监控考勤、 门禁一体化管理系统解决方案 ２０1０年６月 目录 第一章系统软件的要求................................................................................ 错误!未定义书签。 1.1软件安装对计算机的最低配置要求?错误!未定义书签。 １.2软件的安装 .........................................................................................错误!未定义书签。第一章?方案的提出 .......................................................................................... 错误!未定义书签。 1) 门禁卡实名登记................................................................................错误!未定义书签。 ２) 感应卡智能门禁管理系统?错误!未定义书签。 3) 视频监控和硬盘录像系统?错误!未定义书签。 4) 门禁数据和公安局系统联网............................................................错误!未定义书签。 2.?主要设计依据规范....................................................................................错误!未定义书签。第二章产品硬件方面介绍?错误!未定义书签。 １.?基本参数?错误!未定义书签。 2. 外观参数............................................................................................错误!未定义书签。 3.?电气参数................................................................................................错误!未定义书签。 4．?环境参数.............................................................................................错误!未定义书签。 5.?功能参数................................................................................................错误!未定义书签。 第三章软件功能介绍............................................................................错误!未定义书签。ＰIN 1 －--－ＧＮD?错误!未定义书签。 PIN 2 ---- VCC ............................................................................................... 错误!未定义书签。PIN ５ --－- DATＡ０?错误!未定义书签。
硕士学位论文 基于深度学习的视频人脸识别方法 THE VIDEO FACE RECOGNITION METHOD BASED ON THE DEEP LEARNING 由清圳 哈尔滨工业大学 2012年12月
国内图书分类号：TP391.9 学校代码：10213国际图书分类号：621.3 密级：公开 硕士学位论文 基于深度学习的视频人脸识别方法 硕士研究生：由清圳 导师：丁宇新副教授 申请学位：工程硕士 学科、专业：计算机技术 所在单位：深圳研究生院 答辩日期：2012年12月 授予学位单位：哈尔滨工业大学
Classified Index: TP391.9 U.D.C: 621.3 Thesis for the Master Degree of Engineering THE VIDEO FACE RECOGNITION METHOD BASED ON THE DEEP LEARNING Candidate：Qingzhen You Supervisor：Associate Prof. Yuxin Ding Academic Degree Applied for：Master of Engineering Speciality：Computer Technology Affiliation：Shenzhen Graduate School Date of Defence：December , 2012 Degree-Conferring-Institution：Harbin Institute of Technology
摘要 本文的视频人脸检测识别方法的基本设计思想是，在给出一段视频文件以及这个视频文件的字幕和剧本之后，可以自动的对视频中的人物进行检测和识别，不需要任何的训练样本。视频人脸检测识别方法主要由四个部分组成：字幕剧本融合部分，人脸检测部分，样本集自动生成部分和基于深度学习的人脸识别部分。本文将深度学习算法引入到了视频人脸识别中来，有两方面的重要意义，一方面，视频人脸的识别要求算法具备一定的抗干扰能力，并且能够保证一定的实时性，本文的实验与分析表明，深度学习算法具备这方面的要求；另一方面，从深度学习算法特性的角度来说，深度学习算法最大的缺点就是构造深度模型需要大量的样本，这很大程度上限制了深度学习算法的应用，然而本文所设计的基于视频的人脸检测模块可以轻松的产生数万、数十万的样本，从而满足了深度学习算法的大样本集要求。 基于深度学习模型的人脸识别部分是整个系统的重点，这一部分主要有两方面的意义：一，经历了视频人脸的检测部分之后，虽然视频人脸集合中人脸的纯度有了很大的提升，但是依然会存在一些杂质，因此必须通过识别模块来进一步的过滤掉人脸集合中的杂质；二，通过视频所得到的帧文件中，经常会出现多张人脸同时出现的情况，在这种情况下，视频人脸的检测部分是无法将说话者与人脸进行对应的，必须通过识别模块才能区分出一个帧中的多个人脸。 基于深度学习模型的人脸识别部分主要包含三个模块：数据预处理模块、深度学习模块和识别模块。数据预处理模块主要由数据整合和构造数据立方体两个部分组成。深度学习模块通过两个具体过程来实现：RBM调节和深度模型的反馈微调。RBM的调节过程是自下而上的各个层间的调节过程，以这种方式来初始化整个深度模型的系统权值，而深度模型的反馈微调，首先进行自下而上的识别模型转换，然后再进行自上而下的生成模型转换，最后通过不同层次之间的不断调节，使生成模型可以重构出具有较低误差的原样本，这样就得到了此样本的本质特征，即深度模型的最高抽象表示形式。经过深度学习模型的处理，可以得到降维之后的样本特征，在此基础上运用识别模块，本文中所采用的识别方法是人工神经网络的识别方法。 关键词：人脸检测；肤色模型；深度学习；识别模型；生成模型；人工神经网络
视频门禁之人脸识别监控系统解决方案 一、需求背景 在公共场所，人流量巨大，依靠人力无法有效地在流动的人群中发现布控目标，在不干扰群众自由通行的情况下，很难快速方便的辨别其身份。传统方式，案发后常常需要出动整个侦查队加班加点反复看视频，不但耗费大量警力而且容易错过追捕时机。 为了对付各种各样的刑事犯罪，保护国家和人民群众的生命财产安全，保证各行各业和国家重点部门的正常运转，采用高科技手段预防和制止犯罪已成为平安城市建设的需要。随着人脸识别技术的发展，诸多人像比对系统已经在公安的治安、刑侦等业务中获得有效的应用。公安部门在特殊场所追缉在逃人员一直以来是个很棘手的问题。由多奥自主研发的领先的人脸识别技术，将动态人脸识别技术应用于视频监控中，从而使在不易被监控目标察觉的情况下，达到中远距离识别验证后台报警提示的效果。 将动态人脸识别技术与视频监控相结合，对重点监控区域进行人脸识别布控，对于协助公安干警快速侦破案件，避免犯罪事件的发生，维护社会和谐稳定，创建平安和谐城市具有重要的意义。
二、系统概述 人脸识别布控系统，把各处采集到的人脸信息与布控人脸进行比对，能够同时进行多路视频分析比对，在发现目标后迅速提示并将警情推送至客户端。此外，系统还支持单目标多张照片批量导入，多目标批量照片导入等各种导入方式，在降低了技术人员的工作量同时大幅提高了安保人员的工作效率。即使抓拍人在行进中转头、低头仍然能做出准确跟踪和抓拍。 系统采用服务器/客户端结构。服务器保存黑名单人员的面部信息，实现人员识别和报警的功能，而客户端实时接收来自一个或多个通道摄像头的面部数据，并和黑名单中的人员进行对比。
视频监控中低分辨率人脸识别 发表时间：2019-01-02T16:19:32.767Z 来源：《知识-力量》2019年3月中作者：王鑫汪国强 [导读] 针对视频监控中的低分辨率识别问题，本文介绍了研究现状和存在的问题，对于传统LR人脸识别算法作了详细的介绍。然后针对传统研究算法存在的问题与不足 （黑龙江大学，黑龙江哈尔滨 150000） 摘要：针对视频监控中的低分辨率识别问题，本文介绍了研究现状和存在的问题，对于传统LR人脸识别算法作了详细的介绍。然后针对传统研究算法存在的问题与不足，又介绍了目前研究最火热的基于深度学习的超分辨率重建人脸识别算法并对未来的发展趋势作了简单的叙述。 关键词：深度学习；人脸识别；超分辨率；监控视频 1.前言 随着“平安城市”、“智慧城市”等国家政策的提出，安防受到全面重视。而“雪亮工程”、“天网工程”更是偏重于以视频监控系统为基础，从人体固有特征出发，对个人身份进行认证鉴定。人脸作为最重要的身份特征之一，具有非接触、非侵犯性等优点，与监控视频中监控对象非接触的特点相契合，因此监控视频中人脸识别获得了快速的发展。 2.存在的问题和研究现状 视频监控中的人脸识别技术，与传统的对静态图像的人脸识别不同，不是人脸迎合摄像头，而是由摄像头来捕捉人脸。监控系统是在非约束状态进行人脸采集的，易受光照、所处人群、角度、环境、表情姿态等因素的影响，多数是模糊的、质量偏低的、低分辨率的，这造成了数据库中的正面高清图像与监控系统获取的真实画面存在较大的差异。因此要想达到比较好的识别效果，人脸识别技术首要解决的问题就是这个问题，即低分辨率人脸识别问题。 目前业内一般把低分辨率人脸识别分为两种：一种是直接方法，即分辨率稳健特征表达方法，另一种方法是间接的方法，即对低分辨率样本进行超分辨率重建，得到含有较多特征信息的高分辨率图像，然后再使用常规人脸识别方法进行识别。 3.传统低分辨率人脸识别 LR人脸识别与SR人脸识别过程类似，分别对基准集和测试集样本提取分辨率稳健特征，对所提取特征进行比较，得出身份判定结果。与SR图像不同之处在于维度的不匹配，所以传统的解决思路又三种： 3.1 上采样 即图像插值，如最近邻插值、双三次等。对LR图像进行上采样操作，即在现有的人脸信息上拟合新的像素点，使其变换成与参考图像具有相同尺寸的高分辨率图像，然后再提取特征，利用传统人脸识别方法进行分类识别。 3.2 下采样 即图像缩小，将SR图像下采样到和待识别LR图像一样的尺寸大小，再提取特征，直接和LR待识别图像提取的特征进行匹配，虽然解决了维度不匹配问题，不会产生噪声，但会减少鉴别性的人脸信息。 3.3 统一特征空间 即中间分辨率空间。对SR图像进行特征降维，LR图像进行特征扩展，映射到同一特征空间中。统一特征空间直接解决特征维度不匹配问题，但最优的非线性耦合映射并没有较好的方法直接获取，由于是从两端的样本集同时向统一空间映射，复杂的变换会带来新的干扰。 4.超分辨率重建的低分辨率人脸识别 图像超分辨率（super resolution,SR）技术旨在提高低分辨率（low resolution,LR）图像的分辨率，同时最小化附加视觉伪影，人脸超分辨率重建，也称为“人脸幻想”。主要有基于插值、重建、学习的三种重建算法。 4.1 基于插值的重建方法 该方法主要有最近邻插值、双线性插值以及三次插值等方法，理论依据是假设图像为连续的，那么图像新增位置的像素可以通过相邻像素值计算得出，从而实现图像的超分辨率重建。该类方法只是增加了图像像素的个数，而没有增加额外的高频信息，因此图像的质量不是太高。 (1)最近邻插值 最近邻插值法是最简单的灰度值插值，将变换后的图像中的原像素点最邻近像素的灰度值赋给原像素点。 (2)双线性插值 在x,y方向上分别进行一次线性插值，对目标图像（x,y）先通过最近邻插值映射到源图的（X+u,Y+v）,u、v是小数部分，由于图像坐标都为整数，因此上述点不存在，所以取其附近四个领域点（X,Y）、（X,Y+1）、（X+1,Y）、（X+1,Y+1）的像素值，进行权值计算，得到目标图像（X,Y）处的像素值达到重建的目的。 （3）双三次插值 对周边16个点进行插值运算，具体可描述为目标图像（X,Y）坐标先映射到源图像的坐标（X+u,Y+v）,接着找到该点最近的16个像素点将每个点的像素值按照不同的权值求和即得到待插值点的像素值。 4.2 基于重建的重建方法 其原理是通过观测LR样本来实现对SR的约束。通常用未知HR的先验知识作为正则化项来规范SR重建这个病态问题的解，确定性和随机方法是实现正则化的两种不同方式。 (1)最大后验概率算法（MAP） 该算法先给图像一个先验模型，模型由马尔可夫随机场确定，接着根据LR图像系列，实现目标SR图像达到最大后验概率。一般分为三个步骤：一、用两个随机的过程分别表示输入的LR和SR图像；二、接着使SR图像的后验概率值最大值；三、将后验概率的最大值公式按照
河北农业大学 本科毕业论文(设计) 题目：基于Eigenfaces的人脸识别算法实现 摘要 随着科技的快速发展,视频监控技术在我们生活中有着越来越丰富的应用。在这些视频监控领域迫切需要一种远距离，非配合状态下的快速身份识别，以求能够快速识别所需要的人员信息，提前智能预警。人脸识别无疑是最佳的选择。可以通过人脸检测从视频监控中快速提取人脸，并与人脸数据库对比从而快速识别身份。这项技术可以广泛应用于国防，社会安全，银行电子商务，行政办公，还有家庭安全防务等多领域。 本文按照完整人脸识别流程来分析基于PCA(Principal Component Analysis)的人脸识 别算法实现的性能。首先使用常用的人脸图像的获取方法获取人脸图像。本文为了更好的分析基于PCA人脸识别系统的性能选用了ORL人脸数据库。然后对人脸数据库的图像进行了简单的预处理。由于ORL人脸图像质量较好，所以本文中只使用灰度处理。接着使用PCA提取人脸特征，使用奇异值分解定理计算协方差矩阵的特征值和特征向量以及使用最近邻法分类器欧几里得距离来进行人脸判别分类。 关键词:人脸识别PCA算法奇异值分解定理欧几里得距离
ABSTRACT With the rapid development of technology, video surveillance technology has become increasingly diverse applications in our lives. In these video surveillance urgent need for a long-range, with rapid identification of non-state, in order to be able to quickly identify people the information they need, advance intelligence warning. Face recognition is undoubtedly the best choice. Face detection can quickly extract human faces from video surveillance, and contrast with the face database to quickly identify identity. This technology can be widely used in national defense, social security, bank e-commerce, administrative offices, as well as home security and defense and other areas. In accordance with the full recognition process to analyze the performance of PCA-based face recognition algorithm. The first to use the method of access to commonly used face images for face images. In order to better analysis is based on the performance of the PCA face recognition system selected ORL face database. Then the image face database for a simple pretreatment. Because ORL face image quality is better, so this article uses only gray scale processing. Then use the PCA for face feature extraction using singular value decomposition theorem to calculate the covariance matrix of the eigenvalues and eigenvectors, and use the Euclidean distance of the nearest neighbor classifier to the classification of human face discrimination. KEYWORDS: face recognition PCA algorithm SVD Euclidean distance
毕业论文声明 本人郑重声明： 1．此毕业论文是本人在指导教师指导下独立进行研究取得的成果。除了特别加以标注地方外，本文不包含他人或其它机构已经发表或撰写过的研究成果。对本文研究做出重要贡献的个人与集体均已在文中作了明确标明。本人完全意识到本声明的法律结果由本人承担。 2．本人完全了解学校、学院有关保留、使用学位论文的规定，同意学校与学院保留并向国家有关部门或机构送交此论文的复印件和电子版，允许此文被查阅和借阅。本人授权大学学院可以将此文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本文。 3．若在大学学院毕业论文审查小组复审中，发现本文有抄袭，一切后果均由本人承担，与毕业论文指导老师无关。 4.本人所呈交的毕业论文，是在指导老师的指导下独立进行研究所取得的成果。论文中凡引用他人已经发布或未发表的成果、数据、观点等，均已明确注明出处。论文中已经注明引用的内容外，不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究成果做出重要贡献的个人和集体，均已在论文中已明确的方式标明。 学位论文作者（签名）： 年月
关于毕业论文使用授权的声明 本人在指导老师的指导下所完成的论文及相关的资料（包括图纸、实验记录、原始数据、实物照片、图片、录音带、设计手稿等），知识产权归属华北电力大学。本人完全了解大学有关保存，使用毕业论文的规定。同意学校保存或向国家有关部门或机构送交论文的纸质版或电子版，允许论文被查阅或借阅。本人授权大学可以将本毕业论文的全部或部分内容编入有关数据库进行检索，可以采用任何复制手段保存或编汇本毕业论文。如果发表相关成果，一定征得指导教师同意，且第一署名单位为大学。本人毕业后使用毕业论文或与该论文直接相关的学术论文或成果时，第一署名单位仍然为大学。本人完全了解大学关于收集、保存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存或汇编本学位论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权大学可以将本学位论文的全部或部分内容编入学校有关数据 库和收录到《中国学位论文全文数据库》进行信息服务。在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 论文作者签名：日期： 指导教师签名：日期：
智能分析视频监控系 统 设 计 方 案 2015-10
目录 一、系统概述3 二、系统优势3 三、应用场景4 四、系统设计4 4.1 概述4 4.2 技术特点4 4.2.1技术概要4 4.2.2人脸抓拍技术5 4.2.3人脸识别技术6 4.3 系统结构7 4.3.1系统组网7 4.4人像系统功能8 4.4.1人脸检测抓拍8 4.4.4 自动识别性别9 4.4.5 图像记录防篡改功能9 4.4.6 高清录像功能9 4.4.7 数据存储功能9 4.4.8 数据FTP传输与断点续传功能9 4.4.9 远程系统管理维护功能10 五、后端管理平台10 5.1系统框架10 5.2后端服务器简介11 5.3客户端功能介绍12 5.3.1 功能架构12 5.3.2 客户端主要功能介绍12 5.3.2.1视频播放12 5.3.2.2历史视频查询12 5.3.2.3图片和事件信息显示13 5.3.2.4图片和事件关联视频查询13 5.3.2.5建立重要案事件视频库13 5.3.2.6 黑名单布控报警13 5.3.2.7模糊图像处理14 5.3.2.8 系统设备状态监测14 六、系统应用14 6.1 人脸抓拍应用14 6.2 人像比对应用15
6.3条件检索应用16 6.4 视频关联人脸应用16 6.5 黑名单布控应用17 一、系统概述 “人车抓拍卡口系统”的出现，使对车辆和人员的监控实现实时报警成为了可能，不但可以对车辆进行监控管理，而且同时对人员进行了有效监控管理，对于城市中心区域、城市城中村及中小城市的治安管理系统建设更具有现实作用和意义。同时该系统在机制上实现了无效数据的屏蔽从而可以有效地降低中心存储的压力，该系统的数据采集方式可以实现多级检索，大大提高了系统的使用效率、节省了查询时间、减少了警力的占用。该系统响应了公安部的要求，符合当前实际的需要，具有时效性及高科技的特点，减少了大系统建设的后顾之忧，必将在推广后成为公共安全的得力助手，达到“科技强警”的目标。 二、系统优势 1、视频触发，应用灵活、方便，不需要破路埋设线圈，系统建设简单、维护方便。 2、前端采用高清一体网络摄像机作为图像采集设备，成像质量高达300万像素，图片质量高。一台高清摄像机可实现对车辆的抓拍、完成号牌识别、行人抓拍、视频记录。设备构成简单，系统建设、应用简便，工控机用作前端存储。 3、系统支持后期人脸比对扩展功能，可将前端抓拍人像与人像库进行实时比对，当比对相似度达到一定阀值，则会自动报警。也支持遗留物检测、固定物检测等扩展功能。 4、可以实现对重点区域同时提供高清的人像照片、车辆照片和有效高清视频录像，实现对重点区域的全天候、大范围的管理要求，提高了管理水平，在一定程度上极大的制止了不法行为的发生，同时也为相关安全部门的调查取证创造了条件，为后期的案件处理提供可靠、有效的线索和依据。 5、领先的车牌识别技术：准确率很高，车牌识别种类齐全，可准确识别车
人脸识别系统的原理与发展 一、引言 人脸识别系统以人脸识别技术为核心，是一项新兴的生物识别技术，是当今国际科技领域攻关的高精尖技术。它广泛采用区域特征分析算法，融合了计算机图像处理技术与生物统计学原理于一体，利用计算机图像处理技术从视频中提取人像特征点，利用生物统计学的原理进行分析建立数学模型，具有广阔的发展前景。2012年4月，铁路部门宣布车站安检区域将安装用于身份识别的高科技安检系统人脸识别系统；可以对人脸明暗侦测，自动调整动态曝光补偿，人脸追踪侦测，自动调整影像放大； 二、概述 人脸识别系统概述 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。生物特征识别技术所研究的生物特征包括脸、指纹、手掌纹、虹膜、视网膜、声音(语音)、体形、个人习惯(例如敲击键盘的力度和频率、签字)等，相应的识别技术就有人脸识别、指纹识别、掌纹识别、虹膜识别、视网膜识别、语音识别(用语音识别可以进行身份识别，也可以进行语音内容的识别，只有前者属于生物特征识别技术)、体形识别、键盘敲击识别、签字识别等。 人脸识别系统功能模块 人脸捕获与跟踪功能：人脸捕获是指在一幅图像或视频流的一帧中检测出人像并将人像从背景中分离出来，并自动地将其保存。人像跟踪是指利用人像捕获技术，当指定的人像在摄像头拍摄的范围内移动时自动地对其进行跟踪。 人脸识别比对：人脸识别分核实式和搜索式二种比对模式。核实式是对指将捕获得到的人像或是指定的人像与数据库中已登记的某一对像作比对核实确定其是否为同一人。搜索式的比对是指，从数据库中已登记的所有人像中搜索查找是否有指定的人像存在。 人脸的建模与检索：可以将登记入库的人像数据进行建模提取人脸的特征，并将其生成人脸模板(人脸特征文件)保存到数据库中。在进行人脸搜索时(搜索式)，将指定的人像进行建模，再将其与数据库中的所有人的模板相比对识别，最终将根据所比对的相似值列出最相似的人员列表。
基于人脸识别的安防系统解决方案 1、应用背景 随着中国社会国际化程度的不断深化，奥运会、世博会、亚运会等大型活动在中国的举办，中国已经成为全球瞩目的焦点，世界各地包括国内数以百万乃至千万计的游客、官员、新闻记者、运动员、裁判员、工作人员、志愿者等各类人士将集聚中国的场馆。与会人士中不乏企图制造事端、普通民众为之色变的恐怖分子，如何确保各种级别、各类型的运动会、会议或展会的安全、有序进行，已经成为摆在各组委会等机构面前的头等大事。 长期以来，与会人员凭门票、代表证、参展证等各类证件（凭证）在经过工作人员人工查验后即可进入会场。这种模式以低廉的代价为会场的管理提供了一些基本的保障，但也存在着严重的管理漏洞和安全隐患。在相关人士意识到了问题的存在之后，条码、IC/ID卡、RFID等技术便逐步引入了大型会场的管理，原有的证件人工查验模式变为计算机系统的自动查验为主、人工为辅的查验模式，这一模式的改变减少了人为错误的发生。同时，在应用上述技术后，证件伪造的难度也有了显著增加。应该说，上述技术的应用在一定程度上提升了会场的管理和安全保障水平，但单凭证件的与会人员身份认证模式仍然存在证件存在被伪造的可能、证件可能被他人借用或冒用、证件遗失会给持证人带来极大的不便等问题。 人体生物特征具有唯一性、稳定性、不可复制、不可假冒等显著特点，用于身份认证具有更高的安全性。在指纹、掌纹、虹膜等人体生物特征识别技术中，人脸识别技术的优势非常明显。首先，作为识别特征，人脸具有稳定、可靠、安全、便利等特点。在一般情况下，人的面部特征是非常稳定可靠的，“携带”便利。面像也是用于区分人的首要特征。其次，人脸图像的采集非常方便，尤其是基于标准视频的图像采集方式。目前，绝大多数系统采用的都是可见光范围内的标准摄像头，完全满足人脸图像的采集要求，不需要进行任何改造或升级。人脸图像的采集是非接触式的，也不需要人主动配合，最大限度地提高了系统的响应速度。第三，与系统结合人脸识别系统能够最大效能的发挥现有监控系统的优势，真正
基于ARM的视频人脸识别系统设计与实现 发表时间：2018-10-22T09:48:05.817Z 来源：《防护工程》2018年第12期作者：招永铸 [导读] 现代社会对个人身份认证的方便性和有效性要求越来越高,传统的身份认证方法面临着严峻的挑战, 本文设计和实现了一种基于ARM 嵌入式视频的实时人脸识别系统,经测试验证了其实用性以及实时性，可以推广应用。 招永铸 广东鼎华科技股份有限公司广东佛山 528000 摘要：现代社会对个人身份认证的方便性和有效性要求越来越高,传统的身份认证方法面临着严峻的挑战, 本文设计和实现了一种基于ARM 嵌入式视频的实时人脸识别系统,经测试验证了其实用性以及实时性，可以推广应用。 关键词：ARM嵌入式；远程视频；实时；人脸识别 人脸作为一种人体生物特征,具有难以伪造、不会遗失、随身携带、方便易用等特点。人脸识别技术特指利用分析、比较人脸视觉特征信息进行身份鉴别的计算机技术，是模式识别在图像领域中的具体运用,其应用前景非常广阔,可以应用到身份证件的鉴别、自动门禁控制系统、银行取款机、家庭安全,图片检索等领域。可传统的人脸识别系统以电脑为平台,体积大,使用不灵活,而嵌入式ARM平台具有体积小、低功耗、高性能、低成本的特点,因此基于ARM平台开发人脸识别系统具有重要的应用价值。 1.基本结构及工作原理 远程视频实时人脸识别系统的设计，集视频前端和显示终端为一体。视频前端采用搭载了linux操作系统的三星公司ARM 芯片作为开发环境，外部接有UVC 摄像头和无线网卡等。为了减轻CPU 的工作压力，UVC 摄像头自带DSP 芯片自动压缩采集到的图像为MJPEG 格式，然后再将无线网卡设置为AP热点模式而无需路由器的介入，并通过它来建立起一个视频前端服务器，用以接收控制信号和发送视频。显示终端基于Qt+OpenCV 的开发环境，首先接收视频前端传来的视频流并进行图像的预处理，并结合相应算法实现最终的视频监控以及人脸识别等功能，总体硬件框架如图1所示 图1 总体硬件框架 2.视频前端部分设计 2.1 硬件部分选型 视频前端采用三星公司的ARM9系列S3C2440作为处理器，工作频率可达400 MHz，完全能够满足高效的视频采集和视频传输要求，同时该处理器也内置各类控制器，对于引脚的控制十分方便，易于开发。 摄像头模块采用百问网公司的UVC 摄像头，它既可以支持USB接口，也可以支持CMOS接口。USB模块上集成了DSP 芯片，可以自动将图像压缩成MJPEG 格式从而避免了软压缩的缺陷，减少CPU 的压力从而大幅提高性能。CMOS模组为OV7740，最大分辨率640*480。无线网卡选用美国ATHEROS AR9271 高阶芯片，材料全部采用知名供应商，且获得了FCC，ROHS，支持IEEE802.11B/G/N协议，传输速率相对较高。 2.2 软件部分设计 视频前端软件部分设计需先进行uboot移植，linux内核移植和根文件系统的制作，同时根据相应要求编写或调试相关驱动程序以满足外设要求，最后编写上层应用程序。操作系统采用Linux 3.4内核。对内核的配置工作，内核支持的菜单项更加容易操作Makefile 中的模块，删除不必要的驱动模块从而缩小体积和加快速度。 新版本的内核中支持了USB 总线的框架，将通用层包装起来，差异层提取出来以供修改，大大减少开发周期，设计使用的摄像头驱动程序是基于V412框架的视频设备标准的，其为应用层提供了函数调用的基础。当接入设备时，会触发硬件中断，内核会去识别它并且根据其设备描述符找到与之匹配的设备驱动程序，从而可以在应用层使用底层函数接口来操作摄像头硬件。视频的采集流程如图2所示。 图2视频采集流程图 在采集到视频数据后需要发送到上位机去显示，在网络传输部分采用TCP 协议，通过socket编程使得视频前端作为服务器端，上位机作
玖典视频监控人脸识别仪 SP1205-A1
产品概述
视频监控人脸识别系统是基于可见光下的中远距离人脸识别算法而开发的公共安全安 防智能报警平台。可对多路摄像头监控范围内的多个人脸同时进行自动检测、跟踪和识别， 并与数据库中人员（黑名单或 VIP 等）的面部信息进行高效比对。实时对过往人员身份进 行排查， 一旦发现目标人员或可疑分子， 后台自动报警， 并指导安全人员及时采取防范措施。 该系统对安全管理、重要区域防控、客户管理、公安业务等领域有着重要意义。
随着国内外安全形势日益严峻，社会各行业安防意识逐步加强、安防级别不断提升，视 频监控得到快速普及， 众多的视频监控在更新换代时迫切需要一种能在中远距离、 用户非配 合状态下快速确认人员身份， 实现智能报警的产品。 基于人脸识别技术视频监控系统的强劲 需求下，经过公司研发团队刻苦攻关，视频监控人脸识别仪作为一款技术过硬、使用简便、 效果突出的产品应运而生。 视频监控人脸识别系统是在可见光下的， 能实现中远距离人脸识别视频监控的公共安防 智能报警平台。在此安防监控平台上，除了可以实现 24 小时无缝隙实时视频监控外，还可 以进行多种智能应用和管理。对治安防控、反恐、刑侦追逃等警务工作具有重要意义。本系 统通过视频监控人脸识别仪、 各级交换机、 视频监控人脸识别服务器 （以下简称为 SERVER） ， 可对多路摄像头监控范围内的多个人脸同时进行自动检测、 跟踪和识别， 并与数据库中人员 （黑名单或 VIP 等）的面部信息进行高效比对，迅速报警。 视频监控人脸识别仪是将识别分析软件、 功能管理软件、 功能拓展接口集成在芯片主板 的智能监控报警核心设备。 核心功能可实现实时对过往人员身份进行排查， 在发现目标人员 或可疑分子的情况下，后台可自动报警，提醒安全人员及时采取防范措施。视频监控人脸识 别仪可与后端 SERVER 连用实现报警同步，也可以单独使用实现单点的人脸监控功能。 以上功能针对公安、金融、社保、交通、医疗、零售等行业中的安全管理、重要区域防 控、客户管理等领域的不同使用要求，还可根据需求定制人脸识别终端机部署方式。人脸识 别终端机是基于可见光下的中远距离人脸识别算法而开发的安防智能报警设备， 通过设备主 机与中控中心人脸识别安防系统紧密结合。 实现实时通过人员身份识别功能， 当发现目标人 员或可疑分子时，后台可自动报警，并将实时采集的报警图片发送至人脸识别终端机上，指
人脸识别技术分析 近年来，由于反恐、国土安全和社会安全的需要，世界上各个国家都对安防领域加大了投入。在安防行业中，生物识别一直是市场中备受关注的焦点之一，近年来保持着较高的增长率，其中人脸识别是一个活跃的研究领域，也是人类视觉最杰出的能力之一。虽然人脸识别的准确性要低于虹膜、指纹的识别，但由于它的无侵害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物特征识别方式。目前人脸识别技术不断得到发展，该技术广泛应用到电子护照、生物特征身份证、体育场馆、银行、公安等系统中，对安检、奥运反恐、刑侦追逃等有重要意义。当前由于其应用日渐增多该市场份额比重在不断增加，前景普遍被看好。 对于人脸识别的应用，依照摄像机到用户的距离可将其分为近距离人脸识别（普遍必要用户合作）、中距离人脸识别和远距离人脸识别系统（FaceRecognitionataDistance（FRAD）），其中远距离人脸识别技术关注的是在一个广阔区域内进行非合作的人脸自动识别，这种远距离生物特征的提取和识别可以通过采用主动视觉系统解决。目前，在很多商业、安防和国防应用中都需要在开阔区域内进行远距离（10～20米或更远）非合作的人员识别。比如用于安防目的的人员识别和监督、入侵检测，以及在广阔的区域内通过智能摄像机网络进行人员跟踪等。人脸识别与视频监控的无缝对接可极大地提升传统视频监控的预警功能和智能化程度，并极大地拓展人脸识别技术的应用空间。 在近距离人脸识别中，摄像机可以轻松捕捉高辨别率和相对稳定的人脸图像。而可在FRAD应用中，人脸图像质量却是个大难题，可以说，远距离人脸识别是视频人脸识别应用中最具挑战性的形式之一。近年来国内外针对远距离人脸识别的研究很多，从目前的发展情况来看，对于广阔的覆盖区域已经有一些有效的解决办法，如可通过多摄像机主动视觉系统完成FRAD，即系统通过广视场摄像机（
摘要 基于生物特征识别的身份认证方法和系统研究一直以来都是计算机图形学和模式识别领域研究的热点，其中，由于人脸的稳定性和可见性，针对人脸识别的算法研究和系统应用最为广泛，本文针对校园内实验室和宿舍安全管理需求，设计和实现了一套针对监控视频的基于OpenCV的人脸识别原型系统，开发语言选用C++，全文内容包括： （1）构建了基于OpenCV的视频人脸识别的技术框架。针对实验室和宿舍安全管理需要，构建了基于OpenCV的视频人脸识别的技术框架，能够完成基于视频的实时人脸识别和身份认定； （2）设计了基于OpenCV的视频人脸快速检测算法。人脸检测是人脸识别的前提，本文采用基于OpenCV的快速人脸检测算法实现视频图像中人脸的快速定位和提取； （3）设计了基于AdaBoost算法的视频人脸识别方法。应用AdaBoost算法实现了针对视频流的快速人脸定位和身份识别，能够实现实时身份认定。 系统基于.NET平台设计，使用C++语言进行实现，完成了基于视频的实时人脸身份认定。 关键词：人脸检测； OpenCV；人脸识别； C++； 1
Abstract Based on the research of identity authentication method and system of biometric recognition has been a hot research field of computer graphics, pattern recognition and the stability and visibility, the face, the algorithm research and system applications of face recognition is the most widely, according to the laboratory and dormitory safety management needs of the campus, designed and implemented. A face recognition system based on OpenCV in surveillance video, development language is C++, the main content of this thesis includes: （1）Constructed the technical framework for video based face recognition based on OpenCV. According to the laboratory and the dormitory safety management needs, establishes a framework for video based face recognition based on OpenCV, which can complete real-time face recognition and identity based on video identification; （2）Design of a fast face detection algorithm in video based on OpenCV. Face detection is the precondition of face recognition, this paper uses OpenCV fast face detection algorithm to locate face in video image and extraction based on;The design use application of OpenCV to provide strong support, based https://www.doczj.com/doc/3f17590084.html, platform design. （3）Design of video based face recognition method based on AdaBoost algorithm. Application of AdaBoost algorithm for fast face location and recognition of video stream, which can realize real-time identification. System based https://www.doczj.com/doc/3f17590084.html, platform design, implementation is carried out using C++ language, completed the real-time face identity recognition based on video Key word：Face detection；OpenCV；Face recognition；C++；
1.1.1新增视频应用功能 1.1.1.1视频结构化应用 本期项目建设1套视频结构化应用。 实现对实况视频流、录像流中的所有行人、机动车、非标车等多种目标同时进行检测、跟踪，实现对图片中的所有行人、机动车、非标车等多种目标同时进行检测、分类及属性识别。 实现机动车辆号牌及特征识别、非标车类型识别、行人的性别、年龄段、发型、上衣款式、上衣颜色、下衣款式、下衣颜色、背包特征、拉杆箱特征等识别和记录等功能。 可支持50路1080p高清视频处理。 大大提高案件相关视频的研判效率。 1.1.1.2人脸识别应用 本项目人脸识别应用系统架构采用软硬件解耦的方式，计算和储存等基础硬件资源统一由云平台提供，软件部分由专业的软件开发商提供。 1.1.1. 2.1功能设计 1.1.1. 2.1.1人脸检索功能 在人脸检索系统中进行相似度、时间段等参数设置后，上传待查询的人脸照片，系统自动检测出照片中的人脸信息并截取人脸，开始检索，最后检索出的相似人脸的结果会在界面上显示出来。 1、单张人脸检索 选择上传目标人图片，系统会自动判断上传图片是否符合要求，如符合要求，则上传到平台侧进行自动比对，自动返回符合相似度的人脸图片数据，且同步显示图片在具体点位的数据量。可以分点位或摄像头进行筛选浏览。 2、多张人脸检索
支持同一目标人多张图片同步上传检索，系统自动返回符合多张图片的检索结果。可以分两种形式进行查看： 并集：显示的结果表示符合多张图片中任何一张的图片全部显示 交集：表示只显示全部符合所有照片的交叉结果集 3、联合检索 系统支持通过人脸图像的属性，时间、地点等多种结构化信息进行联合检索。同时支持多个检索条件，同步返回符合检索要求的结果数据。 4、检索结果排序 支持按照相似度、时间二种方式的结果排序： 相似度排序：根据检索结果的人脸相似度从高到低进行排序显示，优先显示相似度最高的人脸图片。 时间排序：将检索结果根据时间顺序从前往后进行排序显示，优先显示最近抓拍到的相似的人脸图片。 5、行人特征检索功能 支持用户按照时间范围、地点范围、行人特征（性别、发型、头发颜色、头部特征、年龄、上下衣着特征、行人背包特征）等过滤条件组合查找行人数据的检索。行人特征包括： 行人基本属性：性别（男、女）、发型（长、短、光头）、头发颜色（黑、白、其他）。 行人头部特征：帽子（有、无）。 行人年龄估计：老人、青壮年、儿童。 上衣着装特征：款式（西装、衬衣、夹克、连衣裙、T恤衫等）、颜色（红橙黄绿青蓝紫黑白灰）。 下衣着装特征：款式（长裤、七分裤、短裤）、颜色（红橙黄绿青蓝紫黑白灰）。 行人背包特征：拉杆箱、斜挎包、手提包 6、行人统计分析功能 支持按照时间范围、地点范围统计人流量及属性分布。包括： (1) 流量统计：