人脸识别技术综述
李勃
摘要：简要介绍了人脸识别技术的研究背景及其发展历程；对人脸识别技术的常用方法进行了分类总结；重点对近年来人脸识别方法的研究进展进行综述并对各种方法加以评价；总结了现阶段存在的研究困难并提出今后的发展方向。
关键词：人脸识别；人脸检测；人脸定位；特征提取
Abstract: Briefly introduces the background of automatic face recognition and its development. Gives a classified summary of the common methods for face recognition, mainly aiming at the latest works. Concludes key factors of research difficulties and gives the future research direction. Keywords: face recognition; face detection; face localization; feature extraction
1 引言
人脸识别技术是生物识别技术的一种，它结合了图像处理、计算机图形学、模式识别、可视化技术、人体生理学、认知科学和心理学等多个研究领域。从二十世纪六十年代末至今，人脸识别算法技术的发展共经历了如下四个阶段：
1.基于简单背景的人脸识别
这是人脸识别研究的初级阶段。通常利用人脸器官的局部特征来描述人脸。但由于人脸器官没有显著的边缘且易受到表情的影响，因此它仅限于正面人脸（变形较小）的识别。
2.基于多姿态/表情的人脸识别
这是人脸识别研究的发展阶段。探索能够在一定程度上适应人脸的姿态和表情变化的识别方法，以满足人脸识别技术在实际应用中的客观需求。
3.动态跟踪人脸识别
这是人脸识别研究的实用化阶段。通过采集视频序列来获得比静态图像更丰富的信息，达到较好的识别效果，同时适应更广阔的应用需求。
4.三维人脸识别
为了获得更多的特征信息，直接利用二维人脸图像合成三维人脸模型进行识别，即将成为该领域的一个主要研究方向。
人脸识别技术的研究范围主要包括以下几个方面：
1.人脸检测：在输入的图像中寻找人脸区域。
2.人脸的规范化：校正人脸在尺度、光照和旋转等方面的变化。
3.特征提取：从人脸图像中映射提取一组能反映人脸特征的数值表示样本。
4. 特征匹配：将待识别人脸与数据库中的已知人脸比较，得出相关信息。
人脸识别流程
2 图像预处理
2.1 图像去噪
一般来说，自然界中的噪声可以看成是一种随机信号。根据图像获取的途径不同，噪声的融入也有多种方式：
1. 图像是直接以数字形式获取的，那么图像数据的获取机制会不可避免地
引入噪声信号；
2. 在图像采集过程中，物体和采集装置的相对运动。或采集装置的抖动，
也会引入噪声，使图像变的模糊不清；
3. 在图像数据的电子传输过程中，也不同程度的引入噪声信号。
这些噪声信号的存在，严重的情况会直接导致整幅图像的不清晰，图象中的景物和背景的混乱。对于用于人脸识别的图像。由于噪声的引入，将不可避免地造成识别率的下降。对图像噪声的消除可以通过两个途径：空间域滤波或频率域滤波。消除噪声的方法很多，对于不同的噪声应该采用不同的除噪方法。主要的方法是：线性滤波、中值滤波、维纳滤波以及小波去噪等。
2.2 增强对比度
为了使人脸在图像中更为突出以便于下一步的特征提取，增强图像对比度是很有必要的。增强对比度有很多种方法，常见的有直方图均衡化和“S ”形变换等方法。
“S ”形变换方法将灰度值处于某一范围（人脸特征范围）内的像素灰度分布差距拉开，从而保证了对比度的提高，但此方法降低了其他灰度值的对比度。而直方图均衡化则是将像素的灰度分布尽量展开在所有可能的灰度取值上，这样的方法同样能使得图像的对比度提高。
人脸图像获取 人脸检测 定位人脸区域
预处理
特征抽取
人脸特征 对比识别 结果 人脸特征库
将彩色图像转化成灰度图像是人脸识别方法中常见的处理过程，虽然转化过程丢失了一部分色彩信息，但是灰度图像拥有更小的存储空间和更快的计算速度。文献[1]给出了一种能够将RGB色彩转换成灰度级且适于突出人脸区域对比
度的转换模型：()5.0
=b
g
?
+
y
f；其中f代表灰度值，
x
?
r
,+
587
.0
144
.0
299
?
.0
+
r,g,b分别表示Red,Green,Blue分量的值。
文献[2]通过将人脸彩色图像从RGB色彩空间转换到RIQ色彩空间，得到了更适于频谱分析的特征分量。
3 人脸检测与定位
人脸自动识别系统包括两个主要技术环节：人脸检测与定位和特征提取与人脸识别。
人脸检测与定位是指检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其在图像中的位置。
在某些可以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标尺内，此时人脸的定位很简单。证件照背景简单，定位也比较容易。在另一些情况下，人脸在图像中的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受到以下因素的影响：
1.人脸在图像中的位置、角度及人物的姿势；
2.图像中人脸区域的不固定尺度；
3.光照的影响。
轮廓和肤色是人脸的重要信息，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此可以针对彩色图片利用肤色特征进行快速的人脸检测。基于特征检测方法的基本思想是：首先建立并利用肤色模型检测出肤色像素，然后根据肤色像素在色度上的相似性和空间上的相关性分割出可能的人脸区域，最后利用其他特征进行验证。
由于眼睛在人脸中相对位置固定，而且与周围面部区域灰度差别较大，所以在各个人脸候选区域中，指定眼睛可能存在的位置范围，并在该范围内用一系列阙值进行二值化处理，看能否搜索到代表瞳孔所在位置的两个黑色区域。如找到，
则判为人脸。进一步的确定可再进行唇部检测，因为唇部一般位于人脸的下三分之一处，所以人脸位置初步确定后，可在下三分之一位置搜索唇形，使用方法是排除红色法。此技术也称基于眼唇定位技术。
4 特征提取与人脸识别
特征提取之前一般需要做几何归一化和灰度归一化的工作。前者是指根据人脸定位的结果将图像中的人脸区域调整到同一位置和大小；后者是指对图像进行光照补偿等处理，以克服光照变化的影响。
提取出待识别的人脸特征之后，即可进行特征匹配。这个过程是一对多或一对一的匹配过程，前者是确定输入图像为图像库中的哪一个人，后者是验证输入图像的人的身份是否属实。
以上两个环节的独立性很强。在许多特定场合下人脸的检测与定位相对比较容易，因此，特征提取与人脸识别环节得到了更广泛和深入的研究。
4.1 人脸特征提取
人脸特征提取是人脸识别中的核心步骤，直接影响识别精度。由于人脸是多维弹性体，易受表情、光照等因素影响，提取特征的困难较大。特征提取的任务就是针对这些干扰因素，提取出具有稳定性、有效性的信息用于识别。
人脸特征是识别的重要依据之一。检测定位过程中也会用到人脸特征。其中统计特征和灰度特征是在人脸定位和特征提取过程中常用到的两类特征：
a) 统计特征
统计特征即用统计的方法对目标对象的肤色、光照变化等因素建模。基于肤色特征的识别方法简单且能够快速定位人脸[1]。人脸肤色不依赖于细节特征且和大多背景色相区别。但肤色的确定对光照和图像采集设备特性较敏感。不同的光照下脸部色彩复杂。这给统一建模造成了一定难度。该方法通常作为其他统计模型的辅助方法使用，适于粗定位或对运行时间有较高要求的应用。
文献[1]使用人脸灰度图像的水平和垂直方向的像素灰度均值来描述人脸特征。通过分别对灰度图像各行和各列中的像素灰度值进行求和，获得水平方向与垂直方向的灰度均值轮廓，以此来描述人脸特征。
b) 灰度特征
灰度特征包括轮廓特征、灰度分布特征(直方图特征、镶嵌图特征等)、结构特征、模板特征等。由于人脸五官位置相对固定，灰度分布呈一定规律性，因此，可利用灰度特征来进行人脸识别。通常采用统计的方法或特征空间变换的方法进行灰度特征的提取，如利用K-L变换得到的特征脸，利用小波变换得到的小波特征等[2][3][4]。
文献[2]使用傅立叶变换得到人脸图片的频域信息，通过选取适当的遮盖模板，提取其中的频谱信息来描述人脸的特征。实验证明该方法对光照和表情/姿态的变化有一定的容忍力。
文献[4]使用小波变换的方法在小波域通过多分辨率分析克服光照和面部表情对人脸识别的影响，获得了较好的识别效果。
4.2 人脸特征提取常用方法
近年来对人脸特征提取的研究主要集中在三个方面：
1.几何特征点的提取；
2.变换域中的特征提取；
3.利用变形模板进行特征提取。
特征提取方法归纳起来分为两类：基于局部特征的提取方法和基于整体特征的提取方法。
基于局部特征的人脸面部表情识别是利用每个人的面部特征(眉毛、眼睛、鼻
子、嘴巴和面部轮廓等)的位置、大小及其相互位置的不同进行特征提取，达到人脸面部表情识别的目的。基于人脸整体特征的提取是从整个人脸图像出发，通过加强反映整体特征来实现人脸面部表情识别。
对比两种方法，基于局部特征的方法很大程度上减少了输入的数据，但是用有限的特征点来代表人脸图像，一些重要的表情识别和分类信息就会丢失。基于人脸整体特征提取在计算量和计算时间上都多于局部特征提取，而且系统设计也相对复杂。
此外，还可以通过多种方法综合利用来进行特征提取。
4.2.1 模板匹配方法
模板匹配方法是模式识别的传统方法，其思想是：库中存储着已知人脸的若干模板。识别的时候，将经过预处理的输入图像与库中的所有模板采用归一化相关度量进行匹配识别，来达到分类的目的，完成人脸的识别。由于这种方法要求两幅图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。上述为静态模板匹配，但是它存在着对不同表情的人脸鲁棒性差的缺点，针对这一情况，人们提出了弹性模板匹配。
弹性模板匹配是根据待检测人脸特征的形状信息（通常利用小波特征）。定义一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如位置、大小、角度等，它们最终通过模型与图像的边缘、峰、谷和灰度分布特性的动态地交互适应来得以修正。由于模板变形利用了特征区域的全局信息，因此可以较好地检测出相应的特征形状。弹性模板匹配的方法在一定程度上容忍光线等的干扰，对细微的表情不敏感。而且弹性匹配中的人脸模型还考虑了局部人脸细节，它的可变形匹配方式，一定程度上能容忍人脸从三维到二维投影引起的变形。
4.2.2 几何特征方法
基于几何特征的人脸识别方法将人脸用一个几何特征矢量表示，用模式识别中的层次聚类思想设计分类器来对人脸进行识别。流程大体如下：首先检测出面部特征点，通过测量这些关键点之间的相对距离，得到描述每个脸的特征矢量，比如眼睛、鼻子和嘴的位置和宽度，眉毛的厚度和弯曲程度等，以及这些特征之间的关系。比较未知脸和库中已知脸中的这些特征矢量，来决定最佳匹配。
基于几何特征的识别方法具有如下优点：①符合人类识别人脸的机理，易于理解；②对每幅图像只需存储一个特征矢量，存储量小；③对光照变化不太敏感。
该方法同样也有其缺点：①从图像中抽取稳定的特征比较困难，特别是在特征受到遮挡时；②对强烈的表情变化和姿态变化的鲁棒性较差；③一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，更适合于粗分类。
文献[3]使用人脸部下巴的轮廓曲线来辅助检测人脸特征，然后使用Gabor 小波变换(GWT)进行人脸识别，获得了较理想的实验结果。
4.2.3 特征脸方法
该方法是从主成分分析(PCA)导出的一种人脸识别和描述技术。其主要思想是，一副由N个象素组成的图像，可以看作N维矢量，或是N维空间中的一点。假设人脸图像只占据这个高维图像空间的一个很小的子区域，因此可以利用PCA 来得到一个人脸图像的优化坐标系统。即是对这个人脸子区域的坐标进行降维，使得每个人脸图像可以用很少几个参数来表示，这就降低了计算复杂度。特征脸方法在应用中是比较成功的。
4.2.4 神经网络方法
神经网络是利用大量简单处理单元（神经元)互联构成的复杂系统来解决识别问题。它在正面人脸识别中取得了较好的效果。常用的神经网络有BP（反向传播）网络、自组织网络、卷积网络、径向基函数网络和模糊神经网络。BP网络运算量相对较小，耗时较短。其自适应功能有助于增强系统的鲁棒性。
神经网络在人脸识别上有独到的优势。通过学习获得其他方法难以获得的关于人脸识别规律和规则的隐性表达。但其运算量大、训练时间长、收敛速度慢、容易陷入局部最小。人工神经网络由于其固有的并行运算机制以及对模式的分布式全局存储，故可用于模式识别，而且不受模式形变影响。用于人脸识别的神经网络方法可训练有较强噪声和部分缺损的图像，这种非线性方法有时比线性方法更有效。
4.2.5 隐马尔可夫模型方法
利用隐马尔可夫模型(Hidden Markov Model，HMM)，将人脸图像按某种顺
序划分为若干块，对各块进行K-L变换，选取前若干变换系数作为观测向量训练HMM。HMM有3个主要问题：评估、估计及解码。我们关心的是前两个问题。评估用于解决识别问题，估计用来产生用于识别的各个单元的HMM。
Samaria等人首先将一维隐马尔可夫模型(1D-HMM)用于人脸识别，并对不同状态数模型的识别性能进行了详细比较和分析。根据人脸由上至下各特征区具有自然不变的顺序。可用1D-HMM表示人脸。脸上的特征区被指定为状态，即从上到下为人脸图像进行一维连续HMM建模。
伪二维隐马尔可夫模型(P2D-HMM)是1D-HMM的一种扩展。P2D-HMM利用了图像的二维特征，不但能表现人脸垂直方向的空间结构，还能表现水平方向从左至右的空间结构。更适合于人脸图像识别。但是P2D-HMM结构较复杂，运算量很大。
4.2.6 弹性图匹配方法
弹性图匹配法(Elastic Graph Matching)是一种基于动态链接结构(Dynamic Link Architecture，DLA)的方法。该方法在二维空间中为人脸建立属性拓图，把拓扑图放置在人脸上，每一节点包含一特征向量，它记录了人脸在该顶点附近的分布信息，节点间的拓扑连接关系用几何距离来标记，从而构成基于二维拓扑图的人脸描述[11]。
利用该方法进行人脸识别时，可同时考虑节点特征向量匹配和相对几何位置匹配。在待识别人脸图像上扫描拓扑图结构并提取相应节点特征向量，把不同位置的拓扑图和库中人脸模式的拓扑图之间的距离作为相似性度量。此外，可用一个能量函数来评价待识别人脸图像向量场和库中己知人脸向量场间的匹配度，即最小能量函数时的匹配。该方法对光照、姿态变化等具有较好的适应性。该方法的主要缺点是计算量较大。必须对每个存储的人脸计算其模型图，占用很大存储空间。
文献[11]使用了广义弹性图匹配的人脸识别方法，在适应人脸的姿态及表情变化方面获得了较好的实验效果。
4.2.7 支持向量机(SVM)方法
近年来，支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个2分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化为一个高维的线性可分的问题。实验结果表明支持向量机有较好的识别率。
4.3 基于视频序列的方法
相对于单个静止图像，视频序列能提供更多的信息，如：同一人的大量图像可供使用；可以根据运动变化估计3D人脸结构；可以用于补偿光照、姿态、表情等变化；视频序列的时间连续性和识别对象身份的一致性为人脸识别提供信息；可以从低分辨率图像恢复出高分辨率图像；可以根据眼球的运动、姿态的变化等进行身份识别以防止基于静态图像的欺骗等。这类方法一般是基于视频序列的空间轨迹或概率模型进行匹配识别，因而具有更好的鲁棒性。
视频序列中人脸识别有两部分工作：
第一，人脸检测和跟踪，即从视频图像序列中确定是否存在人脸并对其准确定位和保持跟踪状态；
第二，人脸识别，识别视频中脸像身份。
视频系列中人脸的识别一般有两种方案：
1.从视频序列中选择几帧质量较好的图像，然后用静止图像的人脸识别方
法进行匹配；
2.对所有跟踪帧应用识别方法识别，不断调整识别概率。
视频序列中人脸识别面临如下挑战：视频图像质量较差、视频图像分辨率较低以及外界各种不确定因素的影响等。
超分辨率图像技术被广泛应用于基于视频序列的人脸识别方法之中[5][6]。通过在视频序列中提取连续的多帧图像，经过图像重建，可以得到解析度高于输入视频序列图像的单幅高解析度复原图像。这种方法有助于克服视频人脸识别在实际应用中视频图像质量较差的问题。
4.4 基于三维的方法
把人脸当作平面图像来看待就是二维识别问题，将人脸用立体图像来表示，就是三维识别问题[9][10]。三维人脸的研究始于计算机动画和生物医学成像。采用三维识别与传统的方法最大的区别就在于，人脸的信息可以更好的表现和存储，同时由于三维人脸模型具备光照无关性和姿态无关性的特点，能够正确反映脸的基本特性。而且人脸主要的三维拓扑结构不受表情的影响，从而形成相对稳定的人脸特征表述。因此基于三维人脸模型的识别方法可以很好地解决目前在这一领域存在的研究瓶颈。
三维人脸识别主要有基于图像特征的方法和基于模型可变参数的方法。基于图像特征的方法实现的过程类似人脸重建的方法：首先匹配人脸整体的尺寸轮廓和三维空间方向；然后，在保持姿态固定的情况下，去作脸部不同特征点的局部匹配。也可以用一个精确的透视模型估计姿态参数，同时利用一个稀疏特征集合去插值和提炼其余的脸部结构。基于模型可变参数的方法使用将通用人脸模型的3D变形和基于距离映射的矩阵迭代最小相结合，去恢复头部姿态和3D人脸。随着模型形变的关联关系的改变不断更新姿态参数，重复此过程直到最小化尺度达到要求。
基于模型可变参数的方法与基于图像特征的方法的最大区别在于：后者在人脸姿态每变化一次后，需要重新搜索特征点的坐标，而前者只需调整3D变形模型的参数。
文献[9]通过融合2D和3D人脸数据，获得了比使用单一数据信息进行人脸识别更好的识别效果。该方法对光照和表情、姿态的变化均有较好的鲁棒性。
目前三维人脸识别算法还很不成熟，主要面临如下困难：
1.信息来源方面的困难：用于3D识别的完整信息难于获取，或者用于3D识
别的信息往往是不完整的，这造成了识别算法本身不可纠正的错误。
2.海量存储和计算量庞大：由于3D识别的数据容量和计算量十分巨大，给存
储和运算带来困难，也对计算机的硬件提出了更高要求。
3.对人的生理认识的不足：对于生物生理学和生物心理学等相关学科的认知水
平制约了计算机的算法实现，比如：对于肌肉的运动理论和表情的形成等问题，不能提供给计算机足够的专家支持。
4.受到环境和条件的约束：影响二维识别的不利因素在三维识别上同样存在。
比如：光线、方向、遮盖、阴影背景等。
5 结论
人脸图像受到很多因素的影响，比如：光照条件、姿态、背景、面部表情以及附属物等。这些因素的变化，都会导致人脸图像的明显不同，目前还没有有效的识别算法能够完全解决这些因素的影响。很多识别算法都是对光照条件、姿态等因素进行约束化简。在上述因素中，主要的影响来自于光照条件和姿态的变化。
为了消除它们对识别效果的影响，通常的做法是扩大样本空间，收集各种光照和姿态下的样本，识别判断时考虑测试图像与各种条件下样本的差异，然后进行综合分类。一种克服光照影响的做法是通过使用不同的采集源，如热红外(IR)图像，以实现在暗光环境下的人脸识别，或用来消弱不同角度光照对人脸图像的影响[7][8]。对于姿态的影响，可以利用弹性图匹配的方法，跟踪面部关键特征点的变化，估计姿态参数；或使用3D变形模型来匹配面部表情的变化。
总体来说，光照和姿态变化仍是人脸识别所面临的重大挑战，特别是当两种因素混在一起时。目前看来，弹性图匹配方法、特征脸方法和3D人脸建模是解决当下实际问题的较为行之有效的方法，将会得到更加深入的研究。
参考文献
[1] Weihua Wang, WeiFu Wang. A Gray-Scale Face Recognition Approach[J]. 2008 Second
International Symposium on Intelligent Information Technology Application, 2008, 395~398 [2] Zhiming Liu, Chengjun Liu. A Hybrid Color and Frequency Features Method For Face
Recognition[J]. IEEE Transactions on Image Processing, 2008, v17, n10, 1975~1980
[3] Jiann-Shu Lee, Kai-Yang Huang, Sho-Tsung Kao, Seng-Fong Lin. Face Recognition by
Integrating Chin Outline[J]. 2008 Fourth International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), 2008, 567~571
[4] A.Abbas, M.I.Khalil, S.Abdel-Hay, H.M.Fahmy. Expression and illumination invariant
preprocessing technique for face recognition[J]. 2008 International Conference on Computer Engineering & Systems (ICCES '08), 2008, 59~64
[5] Zhifei Wang, Zhenjiang Miao. Feature-based super-resolution for face recognition[J]. 2008
IEEE International Conference on Multimedia and Expo (ICME), 2008, 1569~1572
[6] Frederick W.Wheeler, Xiaoming Liu, Peter H.Tu. Multi-frame super-resolution for face
recognition[J]. 2007 First IEEE International Conference on Biometrics: Theory, Applications, and Systems - BTAS '07, 2007, 250~255
[7] D.A.Socolinsky, L.B.Wolff, A.J.Lundberg. Face recognition in low-light environments using
fusion of thermal infrared and intensified imagery[J]. Proceedings of the SPIE - The International Society for Optical Engineering, 2006, v6206, p620622-1-12
[8] Kong, S.G.1; Jingu Heo; Boughorbel, F.; Yue Zheng; Abidi, B.R.; Koschan, A.; Mingzhong
Yi; Abidi, M.A.. Multiscale fusion of visible and thermal IR images for illumination-invariant face recognition[J]. International Journal of Computer Vision, 2007, v71, n2, 215~233
[9] G.P.Kusuma, Chin-Seng Chua. Image level fusion method for multimodal 2D + 3D face
recognition[J]. Image Analysis and Recognition. 5th International Conference, ICIAR 2008, 2008, 984~992
[10] Al-Osaimi, F.1; Bennamoun, M.1; Mian, A.1. An expression deformation approach to
non-rigid 3D face recognition[J]. International Journal of Computer Vision, 2009, v81, n3, 302~316
[11] Hochul Shin, Seong-Dae Kim, Hae-Chul Choi. Generalized elastic graph matching for face
recognition[J]. Pattern Recognition Letters, 2007, v28, n9, 1077~1082
人脸识别研究综述 摘要：论文首先介绍了人脸识别技术概念与发展历史，解释人脸识别技术的过程与优缺点；随后对近几年人脸识别技术的研究情况与一些经典的方法进行详细的阐述，最后提出人脸识别技术在生活中的应用与展望。 关键词：人脸识别研究现状应用与展望 一、概念 人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流。首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 二、发展历史 人脸识别的研究历史比较悠久。高尔顿(Galton)早在1888 年和1910 年就分别在《Nature》杂志发表了两篇关于利用人脸进行身份识别的文章，对人类自身的人脸识别能力进行了分析。但当时还不可能涉及到人脸的自动识别问题。最早的AFR1的研究论文见于1965 年陈（Chan）和布莱索（Bledsoe）在Panoramic Research Inc.发表的技术报告，至今已有四十年的历史。近年来，人脸识别研究得到了诸多研究人员的青睐，涌现出了诸多技术方法。 三、过程与优缺点 人脸的识别过程： (1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。 (2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。 (3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库
计算机光盘软件与应用 2012年第5期 Computer CD Software and Applications 工程技术 — 49 — 人脸识别技术概述 杨万振 （东北大学，沈阳 110819） 摘要：作为多学科领域的具有挑战性的难题，人脸识别技术覆盖了模式识别、神经网络、生理学、计算机视觉、 心理学、数字图像处理、数学等诸多学科的内容。 关键词：人脸识别；算法 中图分类号：TP391.41 文献标识码：A 文章编号：1007-9599(2012)05-0049-01 一、引言 人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别是一项热门的计算机技术研究领域，它属于生物特征识别技术，是对生物体（一般特指人）本身的生物特征来区分生物体个体。国内外的人脸识别的方法多种多样，并且不断有新的研究成果出现。但是，由于人脸识别问题巨大的复杂性，要建立一个能够完全自动完成人脸识别任务的计算机系统难度是相当大的，这不仅涉及到数字图像处理，而且还涉及到计算机视觉，人工智能和计算机网络及通讯等的多个学科领域的广泛知识。目前生物识别技术已广泛用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域等[1,2]。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多的领域：1.公安、司法和刑侦。2.自助服务。3、.企业、住宅安全和管理。4.电子护照及身份证。5.信息安全。综上所述，人脸识别技术对于打击各类犯罪活动、维护国家安全和社会稳定等具有十分重大的意义。随着各种技术手段的综合应用和科学技术的发展， 相信人脸识别技术会不断向前发展，应用更加广泛。 二、人脸识别系统的基本框架 人脸识别过程包括两个主要环节：一是人脸的检测和定位，即从输入图像中找到人脸及其位置，并将人脸从中分割出来；二是对标准化的人脸图像进行特征提取与识别。 人脸识别系统基本框架图 如图所示，人脸识别系统各部分的功能和作用： （一）图像获取：用图像获取设备（数码相机、扫描仪、摄像机）获取图像，也可以在人脸图像库中获取图像，然后使用相应程序将图像转换成可处理的格式。 （二）检测定位：人脸检测是指在输入图像中确定所有人脸的大小、姿态和位置的过程。近年来，由于生物特征识别的发展和人际交互方式的发展，人脸检测定位的发展很迅速，但是其难点是容易受到亮度变化、人的头部姿势及图像背景等因素的影响。 （三）人脸图像预处理：对获取的图像进行适当的处理，使其具有的特征能在图像中表现的明显。该模块主要由灰度变化、光线补偿、对比度增强、高斯平滑处理、直方图均衡和图像二值化处理等子模块构成。 （四）特征提取部分：将预处理后得到的正规人脸图像按照相应的算法提取出用来识别的特征向量，将原始的人脸空间中的数据映射到特征空间中去。通常把原始人脸空间叫测量空间，把用以进行分类识别的空间叫特征空间，较高维数的测量空间的模 式表示可以经过变换变为在较低维数的特征空间中模式的表示。 （五）分类器设计：部分分类器的设计是在后台完成的，就是所谓训练过程，该过程结束后可生成分类器用于分类识别。模式识别问题事实上可以看做是一个分类问题，即把待识别的对象归于某一类之中。在人脸识别问题上就是把不同输入的人脸图像归于某个人这一类。其基本的做法就是在样本训练集的基础上确定某种判决规则，然后使按这种判决规则对待识别的对象进行分 类所引起的损失最小或造成的错误识别率最小。 （六）分类决策：就是运用已经设计好的分类器进行分类识别，得出最后的识别结果，并给出相应的判断。 三、人脸识别的常用方法 1.主分量分析法 2.线性判别分析法 3.独立分量分析法 4.隐马尔可夫模型法 5.弹性束图匹配法 四、人脸识别的技术优势 虽然目前人脸识别系统不是很成熟，但与虹膜识别、指纹 识别等其它生物特征识别技术相比，人脸识别的技术优势主要有以下几点： （一）非接触式操作，适用于隐蔽监控。由于人脸识别系统不需要接触，可以秘密开展，因此特别适用于网上抓逃、隐蔽监控等应用。这是虹膜、指纹等其他生物特征识别技术所不具备。 （二）无侵犯性，容易被接受。人脸识别系统一般为远距离 采集数据，减小了对用户造成生理上伤害几率，用户容易接受。 （三）图像采集设备成本低。目前，USBCCD/CMOS 摄像头非常低廉的价格，已成为计算机的标准配置，极大地扩展了人脸识别实用范围；此外，数码摄像机、数码相机和照片扫描仪等图像 采集设备在普通家庭的日益普及进一步增加了其可用性。 （四）更符合人类的识别习惯，可交互性强。人脸识别更 符合人识别人的习惯，故若与用户交互配合可以大大提高系统 的可靠性和可用性；但是指纹、虹膜识别却不具备如此优点。 （五）识别精确度较高、速度快。与其它生物识别技术相比，人脸识别的精度处于较高的水平，拒识率、误识率较低。 五、人脸识别研究的难点 人脸识别通常是通过对采集得到的人脸图像的分析计算来确定其身份的。人脸是具有复杂结构的三位可变形生物体，影响人脸识别效果的因素主要有以下几个： 姿态：人脸图像的变化，例如在三维人脸到二维人脸的成像过程中，由于相关的照相机-脸姿（正面的、45度、侧面、颠倒的）导致的不同，而一些脸部特征如眼睛或鼻子可能部分地或全部被遮挡。 组件的影响：面部的特征如胡须和眼镜等可能存在也可能不存在，这些组件包括形状、颜色和大小。 面部表情：人脸为可变形物体，人脸表情的变化直接影响人脸图像的模式。 图像的方向：照相机光轴的旋转不同可直接引起人脸图像的变化。 图像的条件：当图像产生时，一些因素如光(光谱、光源分布和强度)和照相机的特性(传感器的响应、透镜)影响人脸的外观。 参考文献： [1]Yin L.Basu A.Generating realistic facial expressions with wrinkles for model-based coding [J]．Computer Vision and Image Understanding,2001,84(2):201-240 [2]李云峰,杨益,田俊香.人脸识别的研究进展与发展方向[J].科技资讯,2008(5):23-32
1．人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。 （2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。 （3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。 （4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。 （5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面： （1）模板匹配 主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较
图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。 本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。 关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer interaction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial
人脸识别研究 代上 （河南大学环境与规划学院河南开封 475004） 摘要：现今世界经济发展迅速，而面对繁杂的社会安全问题却显得有些捉襟见肘，人脸识别技术能够因通过面部特征信息识别身份而受到广泛关注。人脸识别通常使用采集含有人脸图像或视频流的设备，将收集到的人脸信息进行脸部检测,进而与数据库中已有信息进行对比确定被识别对象的身份,已经广泛的应用于公共安全、教育等多个方面，且在以后的社会发展中具有很大的应用前景。本文主要对人脸识别的发展历程、主要识别方法予以总结概括，并对其应用范围与发展趋势进行分析。 关键词：人脸识别；方法；应用；发展 1引言 人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。该项技术目前应用到社会的各个领域，例如个人家庭自动门的安全系统、犯罪人的身份识别系统、银行自动取款的服务系统等。 人脸识别系统给人带了很多方便，应用能力很强，但是人脸识别仍然有很多阻碍其发展的困难之处。主要表现在：在收集图像中目标自身的影响；在系统收集图像的过程中容易受到各种外界因素以及系统收集图像之后由于其它因素造成的面部损伤所带来的影响；随着时间的变迁，人的面部逐步发生变化的影响。这些都对人脸识别技术的发展造成了一定的困难，也使得该项技术面临着多种挑战性。 2 人脸识别研究的发展历史与研究现状 2.1发展历史 很早在19世纪80年代就有关于通过人脸对人类的身份进行辨别的论文发表，但是由于技术水平与设备的限制，人脸识别技术并没有受到重视。直到20世纪60年代末，Blcdsoc[1]提出了人脸识别研究的雏形，人脸识别技术才被人们接受。 在人脸识别研究的早期阶段，人们主要研究的是人脸识别的各种方法，但是在实际应用方面却没有得到实质性的进展。 进入20世纪90年代末的时候，人脸识别技术进入了一个快速发展阶段，在这个时期各种新的人脸识别方法相继出现，并创建了人脸图像数据库，对人脸识别的发展起到了巨大的促进作用。在实际应用方面也取得了很大的进展，运用人脸识别技术的产品逐渐进入了社会市场。 进入21世纪以后，人脸识别技术已经逐步发展成熟，但是由于非理想条件如（光照、天气、姿态）的影响，对人脸识别技术的要求也更高。为了解决这些不利因素所造成的影响，研究者们一直努力寻找更加趋于完美的方法，从而减少这些因素所带来的不利影响。 2.2研究现状 近几年来，人脸识别技术已经从以前的认知阶段发展到了实际应用阶段。但是由于每个人的面部都会因为各种不同的原因发生改变，这给人脸识别带来了不小的影响。如光照不同
本科生毕业论文（设计） 题目人脸识别技术综述 学院计算机学院 专业计算机科学与技术 学生姓名陶健 学号 0643041077 年级 2006 指导教师周欣 教务处制表 二Ο年月日
人脸识别技术综述 计算机科学与技术 学生陶健老师周欣 [摘要]随着社会信息化，网络化得不断发展，个人身份趋于数字化，隐性化，如何准确的鉴定，确保信息安全得到越来越多的重视。人脸识别，一种应用比较广泛的生物识别方法，在基于人脸固有的生物特征信息，利用模式识别和图行图像处理技术来对个人身份进行鉴定，在国家安全，计算机交互，家庭娱乐等其他很多领域发挥着举足轻重的作用，能提高办事效率，防止社会犯罪等，有着重大的经济和社会意义。 本文主要研究了人脸识别在图像检测识别方面的一些常用的方法。由于图像处理的好坏直接影响着定位和识别的准确率，因此本文对图像的一些识别算法做了着重的介绍，例如基于二维Gabor小波矩阵表征人脸的识别算法，基于模型匹配人脸识别算法等。此外，本文还提及了一般人脸识别系统的设计，并着重介绍了图像预处理环节的光线补偿，图像灰度化等技术，使图像预处理模块在图像处理过程中能取到良好的作用，提高图像识别和定位的准确率。 [主题词]：人脸识别；特征提取；图像预处理；光线补偿
Face Recognition Overview Computer Science Student：TAO Jian Adviser: ZHOU Xin [Abstract] With the information society, network was growing, personal identity tends to digital, hidden, how to accurately identify, to ensure that information security is more and more attention. Face recognition, an application of biometric identification methods more widely, based on biometric facial information inherent in the use of pattern recognition and image processing techniques to map line of personal identity ,play a great role in the national security, computer interaction, family entertainment and many other areas. Face recognition can improve efficiency, prevent social crime, of course it has significant economic and social significance. This paper studies aspects of face recognition in image detection and some common methods of identification. As the image processing directly impact on the accuracy of location and identification, so some of image recognition algorithm will be focused presentation, such as Gabor wavelet-based two-dimensional matrix representation of face recognition algorithms, model-based matching face recognition algorithm. In addition, the article also mentioned a general recognition system design, and highlights the image preprocessing part of the light compensation, gray image techniques, the image preprocessing module in the image processing to get to the good , and improve image recognition and positioning accuracy. [Key Words] Face recognition; feature extraction; image preprocessing; light compensation
人脸识别发展趋势及应用领域分析 人脸识别技术是一种高精度、易于使用、稳定性高、难仿冒的生物识别技术，具有极其广阔的市场应用前景。在公安、国防、海关、交通、金融、社保、医疗及其他民用安全控制等行业和部门存在着广泛的需求。 一、人脸识别何以瞬间爆发？ 其实对于整个生物识别领域来说，由于指纹识别应用时间早，价格低廉，而且使用便利，因此早早地便占据了国内的大部分市场，在顶峰时期，甚至可以达到90%左右。但是，又是什么力量，使人脸识别在短短五六年的时间里，就实现了如此迅猛的腾飞呢？ （一）政策因素：抛开技术因素，国家政策的支持可以说是人脸识别崛起的重要因素之一。尤其随着近些年来，平安城市等技术的大力推广，我国安防市场的需求也随之迅速升温，各领域安保的等级也就随之实现明显的提升。甚至在部分地区的部分领域，人脸识别已经开始被列为使用过程中的强制标准。这种情况的出现，对于人脸识别的推广无疑是一种非常有力的推动。因此，虽然政策的角色只是一种诱导的作用，但是这种诱导对于人脸识别的爆发，却又是不可或缺的。 （二）社会需求：在我国，随着城镇化的进程加快，流动人口比例大大增加，面临的突发事件和异常事件越来越复杂。因此这也就给城市的安保工作，以及视频监控带来了更大的压力。传统依靠人工来“盯”的方式难免会因疲劳或精神不集中等原因影响监视效果，难以胜任对庞大数据库的分析与理解，从而影响事后查找证据，更难以满足时代的需求，于是，人们对于具有智能分析的视频监控应用的呼声越来越高。 二、人脸识别发展趋势 （一）与视频监控相结合：随着人脸识别技术的进一步发展，将人脸识别技术将实现与数字监控系统的进一步融合，将成为人脸识别技术的另外一大应用领域。据统计数据显示，仅在中国大陆，在未来三年内有望形成年销售额过百亿，并在未来十年内则有望形成年销售额过千亿的市场规模。（二）逐步取代指纹考勤：人脸识别考勤，通过对人脸一些独一无二的特征识别对验进行考
收稿日期：２０１５-０４-０３；修回日期：２０１５-０５-２６ 基金项目：国家自然科学基金资助项目（６１４６３０３４） 作者简介：何俊（１９６９-），男，江西东乡人，副教授，硕导，博士，主要研究方向为人机交互技术、模式识别等（ｂｏｘｈｅｊｕｎ＠ｔｏｍ．ｃｏｍ）；何忠文（１９８６-），男，江西九江人，硕士研究生，主要研究方向为人机交互技术、模式识别等；蔡建峰（１９９０-），男，河北人，硕士研究生，主要研究方向为人机交互；房灵芝（１９８８-），女，山东人，硕士研究生，主要研究方向为人机交互． 自发表情识别方法综述* 何 俊，何忠文，蔡建峰，房灵芝 （南昌大学信息工程学院，南昌３３００３１） 摘 要：介绍了目前自发表情识别研究的现状与发展水平，详细阐述了自发表情识别研究的内容和方法，以及自发表情识别研究的关键技术，旨在引起研究者对此新兴研究方向的关注与兴趣，从而积极参与对自发表情识别问题的研究，并推动与此相关问题的进展。关键词：表情识别；自发表情；特征提取 中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１-３６９５（２０１６）０１-００１２-０５ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１-３６９５．２０１６．０１．００３ Ｓｕｒｖｅｙｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ ＨｅＪｕｎ，ＨｅＺｈｏｎｇｗｅｎ，ＣａｉＪｉａｎｆｅｎｇ，ＦａｎｇＬｉｎｇｚｈｉ （Ｉｎｆｏｒｍａｔｉｏｎ＆ＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，ＮａｎｃｈａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｃｈａｎｇ３３００３１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｄｔｈｅａｃｔｕａｌｉｔｙａｎｄｔｈｅｄｅｖｅｌｏｐｉｎｇｌｅｖｅｌｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎａｔｔｈｅ ｐｒｅｓｅｎｔｔｉｍｅ，ａｎｄｐａｉｄｐａｒｔｉｃｕｌａｒａｔｔｅｎｔｉｏｎｔｏｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｙｏｎｔｈｅｒｅｓｅａｒｃｈｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｉｓｐａｐｅｒａｉｍｅｄｔｏａｒｏｕｓｅｒｅｓｅａｒｃｈｅｒｓ’ａｔｔｅｎｔｉｏｎａｎｄｉｎｔｅｒｅｓｔｓｉｎｔｏｔｈｉｓｎｅｗｆｉｅｌｄ，ｔｏｐａｒｔｉｃｉｐａｔｅｉｎｔｈｅｓｔｕｄｙｏｆｔｈｅｓｐｏｎｔａｎｅ-ｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｐｒｏｂｌｅｍｓａｃｔｉｖｅｌｙ，ａｎｄｔｏａｃｈｉｅｖｅｍｏｒｅｓｕｃｃｅｓｓｅｓｃｏｒｒｅｌａｔｅｄｔｏｔｈｉｓｐｒｏｂｌｅｍ．Ｋｅｙｗｏｒｄｓ：ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ；ｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ；ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ 表情识别被视为未来情感人机交互的重要技术［１］ ，吸引了国内众多高校和科研机构的参与和研究［２～６］。但目前国内 外研究中比较常用的表情数据库中的人脸表情大都固定为正面，任务仅限于识别Ｅｋｍａ提出的六种基本表情（愤怒、高兴、悲伤、惊讶、厌恶和恐惧）。这不仅与实际表情不相符，而且忽视了真实表情中特有的脸部肌肉形变与头部运动之间的时空相关性。谷歌申请的新一代表情识别专利，挤眉弄眼方可解锁手机；荷兰开发的诺达斯（Ｎｏｌｄｕｓ）面部表情分析系统是世界上第一个商业化开发的面部表情自动分析工具，用户使用该系统能够客观地评估个人的情绪变化，可以跟踪人的表情变化。但二者均要求测试者的头姿基本保持不动，实时连续头姿估计阻碍了其在手机等智能终端领域的应用。因此，面向实际应用的 非正面表情识别研究在国内外日益受到重视［７，８］ 。 近十几年来，开展自发表情识别研究的机构主要有美国的加利福尼亚大学、卡耐基梅隆大学机器人研究所、匹兹堡大学心理学系，伊利诺伊大学、沃森研究中心、贝克曼研究所、伦斯勒理工学院、麻省理工大学媒体实验室、丹佛大学、德克萨斯大学计算机视觉研究中心、新泽西技术学院、芬兰的奥卢大学计算机科学与工程系机器视觉组、荷兰的阿姆斯特丹大学信息学院、澳大利亚的昆士兰科技大学科学与工程学院、加拿大的麦吉尔大学、日本的庆应义塾大学、爱尔兰的爱尔兰国立大学计算机视觉和成像实验室，中国的清华大学和中国科学技术大学等已经有人做了大量工作。目前该领域比较重要的国际会议包括计算机视觉与模式识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ）、模式识别会议 （ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＩＣＰＲ）、人脸与姿态自动识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ，ＦＧＲ）。关于非正面表情识别的研究文章 逐年增多，但国内还只是刚开始涉足该领域的研究［９］ ，一些非 正面表情识别中的关键技术尚有待突破。但总的来说，对目前自发表情识别的研究和探索还处于初级阶段，对自发表情识别的研究还需要研究人员共同的努力。本文介绍了常用的自发表情数据库以及自发表情识别关键技术研究进展。 １ 自发表情数据库 １）ＵＳＴＣ-ＮＶＩＥ数据库 ＵＳＴＣ-ＮＶＩＥ（ｎａｔｕｒａｌｖｉｓｉｂｌｅａｎｄｉｎｆｒａｒｅｄｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓ） 数据库［１０］ 是由中国科学技术大学安徽省计算与通讯软件重点 实验室建立的一个大规模的视频诱发的集自发表情和人为表情的可见光和红外自发表情数据库。其中自发表情库由自发的表情序列和夸张帧组成，人为表情库仅由中性帧和夸张帧组成。该表情数据库包含年龄在１７～３１周岁的２１５名被试者的自发和人为的六种表情。 ２）ＶＡＭ数据库 ＶＡＭ数据库［１１］ 采用的是以参加电视访谈节目（ＴＶｔａｌｋ ｓｈｏｗ）的方式诱发的自发表情数据库，记录了节目中年龄在１６～６９周岁的６位男嘉宾和１４位女嘉宾总共２０位嘉宾的面部表情和语音信息。该数据集由８３４名评估者使用两种方式进行评估：ａ）采用Ｅｋｍａｎ的六种基本表情类别进行标注；ｂ） 第３３卷第１期２０１６年１月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３３Ｎｏ．１Ｊａｎ．２０１６
表情识别技术综述 摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。 关键词：表情识别；特征提取；表情分类。 前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。 正文：一、面部表情识别的国内外研究情况 面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。 进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。 国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。 二、面部表情特征的提取方法 表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。 目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。
人脸识别系统的原理与发展 一、引言 人脸识别系统以人脸识别技术为核心，是一项新兴的生物识别技术，是当今国际科技领域攻关的高精尖技术。它广泛采用区域特征分析算法，融合了计算机图像处理技术与生物统计学原理于一体，利用计算机图像处理技术从视频中提取人像特征点，利用生物统计学的原理进行分析建立数学模型，具有广阔的发展前景。2012年4月，铁路部门宣布车站安检区域将安装用于身份识别的高科技安检系统人脸识别系统；可以对人脸明暗侦测，自动调整动态曝光补偿，人脸追踪侦测，自动调整影像放大； 二、概述 人脸识别系统概述 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。生物特征识别技术所研究的生物特征包括脸、指纹、手掌纹、虹膜、视网膜、声音(语音)、体形、个人习惯(例如敲击键盘的力度和频率、签字)等，相应的识别技术就有人脸识别、指纹识别、掌纹识别、虹膜识别、视网膜识别、语音识别(用语音识别可以进行身份识别，也可以进行语音内容的识别，只有前者属于生物特征识别技术)、体形识别、键盘敲击识别、签字识别等。 人脸识别系统功能模块 人脸捕获与跟踪功能：人脸捕获是指在一幅图像或视频流的一帧中检测出人像并将人像从背景中分离出来，并自动地将其保存。人像跟踪是指利用人像捕获技术，当指定的人像在摄像头拍摄的范围内移动时自动地对其进行跟踪。 人脸识别比对：人脸识别分核实式和搜索式二种比对模式。核实式是对指将捕获得到的人像或是指定的人像与数据库中已登记的某一对像作比对核实确定其是否为同一人。搜索式的比对是指，从数据库中已登记的所有人像中搜索查找是否有指定的人像存在。 人脸的建模与检索：可以将登记入库的人像数据进行建模提取人脸的特征，并将其生成人脸模板(人脸特征文件)保存到数据库中。在进行人脸搜索时(搜索式)，将指定的人像进行建模，再将其与数据库中的所有人的模板相比对识别，最终将根据所比对的相似值列出最相似的人员列表。
龙源期刊网 https://www.doczj.com/doc/e37588953.html, 人脸识别技术综述 作者：唐勇 来源：《硅谷》2011年第09期 摘要：人脸识别是模式识别领域中一个具有实际应用价值和广阔应用前景的研究课题。 系统的对主流人脸识别算法进行综述，总结现阶段人脸识别研究的困难，并对未来人脸识别的发展方向进行展望。 关键词：人脸识别；光照补偿；人脸检测 中图分类号： TP316文献标识码：A文章编号：1671－7597（2011）0510029－01 0 引言 在信息技术飞速发展的今天，电子商务、电子银行、网络安全等应用领域急需高效的自动身份认证技术。当前，我国的各种管理系统大部分都使用证件、磁卡、IC卡和密码等传统技 术保障系统安全，在一定程度上无法避免伪造、丢失、窃取或遗忘，存在极大的安全隐患。基于人体生物特征的身份鉴别方法，如指纹识别、虹膜识别、人脸识别等利用生物特征的普遍性、唯一性、永久性、可接受性、防卫性进行身份识别可以避免上述已有的身份鉴别技术缺陷。 1 人脸识别常用算法 随着社会对人脸识别系统的迫切需求人脸识别研究再次成为热门课题。2008年我国在奥 运会的历史上是第一次采用人脸识别这种生物识别系统为之提供安全保障。目前常见的人脸识别基本算法可分为以下几类： 1.1 基于几何特征的人脸识别方法[2]。这类方法是通过人脸面部拓扑结构几何关系的先验知识，利用基于结构的方法在知识的层次上提取人脸面部主要器官特征，将人脸用一组几何特征矢量表示，识别归结为特征矢量之间的匹配。基于几何特征的识别方法具有存储量小、对光照不敏感等优点。但这种方法抽取稳定的特征比较困难，对强烈的表情变化和姿态变化鲁棒性较差，适合用于粗分类。 1.2 基于特征脸的人脸识别方法。特征脸法是人脸识别中常用的一种方法。该方法的主要是从人脸图像的全局特征出发，运用Karhunen Loeve变换理论，在原始人脸空间中求得一组正交向量，并以此构成新的人脸空间，使所有人脸的均方差最小，达到降维的目的。特征脸方法易受角度、光照、表情等干扰导致识别率下降。
基于深度学习的人脸识别技术综述 简介：人脸识别是计算机视觉研究领域的一个热点，同时人脸识别的研究领域非常广泛。因此，本技术综述限定于：一，在LFW数据集上（Labeled Faces in the Wild）获得优秀结果的方法; 二，是采用深度学习的方法。 前言 LFW数据集（Labeled Faces in the Wild）是目前用得最多的人脸图像数据库。该数据库共13，233幅图像，其中5749个人，其中1680人有两幅及以上的图像，4069人只有一幅图像。图像为250*250大小的JPEG格式。绝大多数为彩色图，少数为灰度图。该数据库采集的是自然条件下人脸图片，目的是提高自然条件下人脸识别的精度。该数据集有6中评价标准： 一，Unsupervised； 二，Image-restricted with no outside data； 三，Unrestricted with no outside data； 四，Image-restricted with label-free outside data； 五，Unrestricted with label-free outside data； 六，Unrestricted with labeled outside data。 目前，人工在该数据集上的准确率在0.9427~0.9920。在该数据集的第六种评价标准下（无限制，可以使用外部标注的数据），许多方法已经赶上（超过）人工识别精度，比
如face++,DeepID3，FaceNet等。 图一/表一：人类在LFW数据集上的识别精度
表二：第六种标准下，部分模型的识别准确率（详情参见lfw结果） 续上表
人脸识别技术发展及应用分析 人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机采集人脸图像，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术处理，包括人脸图像采集、人脸定位、人脸识别预处理、记忆存储和比对辨识，达到识别不同人身份的目的。 市场现状 人脸识别技术的研究始于20世纪60年代末期。 20世纪90年代后期以来，一些商业性的人脸识 别系统逐渐进入市场，但是，这些技术和系统离 实用化都有一定距离，性能和准确率也有待提高。 美国遭遇恐怖袭击后，这一技术引起了广泛关 注。作为非常容易隐蔽使用的识别技术，人脸识 别逐渐成为国际反恐和安全防范重要的手段之一。 近年来，人脸识别在中国市场，也经历着迅速的 发展，而且发展的脚步也越来越快。主要原因有以下两方面。 科技的进步 国际上，美国标准与技术研究院（NIST）举办的Face Recognition Vendor Test 2006，通过大规模的人脸数据测试表明，当今世界上人脸识别方法的识别 精度比2002年的FRVT2002至少提高了一个数量级（10倍），而对于高清晰，高质量人脸图像识别，机器的识别精度几乎达到100%。在我国，近年来科技界和社会各个方面都认识到人脸识别技术的重要性，国家政策对人脸识别技术研究给予了很大支持，使得我国人脸识别技术也得到了迅速的发展。 应用需求的增加 越来越趋向于高科技的犯罪手段使得人们对各种场合的安全机制要求也近乎 苛刻，各种应用需求不断涌现。人脸识别市场的快速发展一方面归功于生物识别需求的多元化，另一方面则是由于人脸识别技术的进步。从需求上来说，除了传统的考勤、门禁等应用外，视频监控环境下的身份识别正成为一种迫切的需求，
信息通信 INFORMATION & COMMUNICATIONS 2019年第6期（总第198期） 2019 (Sum. No 198) 浅谈基于深度学习的人脸识别技术 刘晓波 （中国联合网络通信有限公司湖北省分公司，湖北武汉430040） 摘要:互联网科技和大数据技术飞速发展的时代，日新月异的各种前沿技术，一再刷新人们的认知,人工智能（AI ）成为了 一 门最热门的行业应用能力。AI 技术不仅仅要够炫够酷，更要有足够的“温度"，让机器更加人性化。人脸识别技术（Face Recognition Technology, FRT ）是近年来模式识别、图像处理以及人工智能等领域的重要研究课题之文章重点对现有 的人脸检测识别方法以及应用领域关键技术进行总结，分析和比较当前主流识别方法优缺点，分享其中关键技术及发展 前景。 关键词:人脸识别;人工智能;深度学习；人脸检测；面部特征中图分类号:TP391.41 文献标识码:A 文章编号：1673-1131（2019）06-0018-03 0引言 随着社会对个人身份的自动验证需求的加深，一些技术 成熟且传统上被认为更加稳健的身份验证方案如指纹识别、 虹膜识别、语音识别等，都具有侵入性的特征，即需要参与者 的一定程度的合作（指纹识别需要用户将手指按在传感器上, 虹膜识别需要用户与相机靠得很近，语音识别则需要用户大 声说话），因此寻找一种更优且非侵入式的自动身份验证方案 成为了大势所趋。 人脸识别技术（Face Recognition Technology, FRT ）是基于 人的面部特征信息能够识别或验证图像或视频中主体身份的 技术生物识别技术。用图像釆集工具（如摄像机或摄像头）釆 集含有充分且足够的人面部特征的图像或视频流，并自动在 图像中检测和跟踪人脸，进而对检测到的人脸进行识别和验 证的一系列相关技术总成。 相比传统的身份验证方法，人脸识别技术具有非接触性 （不用肢体接触）、非强制性（路过即可，甚至无察觉）、可并发 性（可同时进行多个人脸的分拣、判断及识别）等优势。 直观的人脸识别如下图所示： * 2 z 5 n e s i e 图1人脸识别示例 简单来说就是通过输入一个自然人的面部特征，和自然 人面部特征库中的注册在库身份进行面部特征逐项比对，找 出一个与输入的面部特征相似度最高（需预设阀值，必须大于 阀值）的个体，以确定输入面部特征对应的身份。如没有找到 大于阀值的个体,则返回“unknown ”。 1传统的人脸识别 传统的人脸识别被当作模式识别/模式匹配问题。主流的 人脸识别技术基本上可以归结为三类，即:基于几何特征的方 法、基于模板的方法和基于模型的方法。 （1）基于几何特征的方法是最早投入实际应用的人脸识别 方法。该方法通过定位人面部主要器官的详细位置，如：眉、 眼、鼻、嘴、耳等，获取主要器官等重要面部特征的形状、相对 位置以及特征之间的距离等参数，利用参数构成一个可以代 表个体人脸的特征向量。 （2） 基于模板的方法可以分为神经网络方法、动态连接匹 配方法、线性判别分析方法、特征脸方法、基于相关匹配的方 法、奇异值分解方法等。 （3） 基于模型的方法则有基于主动外观模型、隐马尔柯夫 模型方法、主动形状模型等。 传统的人脸识别是人脸识别的初级阶段，重要成果不多, 人工依赖性较强，鲁棒性较差，基本没有实际应用。 随着大数据时代的到来，沉寂了许久的神经网络卷土重 来。作为人工智能时代的利器一深度学习逐渐走入人们的 视野。基于深度学习，人脸识别技术迅速发展。各种学习框 架如 Tensorflow 、Caffe >KerasMxnet >Darknet 等不断涌出。基 于深度学习的人脸识别一般被处理为回归/分类问题。一般流 图2人脸识别一般流程图 2人脸检测算法 人脸检测是人脸识别中的第一个环节，是一项关键技术。 人脸检测是指假设在输入图像中存在一个或者多个人脸情况 下，确定图像中全部人脸的位置、大小和姿势的过程。 图3人脸检测不意图 早期的人脸检测算法使用了模板匹配技术，即用一个人 脸模板图像与被检测图像中的各个位置进行匹配，确定这个 位置处是否有人脸,如果存在则定位人脸的位置、大小及主要 特征；此后机器学习被用于解决该问题，神经网络、支持向量 机等将人脸检测处理为二分类问题。如下图所示： 18