说 明 书
一种人脸比对方法
技术领域
本发明涉及生物特征识别技术领域，尤其涉及一种人脸比对的方法。
背景技术
人脸是人的重要信息，是区分不同的人的重要依据，因此人脸比对是较指纹、虹膜等技术更自然、更直接的比对方式。
人脸比对是将图像或视频输入的人脸通过提取特定的人脸特征信息，与数据库中已注册的人脸特征信息相比较，获得匹配的人脸极其相似度，确认是否与数据库中人脸为同一。
人脸比对在很多场合下都具有非常重要的作用，例如手机彩信中的视频彩信、人机界面、权限控制、智能监视系统等。比对的准确性、精度和鲁棒性问题一直是业界关心的主要问题。
另外，在人脸比对中，如果当前输入一张静态照片，其与数据库中已注册人脸相比对，也会得出匹配的结果，这将导致识别的客体并不是真实的人脸，导致无权限的人得到权限。因此，判断当前输入为真实的人的脸还是静态的照片非常重要，而现有技术还无法解决。
因此，业界急需一种能够确保输入真实、具有较高准确性与鲁棒性的人脸比对技术。
发明内容
为弥补现有技术的不足，本发明目的是提供一种人脸比对方法，解决人脸表情变化和姿态变化的影响，提高比对的准确性、精度和鲁棒性，保障比对的真实性。
为了实现上述目的，本发明的技术方案如下：
一种人脸比对方法，包含：人脸比对方法，其特征在于，包含：
步骤601，人脸跟踪，获取特征点；
步骤603，提取详细的人脸特征数据；
步骤605人脸比对，将该人脸特征数据与人脸数据库中的每一个人脸的特征数据进行比对，获得其相似性；具体方法为：
（1） 选取数据库中的一个人脸k 的特征模板库{}
j G G ρρ=，K k ,...,0=；
（2） 对特征模板G J G i j ρρρ∈=}'{，M j ,...,0=，计算输入人脸的特征i J ρ与i J 'ρ之间的相
似度S kji ；
（3） 计算输入人脸与特征模板j G ρ的相似度∑=i
kji kj S N S 1； （4） 计算输入人脸与人脸k 的相似度为{}kj j
k S S max =； （5） 重复步骤（1）-（4），获得输入人脸与数据库中所有K 个人脸的相似度，取其中最大者{}k k
S S max max =，得到其对应的人脸k ’； 其中，M 为人的特征模板个数，N 为选取的人的人脸特征点个数，i 为人脸特征。 步骤607，判断是否已找到匹配的人脸；δ为相似度阈值，若δ>max S ，则判断输入人脸与数据库中的人脸k ’ 相匹配；
步骤608，判断表情是否有显著变化；根据连续多帧人脸特征点进行分析，包括但不限于：嘴巴的张开与闭合，眼睛的张开与闭合，判断人脸的表情是否发生了显著的变化；
在人脸表情有显著变化时，执行步骤609，输出比中的人脸。
其中，该步骤603提取详细的人脸特征数据的具体方法为：
根据步骤601人脸检测跟踪得到的精确的人脸特征点位置，插值获得其他选取的人脸特征点的位置；
根据双眼位置对图像进行归一化处理；
计算得到人脸特征点i 的Gabor 特征i J 'ρ，所有特征点的Gabor 特征即组成一个人脸特
征数据{}
i j J G 'ρρ=，N i ,...,2,1=，N 为选取的人脸特征点个数。 其中，该人脸特征点为人脸上的显著特征点，人脸特征点的特征选取所有80个Gabor 复系数，表达完整的人脸信息，完整表达不同人脸之间的差异性。
其中，该步骤601人脸跟踪，获取特征点所选取的人脸特征为人脸的共同性的特征。 进一步的，该人脸比对方法还包含步骤604人脸注册；保存人脸特征数据至人脸数据库；具体方法为：
将步骤603获得的详细人脸特征数据加入此人的人脸特征模板库{}
j G G ρρ=，M j ,...,0=，M 为此人的特征模板个数，保存至数据库。
其中，该步骤601人脸跟踪，获取特征点的具体包含离线训练方法和在线跟踪方法； 该离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练方法； 该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练方法为该在线跟踪方法提供人脸特征点离线模板；
该多层结构人脸模型训练方法包含如下步骤：
步骤301，选取适当的人脸图像作为训练样本；
步骤302，对人脸图像的特征点进行标记；
步骤 3031-3061，得到基准形状模型；
步骤3032-3062，得到全局形状模型；
步骤3033-3063，得到局部形状模型。
其中，该基准形状模型、该全局形状模型与该局部形状模型的获得方法为：
用s 表示一个人脸形状向量：
Pb s s +=， 其中，s 为平均人脸形状；P 为一组正交的主形状变化模式；b 为形状参数向量； 人脸形状向量s 表示为T L G R s s s ),,(，其中R s 、G s 和L s 分别表示基准特征点、全局特征点和局部特征点； 刚性基准形状的点分布模型R R R R b P s s +=
全局基准形状的点分布模型G G G G b P s s +=
局部形状模型的点分布模型Li Gi Li Gi Li Gi Li Gi b P s s ,,,,+=
第i 个局部形状向量为},{,Li Gi Li Gi s s s =，其中Gi s ，Li s 分别表示属于第i 个局部形状的全局和局部特征点。
其中，该人脸特征点的表达方法为：
给定灰度图像)(x I ρ中的一个像素),(y x x =ρ，其附近的局部图像(')I x r 中的像素为
'(,)x x y =r ，一系列Gabor 系数)(x J j
ρ可表达该点附近的局部外观，定义为： ')'()'()(2x d x x x I x J j j ρρρρρ-=?ψ
其中Gabor 核j ψ为高斯包络函数限定的平面波，
??????--???? ??-=)2exp()exp(2exp )(222222σσσψx k i x k k x j j j j ρρρ
8,2,sin cos 22πμ?π??μμμ==???? ??=???? ??=+-v v v v jy jx j k k k k k k ρ
其中， v k 为频率，μ?为方向，j k 为特征小波矢量，jx k 为特征小波x 方向矢量，jy k 为
特征小波y 方向矢量，i 为复数算子，优选9,...,
1,0=v ， 7,...,1,0=μ，v j 8+=μ，1-=i ，且频率波宽设为πσ2=；
Gabor 核由10个频率、8个方向组成80个Gabor 复系数，用以表达像素点附近的外观
特征，用一个jet 向量{}j J J =ρ表示这些系数，)ex p(j j j i J φα=，79,...,1,0=j
其中，j α和j φ分别为第j 个Gabor 系数的幅值和相位；
对80个Gabor 复系数进行实验筛选，得到该人脸特征点表达所用的小波特征。
其中，该人脸特征点的离线模板训练方法如下：
步骤401，选取N 张适当的人脸图像作为训练样本；
步骤402，对人脸图像的特征点进行标记；
步骤403，对图像进行归一化处理；
步骤404，计算所有样本的Gabor 特征；
步骤405，获得各样本Gabor 特征之间的相似度； ∑∑--=j j
j j j j j j j k d J J S 22')'cos(')',(ααφφααφρρρρ 其中，J ρ和'J ρ
为Gabor 特征'j α和'j ?分别为Gabor 系数的幅值和相位，； d ρ为J ρ和'J ρ之间的相对位移；
???? ??ΦΦ???? ??ΓΓ-Γ-Γ?ΓΓ-ΓΓ=???? ??=y x xx xy yx yy yx xy yy xx y x d d J J d 1)',(ρρρ
如果0≠ΓΓ-ΓΓyx xy yy xx ，其中
∑-=Φj j j jx j j x k )'('φφαα，
∑=Γj jy jx j j xy k k 'αα， y Φ，xx Γ，yx Γ和yy Γ类似地进行定义；
对每个特征点，计算N 个Gabor 特征两两之间的相似度，当其相似度大于阈值S T 时即认为两者相似，S T 可通过实验选取，选取0.85；
步骤406，计算各样本Gabor 特征的相似特征数n ；
步骤407，选择n 最大的样本Gabor 特征；
步骤408，判断n 是否大于n T ；
若步骤408的判断结果为否，则执行步骤411，处理下一特征点，然后返回步骤404继续执行；
若步骤408的判断结果为是，则执行步骤409，将Gabor 特征加入离线模板；对每一个Gabor 特征，设有n i 个与其相似的Gabor 特征，将n i 值最大且大于阈值n T 的Gabor 特征加
入样本特征集{}
i J 'ρ，n T 也通过实验选取，选取n T =2； 步骤410，将该Gabor 特征从样本中删除，同时将与其相似度大于阈值S T ’的Gabor 特征从{}i J ρ中删除， S T ’大于S T ，选取0.9；
返回步骤405，对步骤405-409作迭代计算；对{}
i J ρ重复上述过程，直到选不出样本为止； 最终的样本特征集{}
i J 'ρ即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给该在线跟踪方法使用。
其中，该在线跟踪方法包含：
步骤501，初始化，初始化变量和参数设置，参数包含但不限于图像格式、分辨率、颜色空间，跟踪模式；
步骤502，输入一帧图像；
步骤503，图像归一化，将输入图像转换成标准尺寸的图像；
步骤504，判断是否重新检测；
若步骤504的判断结果为是，则执行步骤505，利用基准形状模型，基于ASM 形状约束，对齐基准特征点；
步骤506，利用全局形状模型，基于ASM 形状约束，对齐全局特征点；
步骤507，利用局部形状模型，基于ASM 形状约束，对齐局部特征点；
步骤508，更新在线特征模板，根据得到的脸部特征点的位置更新其小波特征作为该人脸的在线特征模板；
步骤515，估计人脸姿态，根据六个基础点的位置估计人脸的姿态；
返回步骤502循环执行在线跟踪方法步骤502至步骤508以及步骤515并执行步骤516，输出人脸特征点及人脸姿态信息；
若步骤504的判断结果若为否，则执行步骤509，基于在线特征模板更新眼角点； 然后执行步骤510，基于离线特征模板调整眼角点；
然后执行步骤511，更新其他特征点；
然后执行步骤512，根据前一帧的人脸姿态更新各形状模型的平均形状；
然后执行步骤513，基于形状约束更新全局特征点；
然后执行步骤514，基于形状约束更新局部特征点；
然后返回步骤508，继续执行在线跟踪方法步骤509至步骤514。
本发明的有益效果是：
1. 本发明选取人脸上的显著特征点作为比对依据，人脸特征点的特征从所有80个Gabor复系数中选取，表达了完整的人脸信息，使不同人脸之间的差异最大化，人脸比对的准确性和鲁棒性较好。
2. 使用本发明的人脸比对方法，消除了人脸表情、姿态的影响，在比对中判断出了人脸的真实性，使得跟踪和比对准确性、精度和鲁棒性更高。
3.使用本发明，能够判断当前输入为真实的人脸还是静态的照片。
附图说明
下面结合附图，通过对本发明的具体实施方式的详细描述，将使本发明的技术方案及其他有益效果显而易见。
图1为本发明人脸跟踪方法的组成框架图；
图2为本发明的人脸特征点示意图；
图3为本发明多层结构人脸模型训练方法的流程图；
图4为本发明人脸特征点的离线模板训练方法流程图；
图5为本发明人脸跟踪方法的流程图；
图6为本发明人脸比对方法的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。
本发明人脸比对方法主要包括两个部分，一是训练部分，即注册部分，一是比对部分。无论是训练部分，还是比对部分，都需先对人脸特征进行检测、跟踪，从而得到精确的人脸特征点的位置。
图1-图5示出了人脸检测跟踪、获取特征点的具体方法。下面详细说明：
图1表示了本发明跟踪方法的组成框架。本发明人脸跟踪方法包含离线训练方法102和在线跟踪方法101两部分。离线训练方法102包含：多层结构人脸模型训练方法1021和人脸特征点的离线模板训练方法1022；前者为在线跟踪方法101提供人脸模型103，后者为人脸跟踪方法101提供人脸特征点离线模板104。
图2为本发明人脸特征点示意图。图3为本发明多层结构人脸模型训练方法的流程图。下面结合图2与图3详细说明本发明多层结构人脸模型训练方法。
人的面部特征具有很大的相似性，这些特征点的相对运动表达了人脸表情和人脸姿态的变化。给定这些人脸的特征点，用人脸特征点集的统计关系表示人脸模型，即可以构建出一个点分布模型（PDM）来表达人脸的可能的形状变化。
本发明基于ASM的原理，从一系列人脸图像训练得到多层结构人脸模型。
多层结构人脸模型训练方法首先执行步骤301，选取适当的人脸图像作为训练样本。然后执行步骤302，对人脸图像的特征点进行标记。
然后执行步骤 3031-3061，得到基准形状模型。具体为：步骤3031，基于刚性基准点组成形状向量，来表示基准特征点的位置；然后执行步骤3041，根据Procrustes变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤3051，由PCA方法获得形状约束参数，步骤3061，得到基准形状模型。
执行步骤3032-3062，得到全局形状模型。具体为：步骤3032，基于全局基准点组成形状向量，来表示全局特征点的位置；然后执行步骤3042，根据Procrustes变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤3052，由PCA方法获得形状约束参数，步骤3062，得到全局形状模型。
执行步骤3033-3063，得到局部形状模型。具体为：步骤3033，基于局部基准点组成形状向量，来表示局部特征点的位置；然后执行步骤3043，根据Procrustes变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤3053，由PCA方法获得形状约束参数，步骤3063，得到局部形状模型。
步骤 3031-3061、步骤3032-3062和步骤3033-3063的计算方法具体为：
用向量s表示一个人脸形状：
Pb s s +=， （1） 其中，s 为平均人脸形状；P 为一组正交的主形状变化模式；b 为形状参数向量。 现有的ASM 方法通过迭代过程搜索人脸形状，迭代中所有的特征点位置同时更新，也就是说特征点之间的相互影响是简单的平行关系。鉴于人脸的复杂结构，以及表情丰富的特点，这种简单的平行机制并不足以描述特征点之间的相互关系。例如，假设眼角位置固定，则眼睛的开闭并不能影响口、鼻的特征点定位。
本发明将人脸特征点组织为多个层次，以更好地适应头部运动、表情变化等对特征点位置的不同影响，我们称为多层结构人脸模型。第一类为基准特征点，基本只受头部姿态的影响，如眼角、鼻端等。第二类为全局特征点，用来约束整个人脸的全局形状，包括基准特征点和其他关键点、如嘴角、眉端等。第三类为局部特征点，只用来约束人脸各组成部分如眼、嘴、眉的细部特征，位于其轮廓边界上，如上下嘴唇的轮廓点，上下眼睑等，主要受表情变化影响。基于此，本发明构建的多层结构人脸模型说明如下：
如上所述，人脸形状向量s 可表示为T L G R s s s ),,(，其中R s 、G s 和L s 分别表示基准特征点、全局特征点和局部特征点。基于此，人脸形状模型可分为刚性基准形状、全局基准形状、以及以下局部形状：左眉、右眉、左眼、右眼、鼻、嘴等。对于刚性基准形状和全局基准形状，其点分布模型（PDM ）可以从训练数据学习得到如下，
R R R R b P s s += （2） G G G G b P s s +=
（3） 对于局部形状模型，第i 个局部形状向量为},{,Li Gi Li Gi s s s =，其中Gi s ，Li s 分别表示属于第i 个局部形状的全局和局部特征点。亦有，
Li Gi Li Gi Li Gi Li Gi b P s s ,,,,+= （4）
以上（2）、（3）、（4）三式即构成了本发明的多层结构人脸模型。其中各参数均基于ASM 的原理通过训练得到。图2显示了本发明优选的一组特征点，其中所有的星形点201为基准特征点，所有的星形点201和空心原点202组成全局特征点，实心原点203为局部特征点。
图4为本发明人脸特征点的离线模板训练方法流程图。
人脸特征点的特征表达有很多种，如灰度特征、边缘特征、小波特征等等。本发明采用多尺度多方向Gabor 小波来建模特征点附近的局部外观，表达人脸特征点。基于Gabor 小波的特征表达具有人类视觉的心理物理基础，并且对于光照变化以及外观变化下的表情识别、人脸识别和特征点表示等都具有很好的鲁棒性。
本发明小波特征的计算方法为：
给定灰度图像)(x I ρ中的一个像素),(y x x =ρ，其附近的局部图像(')I x r 中的像素为
'(,)x x y =r ，一系列Gabor 系数)(x J j ρ可表达该点附近的局部外观，定义为： ')'()'()(2x d x x x I x J j j ρρρρρ-=?ψ （5）
其中Gabor 核
j ψ为高斯包络函数限定的平面波 ?????
?--???? ??-=)2exp()exp(2exp )(222222σσσψx k i x k k x j j j j ρρρ （6） 8,2,sin cos 22πμ?π??μμμ==???? ??=???? ??=+-v v v v jy jx j k k k k k k ρ
（7） 其中， v k 为频率，μ?为方向，j k 为特征小波矢量，jx k 为特征小波x 方向矢量，jy k 为
特征小波y 方向矢量，i 为复数算子，优选9,...,
1,0=v ， 7,...,1,0=μ，v j 8+=μ，1-=i ，且频率波宽设为πσ2=。
由此，本发明优选的Gabor 核由10个频率、8个方向组成80个Gabor 复系数，用以
表达像素点附近的外观特征。特别地，可用一个jet 向量{}j J J =ρ表示这些系数，可写成
)ex p(j j j i J φα=，79,...,1,0=j （8）
其中，j α和j φ分别为第j 个Gabor 系数的幅值和相位。
给定一幅图像，每个标记的人脸特征点都可以计算得到Gabor 小波的jet 向量，该jet 向量即表达了该点的特征。然而，针对每一个人脸特征点，并非所有80个Gabor 复系数均适合表达该特征。为使其能表达各种人脸的共同特征，须对80个Gabor 复系数进行实验筛选。以嘴角特征点为例，本发明优选的Gabor 复系数为：55,...,24=j 。
由此，优选出的即为本发明方法中所用的小波特征。
本发明人脸特征点的离线模板训练方法如下：
首先执行步骤401，选取N 张适当的人脸图像作为训练样本。
步骤402，对人脸图像的特征点进行标记。
步骤403，对图像进行归一化处理，以保证所有特征点的Gabor 特征的计算条件是相近
的，从而保证特征采样的精确性。根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为图像的横轴，双眼连线的中垂线作为纵轴，对图像进行旋转，同时对图像进行缩放以使双眼之间的距离（瞳距）达到一特定值。通过这种归一化处理后能保证Gabor 特征表达的精度和鲁棒性。
然后执行步骤404，计算所有样本的Gabor 特征。具体方法是：
将标记的特征点坐标转换至归一化图像中，对每个人脸特征点，根据式（5）-（8）计
算其Gabor 特征。则对每一个特征点而言，共得N 个Gabor 特征{}
i J ρ，N i ,...,0=。 然后，执行步骤405，获得各样本Gabor 特征之间的相似度；方法为：
假设Gabor 特征J ρ和'J ρ
，其相似度可由下式计算得到： ∑∑--=j j
j j j j j j j k d J J S 22')'cos(')',(ααφφααφρρρρ （9） 其中，d ρ为J ρ和'J ρ
之间的相对位移，可由下式求得
???? ??ΦΦ???? ??ΓΓ-Γ-Γ?ΓΓ-ΓΓ=???? ??=y x xx xy yx yy yx xy yy xx y x d d J J d 1)',(ρρρ （10）
如果0≠ΓΓ-ΓΓyx xy yy xx ，其中
∑-=Φj j j jx j j x k )'('φφαα，
∑=Γj jy jx j j xy k k 'αα， y Φ，xx Γ，yx Γ和yy Γ类似地进行定义。
对每个特征点，根据式（9）、（10）计算N 个Gabor 特征两两之间的相似度，当其相似度大于阈值S T 时即认为两者相似，S T 可通过实验选取，选取0.85。
然后执行步骤406，计算各样本Gabor 特征的相似特征数n 。
然后执行步骤407，选择n 最大的样本Gabor 特征。
然后执行步骤408，判断n 是否大于n T 。
若步骤408的判断结果为否，则执行步骤411，处理下一特征点。然后返回步骤404，继续执行本发明方法。
若步骤408的判断结果为是，则执行步骤409，将Gabor 特征加入离线模板。对每一个Gabor 特征，设有n i 个与其相似的Gabor 特征，将n i 值最大且大于阈值n T 的Gabor 特征加
入样本特征集{}
i J 'ρ，n T 也通过实验选取，选取n T =2。 然后执行步骤410，将该Gabor 特征从样本中删除，同时将与其相似度大于阈值S T ’的Gabor
人脸识别研究综述 摘要：论文首先介绍了人脸识别技术概念与发展历史，解释人脸识别技术的过程与优缺点；随后对近几年人脸识别技术的研究情况与一些经典的方法进行详细的阐述，最后提出人脸识别技术在生活中的应用与展望。 关键词：人脸识别研究现状应用与展望 一、概念 人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流。首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 二、发展历史 人脸识别的研究历史比较悠久。高尔顿(Galton)早在1888 年和1910 年就分别在《Nature》杂志发表了两篇关于利用人脸进行身份识别的文章，对人类自身的人脸识别能力进行了分析。但当时还不可能涉及到人脸的自动识别问题。最早的AFR1的研究论文见于1965 年陈（Chan）和布莱索（Bledsoe）在Panoramic Research Inc.发表的技术报告，至今已有四十年的历史。近年来，人脸识别研究得到了诸多研究人员的青睐，涌现出了诸多技术方法。 三、过程与优缺点 人脸的识别过程： (1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。 (2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。 (3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库
1．人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。 （2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。 （3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。 （4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。 （5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面： （1）模板匹配 主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较
人脸识别主要算法原理 主流的技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。 1. 基于几何特征的方法是最早、最传统的方法，通常需要和其他结合才能有比较好的效果； 2. 基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。 3. 基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。 1. 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。 采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。
可变形模板法可以视为几何特征方法的一种改进，其基本思想是:设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。 这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 2. 局部特征分析方法（Local Face Analysis） 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的基础。 3. 特征脸方法（Eigenface或PCA）
单样本人脸识别综述 南京杭空航天大学 ELSEVIER 摘要 当前人脸识别技术主要挑战之一在于样本收集的困难性。很少的样本意味着在收集样本时付出更少的劳动，在存储和处理它们是付出更少的代价。不幸的是，许多现有的人脸识别技术很大程度上依赖于训练样本集的规模和代表性，如果系统中仅有一个训练样本，则将会导致严重的性能下降甚至无法工作。这种情况称之为“单样本”问题，即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。由于训练集非常有限，这样的任务队当前大多数算法而言都是非常具有挑战性的。现有许多技术正试图解决该问题，本文的目的是对这些算法进行分类和评估，对较为突出的算法进行了描述和批判的分析。并讨论了诸如数据采集、小样本规模的影响、系统评估等一些相关问题，同时提出了一些未来研究中具有前景的方向。 关键词：人脸识别；单训练样本 1 引言 作为少数几个同时具有高精度和低干涉的生物特征方法，人脸识别技术在信息安全、法律事实和监控、智能车、访问控制等方面具有大量的潜在应用。因此，在过去20年中人脸识别技术已经受到了来自学术和工业方面的极大关注。近来，一些作者已经从不同方面调查和评估了现有的人脸识别技术。例如，Samal et al. [4] and Valentin et al. [5]分别对基于特征和基于神经网络的技术进行了调研。Yang等[6]评述了人脸识别技术，Pantic and Rothkrantz[7]对自动面部表达分析进行了调研，Daugman [3]指出了涉及人脸识别系统有效性的几个关键问题，而最近的综述应该是Zhao et al. [1],他对许多最新的技术进行了评论。 人脸识别的目的是从人脸图像的数据库中的静态图像或视频图像中识别或验证一个或多个人。许多研究工作集中在怎样提高识别系统的精度，然而，大部分研究工作似乎忽视了一个可能来源于人脸数据库的潜在问题，即可能由于样本采集的困难或由于系统存储空间的限制，数据库中可能对每一个人只存储了一副样本图像。在这种条件下，诸如特征脸（Eigenface）和Fisher人脸识别技术等传统方法将导致严重的性能下降甚至无法工作（详见第2节）。这个问题称之为单样本问题，即即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。由于其挑战性和现实应用的重要性，这个问题很快成为了人脸识别技术近年来的一个研究热点，许多专用技术被开发来解决该问题，例如合成虚拟样本，局部化单一训练图像，概率匹配和神经网络方法。 本文最主要的贡献是给出这些从单一人脸图像进行人脸识别的特定方法一个综合的、评论性的综述。我们相信这些工作是对参考文献[1–7]的一个有用的补充，这些文献中所考察的大多数技术没有考虑单样本问题。实际上，通过对这个问题更多的关注和技术的详细研究，我们希望这篇综述能够对这些技术的基本原则、相互联系、优缺点以及设计优化提供更多深刻的理解。对一些相关问题，如数据收集、小样本空间的影响以及系统评估等也进行了讨论。 接下来我们首先试图建立有关什么是单样本问题以及为什么、何时应道考虑这个问题的一个公共背景。特别的，我们也讨论了该问题所不需要考虑的方面。在第三节我们继续回顾有关该问题的前沿技术。借此，我们希望能够借鉴一些有用的经验来帮助我们更有效地解决这个问题。在第四节中，我们讨论了有关性能评估的几个问题。最后，在第五节中我们通过讨论几个具有前景的研究方向对单样本问题进行了总结。
人脸识别技术是生物识别技术的一种，它结合了图像处理、计算机图形学、模式识别、可视化技术、人体生理学、认知科学和心理学等多个研究领域。从二十世纪六十年代末至今，人脸识别算法技术的发展共经历了如下四个阶段： 1. 基于简单背景的人脸识别 这是人脸识别研究的初级阶段。通常利用人脸器官的局部特征来描述人脸。但由于人脸器官没有显著的边缘且易受到表情的影响，因此它仅限于正面人脸（变形较小）的识别。 2. 基于多姿态/表情的人脸识别 这是人脸识别研究的发展阶段。探索能够在一定程度上适应人脸的姿态和表情变化的识别方法，以满足人脸识别技术在实际应用中的客观需求。 3. 动态跟踪人脸识别 这是人脸识别研究的实用化阶段。通过采集视频序列来获得比静态图像更丰富的信息，达到较好的识别效果，同时适应更广阔的应用需求。 4. 三维人脸识别 为了获得更多的特征信息，直接利用二维人脸图像合成三维人脸模型进行识别，即将成为该领域的一个主要研究方向。 人脸识别技术的研究范围主要包括以下几个方面： 1. 人脸检测：在输入的图像中寻找人脸区域。 2. 人脸的规范化：校正人脸在尺度、光照和旋转等方面的变化。 3. 特征提取：从人脸图像中映射提取一组能反映人脸特征的数值表示样本。 4. 特征匹配：将待识别人脸与数据库中的已知人脸比较，得出相关信息。 人脸识别流程 1图像预处理 1.1 图像去噪 一般来说，自然界中的噪声可以看成是一种随机信号。根据图像获取的途径人脸图像获取 人脸检测 定位人脸区域 预处理 特征抽取 人脸特征 对比识别 结果 人脸特征库
不同，噪声的融入也有多种方式： 1. 图像是直接以数字形式获取的，那么图像数据的获取机制会不可避免地 引入噪声信号； 2. 在图像采集过程中，物体和采集装置的相对运动。或采集装置的抖动， 也会引入噪声，使图像变的模糊不清； 3. 在图像数据的电子传输过程中，也不同程度的引入噪声信号。 这些噪声信号的存在，严重的情况会直接导致整幅图像的不清晰，图象中的景物和背景的混乱。对于用于人脸识别的图像。由于噪声的引入，将不可避免地造成识别率的下降。对图像噪声的消除可以通过两个途径：空间域滤波或频率域滤波。消除噪声的方法很多，对于不同的噪声应该采用不同的除噪方法。主要的方法是：线性滤波、中值滤波、维纳滤波以及小波去噪等。 1.2 增强对比度 为了使人脸在图像中更为突出以便于下一步的特征提取，增强图像对比度是很有必要的。增强对比度有很多种方法，常见的有直方图均衡化和“S ”形变换等方法。 “S ”形变换方法将灰度值处于某一范围（人脸特征范围）内的像素灰度分布差距拉开，从而保证了对比度的提高，但此方法降低了其他灰度值的对比度。而直方图均衡化则是将像素的灰度分布尽量展开在所有可能的灰度取值上，这样的方法同样能使得图像的对比度提高。 将彩色图像转化成灰度图像是人脸识别方法中常见的处理过程，虽然转化过程丢失了一部分色彩信息，但是灰度图像拥有更小的存储空间和更快的计算速度。文献[1]给出了一种能够将RGB 色彩转换成灰度级且适于突出人脸区域对比度的转换模型：()5.0144.0587.0299.0,+?+?+?=b g r y x f ；其中f 代表灰度值，r ,g ,b 分别表示Red,Green,Blue 分量的值。 文献[2]通过将人脸彩色图像从RGB 色彩空间转换到RIQ 色彩空间，得到了更适于频谱分析的特征分量。
人脸识别技术的应用背景及研究现状 1．人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。 （2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。 （3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。 （4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。 （5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面：
人脸识别主要算法原理 主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。 1. 基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果； 2. 基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。 3. 基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。 1. 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧 面轮廓图是一种很有新意的方法。 采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。
可变形模板法可以视为几何特征方法的一种改进，其基本思想是: 设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。 这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 2. 局部特征分析方法（Local Face Analysis） 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的 基础。 3. 特征脸方法（Eigenface或PCA）
本科生毕业论文（设计） 题目人脸识别技术综述 学院计算机学院 专业计算机科学与技术 学生姓名陶健 学号 0643041077 年级 2006 指导教师周欣 教务处制表 二Ο年月日
人脸识别技术综述 计算机科学与技术 学生陶健老师周欣 [摘要]随着社会信息化，网络化得不断发展，个人身份趋于数字化，隐性化，如何准确的鉴定，确保信息安全得到越来越多的重视。人脸识别，一种应用比较广泛的生物识别方法，在基于人脸固有的生物特征信息，利用模式识别和图行图像处理技术来对个人身份进行鉴定，在国家安全，计算机交互，家庭娱乐等其他很多领域发挥着举足轻重的作用，能提高办事效率，防止社会犯罪等，有着重大的经济和社会意义。 本文主要研究了人脸识别在图像检测识别方面的一些常用的方法。由于图像处理的好坏直接影响着定位和识别的准确率，因此本文对图像的一些识别算法做了着重的介绍，例如基于二维Gabor小波矩阵表征人脸的识别算法，基于模型匹配人脸识别算法等。此外，本文还提及了一般人脸识别系统的设计，并着重介绍了图像预处理环节的光线补偿，图像灰度化等技术，使图像预处理模块在图像处理过程中能取到良好的作用，提高图像识别和定位的准确率。 [主题词]：人脸识别；特征提取；图像预处理；光线补偿
Face Recognition Overview Computer Science Student：TAO Jian Adviser: ZHOU Xin [Abstract] With the information society, network was growing, personal identity tends to digital, hidden, how to accurately identify, to ensure that information security is more and more attention. Face recognition, an application of biometric identification methods more widely, based on biometric facial information inherent in the use of pattern recognition and image processing techniques to map line of personal identity ,play a great role in the national security, computer interaction, family entertainment and many other areas. Face recognition can improve efficiency, prevent social crime, of course it has significant economic and social significance. This paper studies aspects of face recognition in image detection and some common methods of identification. As the image processing directly impact on the accuracy of location and identification, so some of image recognition algorithm will be focused presentation, such as Gabor wavelet-based two-dimensional matrix representation of face recognition algorithms, model-based matching face recognition algorithm. In addition, the article also mentioned a general recognition system design, and highlights the image preprocessing part of the light compensation, gray image techniques, the image preprocessing module in the image processing to get to the good , and improve image recognition and positioning accuracy. [Key Words] Face recognition; feature extraction; image preprocessing; light compensation
1、绪论 人脸识别是通过分析脸部器官的唯一形状和位置来进行身份鉴别。人脸识别是一种重要的生物特征识别技术，应用非常广泛。与其它身份识别方法相比，人脸识别具有直接、友好和方便等特点，因而，人脸识别问题的研究不仅有重要的应用价值，而且在模式识别中具有重要的理论意义，目前人脸识别已成为当前模式识别和人工智能领域的研究热点。本章将简单介绍几种人脸识别技术的研究方法。 关键词：人脸识别 2、人脸识别技术的主要研究方法 目前在国内和国外研究人脸识别的方法有很多，常用的方法有：基于几何特征的人脸识别方法、基于代数特征的人脸识别方法、基于连接机制的人脸识别方法以及基于三维数据的人脸识别方法。人脸识别流程图如图2．1所示： 图2．1人脸识别流程图 3、基于几何特征的人脸识别方法 基于特征的方法是一种自下而上的人脸检测方法，由于人眼可以将人脸在不此研究人员认为有一个潜在的假设：人脸或人脸的部件可能具有在各种条件下都不会改变的特征或属性，如形状、肤色、纹理、边缘信息等。基于特征的方法的目标就是寻找上述这些不变特征，并利用这些特征来定位入脸。这类方法在特定的环境下非常有效且检测速度较高，对人脸姿态、表情、旋转都不敏感。但是由于人脸部件的提取通常都借助于边缘算子，因此，这类方法对图像质量要求较高，对光照和背景等有较高的要求，因为光照、噪音、阴影都极有可能破坏人脸部件的边缘，从而影响算法的有效性。 模板匹配算法首先需要人TN作标准模板(固定模板)或将模板先行参数化(可变模板)，然后在检测人脸时，计算输入图像与模板之间的相关值，这个相关值通常都是独立计算脸部轮廓、眼睛、鼻子和嘴各自的匹配程度后得出的综合描述，最后再根据相关值和预先设定的阈值来确定图像中是否存在人脸。基于可变模板的人脸检测算法比固定模板算法检测效果要好很多，但是它仍不能有效地处理人脸尺度、姿态和形状等方面的变化。 基于外观形状的方法并不对输入图像进行复杂的预处理，也不需要人工的对人脸特征进行分析或是抽取模板，而是通过使用特定的方法(如主成分分析方法(PCA)、支持向量机(SVM)、神经网络方法(ANN)等)对大量的人脸和非人脸样本组成的训练集(一般为了保证训练得到的检测器精度，非人脸样本集的容量要为人脸样本集的两倍以上)进行学习，再将学习而成的模板或者说分类器用于人脸检测。因此，这也是j 种自下而上的方法。这种方法的优点是利用强大的机器学习算法快速稳定地实现了很好的检测结果，并且
主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。 1. 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。 采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。 可变形模板法可以视为几何特征方法的一种改进，其基本思想是:设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。 2. 局部特征分析方法（Local Face Analysis） 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临
近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的基础。 3. 特征脸方法（Eigenface或PCA） 特征脸方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有简单有效的特点, 也称为基于主成分分析(principal component analysis,简称PCA)的人脸识别方法。 特征子脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。 实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。 基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量，这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，而基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。
1 引言 在我们生存的这个地球上，居住着近65亿人。每个人的面孔都由额头、眉毛、眼睛、鼻子、嘴巴、双颊等少数几个区域组合而成，它们之间的大体位置关系也是固定的，并且每张脸的大小不过七八寸见方。然而，它们居然就形成了那么复杂的模式，即使是面容极其相似的双胞胎，其家人通常也能够非常容易地根据他们面孔上的细微差异将他们区分开来。这使得我们不得不承认这个世界上找不出两张完全相同的人脸!那么，区分如此众多的不同人脸的“特征”到底是什么?能否设计出具有与人类一样的人脸识别能力的自动机器?这种自动机 器的人脸识别能力是否能够超越人类自身?对这些问题的分析和解答无疑具有重要的理论 和应用价值，这正是众多从事自动人脸识别研究的研究人员所面临的挑战。 然而，对这些问题的回答并不像看起来那么容易。即使在大量来自模式识别、计算机视觉、神经计算、生理学等领域的研究人员对自动人脸识别艰苦工作40余年之后，这些最基本的科学问题仍然困惑着研究人员。而退一步讲，即使对我们自己，尽管我们每天都在根据面孔区分着亲人、同学、朋友、同事等，大多数人却很难准确地描述出自己到底是如何区分他们的，甚至描述不出自己熟悉的人有什么具体的特征。即使专门从事相关的生理学、心理学、神经科学研究的一些专家，也很难描述清楚人类人脸识别的生理学过程。这意味着基于仿生学的人脸识别研究路线在实践上是难以操作的。当然，飞机的翅膀并不需要像鸟儿的翅膀一样煽动，自动人脸识别的计算模型也未必需要模拟“人脑”。我们也许可以通过另外的途径，例如建立人脸识别的计算模型，这种计算模型可能是基于仿生神经网络的，也可能是纯粹基于统计的，或者是这二者之外的第三只眼睛，并通过构建实用的自动人脸识别系统来验证这些计算模型，从而找出对上述基本科学问题的解答。 本文首先给出了人脸识别的一个一般计算模型，然后简单回顾自动人脸识别的研究历史，接下来阐述人脸识别的研究现状并介绍几种主流的技术方法，简单介绍计算所人脸识别研究组的研究进展，最后对上述哲学层面的问题作了一些简单的探讨。 2 人脸识别发展历史
1.1 人脸识别的主要方法 目前，国内外人脸识别的方法很多，并且不断有新的研究成果出现。人脸识别的方法根据研究角度的不同，有不同的分类方法。根据输入图像中人脸的角度不同，可以分为正面，侧面，倾斜的人脸图像的识别；根据图像来源的不同，可分为静态和动态的人脸识别；根据输入图像的特点，又可分为灰度图像和彩色图像的人脸识别等等。本文重点研究基于正面的、静态的灰度图像的识别方法。 对于静态的人脸识别方法从总体上看可以分为三大类：一是基于统计的识别方法，主要包括特征脸(Eigenface)方法和隐马尔科夫模型(Hidden Markov Model 简称HMM)方法等；二是基于连接机制的识别方法，包括人工神经网路(Artifical Neural Network 简称ANN)方法和弹性图匹配(Elastic Bunch Graph Matching 简称EBGM)方法等；三是一些其他的综合方法及处理非二维灰度图像的方法。下面分别进行介绍。 1.1.1 基于特征脸的方法 特征脸方法[5]，又称为主成份分析法(Principal Component Analysis 简称PCA)，它是20 世纪90 年代初期由Turk 和Pentland 提出的，是一种经典的算法。它根据图像的统计特征进行正交变换(即K-L 变换)，以消除原有向量各个分量之间的相关性。变换得到对应特征值依次递减的特征向量，即特征脸。 特征脸方法的基本思想是将图像经过K-L 变换后由高维向量转换为低维向量，并形成低维线性向量空间，利用人脸投影到这个低维空间所得到的投影系数作为识别的特征矢量。这样，就产生了一个由“特征脸”矢量张成的子空间，称为“人脸子空间”或“特征子空间”，每一幅人脸图像向其投影都可以获得一组坐标系数，这组坐标系数表明了人脸在子空间中的位置，因此利用特征脸方法可以重建和识别人脸。 通过人脸向量向特征子空间作投影得到的向量称之为主分量或特征主分量。主分量特征
人脸识别技术的几个主要研究方向 1 引言 计算机人脸识别是指基于已知的人脸样本库,利用计算机分析图像和模式识别技术从静态或动态场景中,识别或验证一个或多个人脸。通常识别处理后可得到的基本信息包括人脸的位置、尺度和姿态信息。利用特征提取技术还可进一步抽取出更多的生物特征(如:种族、性别、年龄..) 。计算机人脸识别是目前一个非常活跃的研究课题，它可以广泛应用于保安系统、罪犯识别以及身份证明等重要场合。虽然人类对于人脸的识别能力很强，能够记住并辨识上千个不同的人脸，可是对于计算机则困难多了，其表现在：人脸表情丰富；人脸随年龄的增长而变化；发型、胡须、眼镜等装饰对人脸造成的影响；人脸所成图像受光照、成像角度以及成像距离等影响。 计算机人脸识别技术是近20年发展起来的，90年代更成为科研热点，仅从1990 年到1999年之间,EI 可检索到的相关文献多达数千篇，关于人脸识别的综述也屡屡可见[1] 。自动人脸识别系统包括两个主要技术环节首先是人脸检测和定位，然后是对人脸进行特征提取和识别（匹配）。本文着重介绍人脸识别技术的各类方法，通过对比指出各类方法的优缺点及今后的发展方向。 2 人脸检测和定位 人脸检测和定位即对于给定的一幅图像检测图像中是否有人脸,若有则确定其在图像中的位置,并从背景中分割出来。这是个极富挑战性的问题，因为人脸是非刚体，且人脸在图像中的大小和方向以及人的肤色和纹理等方面有很大的可变形。人脸检测问题主要有四种：（1）对于给定的一幅人脸图像，将其中的人脸定位并给出其位置；（2）在一幅混乱的单色场景图中检测出所有的人脸；（3）在彩色图像中检测（定位）所有人脸；（4）在某一视频序列中，检测和定位出所有人脸。文献[2]对人脸检测进行了较为详细的综述，指出常用的人脸检测方法有四种：（1）基于知识的方法；（2）基于人脸固定特征的方法；（3）基于模板匹配的方法；（4）基于外貌的方法（Appearance-based methods），在基于模板匹配的方法中所采用的是预先确定的模板，而在基于外貌的方法中其模板的选择是通过对一系列图像的学习而确定的。一般来说，基于外貌的方法依靠统计和学习技术来找出人脸和非人脸图像的相关特征。在该方法中有特征脸法、基于聚类的方法、神经网络方法和支持向量机的方法。CMU库是常用的人脸检测库，主要的算法评定指标为错误接受率（FAR）和错误拒绝率（ARR）。 3 人脸特征提取和识别 目前大部分研究主要是针对二维正面人脸图像，也有基于三维人脸模型的方法，还有一种所谓的混合系统的身份鉴定系统。 3.1 二维正面人脸识别 在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一化。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大
人脸识别技术的应用背景及研究现状 文件管理序列号：[K8UY-K9IO69-O6M243-OL889-F88688]
人脸识别技术的应用背景及研究现状1．人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面： （1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。 ??（2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。
?（3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。 （4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。 （5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，着名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Compute r Interface Institute，Microsoft Research,英国的Department of Engine ering in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面： （1）模板匹配 主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较多。但是由于人脸特征的变化很大，很难得到有效的模板来表示人脸的共性。变形模板在原理上与固定模板相同，但其中包含一些非固定的元素，一种方法是手工构造参数化的曲线和曲面以表征人脸中的某些非固定特征，如眼
文献综述 1 引言 在计算机视觉和模式识别领域，人脸识别技术（Face Recognition Technology，简称FRT）是极具挑战性的课题之一。近年来，随着相关技术的飞速发展和实际需求的日益增长，它已逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用，在诸如证件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用于司法领域，作为辅助手段，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡的身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景，它才越来越成为当前模式识别和人工智能领域的一个研究热点。 虽然人类能够毫不费力的识别出人脸及其表情，但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接，使用者也没有心理障碍。并且通过人脸的表情/姿态分析，还能获得其他识别系统难以获得的一些信息。 自动人脸识别可以表述为：对给定场景的静态或视频序列图像，利用人脸数据库验证、比对或指认校验场景中存在的人像，同时可以利用其他的间接信息，比如人种、年龄、性别、面部表情、语音等，以减小搜索范围提高识别效率。自上世纪90年代以来，人脸识别研究得到了长足发展，国内外许多知名的理工大学及TT公司都成立了专门的人脸识别研究组，相关的研究综述见文献[1-3]。 本文对近年来自动人脸识别研究进行了综述，分别从人脸识别涉及的理论，人脸检测与定位相关算法及人脸识别核心算法等方面进行了分类整理，并对具有典型意义的方法进行了较为详尽的分析对比。此外，本文还分析介绍了当前人脸识别的优势与困难。 2 人脸识别相关理论 图像是人们出生以来体验最丰富最重要的部分，图像可以以各种各样的形式出现，我们只有意识到不同种类图像的区别，才能更好的理解图像。要建立一套完整的人脸识别系统(Face Recognetion System，简称FRS)，必然要综合运用以下几大学科领域的知识： 2.1 数字图像处理技术 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机
人脸识别技术的主要研 究方法 The manuscript was revised on the evening of 2021
1、绪论 人脸识别是通过分析脸部器官的唯一形状和位置来进行身份鉴别。人脸识别是一种重要的生物特征识别技术，应用非常广泛。与其它身份识别方法相比，人脸识别具有直接、友好和方便等特点，因而，人脸识别问题的研究不仅有重要的应用价值，而且在模式识别中具有重要的理论意义，目前人脸识别已成为当前模式识别和人工智能领域的研究热点。本章将简单介绍几种人脸识别技术的研究方法。 关键词：人脸识别 2、人脸识别技术的主要研究方法 目前在国内和国外研究人脸识别的方法有很多，常用的方法有：基于几何特征的人脸识别方法、基于代数特征的人脸识别方法、基于连接机制的人脸识别方法以及基于三维数据的人脸识别方法。人脸识别流程图如图2．1所示： 图2．1人脸识别流程图 3、基于几何特征的人脸识别方法 基于特征的方法是一种自下而上的人脸检测方法，由于人眼可以将人脸在不此研究人员认为有一个潜在的假设：人脸或人脸的部件可能具有在各种条件下都不会改变的特征或属性，如形状、肤色、纹理、边缘信息等。基于特征的方法的目标就是寻找上述这些不变特征，并利用这些特征来定位入脸。这类方法在特定的环境下非常有效且检测速度较高，对人脸姿态、表情、旋转都不敏感。但是由于人脸部件的提取通常都借助于边缘算子，因此，这类方法对图像质量要求较高，对光照和背景等有较高的要求，因为光照、噪音、阴影都极有可能破坏人脸部件的边缘，从而影响算法的有效性。 模板匹配算法首先需要人TN作标准模板(固定模板)或将模板先行参数化(可变模板)，然后在检测人脸时，计算输入图像与模板之间的相关值，这个相关值通常都是独立计算脸部轮廓、眼睛、鼻子和嘴各自的匹配程度后得出的综合描述，最后再根据相关值和预先设定的阈值来确定图像中是否存在人脸。基于可变模板的人脸检测算法比固定模板算法检测效果要好很多，但是它仍不能有效地处理人脸尺度、姿态和形状等方面的变化。 基于外观形状的方法并不对输入图像进行复杂的预处理，也不需要人工的对人脸特征进行分析或是抽取模板，而是通过使用特定的方法(如主成分分析方法(PCA)、支持向量机(SVM)、神经网络方法(ANN)等)对大量的人脸和非人脸样本组成的训练集(一般为了保证训练得到的检测器精度，非人脸样本集的容量要为人脸样本集的两倍以上)进行学习，再将学习而成的模板或者说分类器用于人脸检测。因此，这也是j种自下而上的方法。这种方法的优点是利用强大的机器学习算法快速稳定地实现了很好的检测结果，并且该方法在复杂背景下，多姿态的人脸图像中也能得到有效的检测结果。但是这种方法通常需要遍历整个图片才能得到检测结果，并且在训练过程中需要大量的人脸与非人脸样本，以及较长的训练时间。近几年来，针对该方法的人脸检测研究相对比较活跃。 4、基于代数特征的人脸识别方法