嵌入式多模态生物特征识别系统设计
本文主要针对嵌入式多模态生物特征识别系统设计进行重点探讨和分析，以此能够更好地体现出基于生物特征的身份鉴定技术。
标签：多模态；嵌入式系统；生物特征识别
所谓的生物识别技术就是指通过对多个高科技手段技术的有效应用，即计算机与光学、声学、生物传感器及生物统计学原理等，借助人体本身所具有的生理特征，来对个人身份进行鉴定。
一、嵌入式生物特征识别系统的总体设计
（一）嵌入式系统概述
随着近几年我国社会经济的不断发展，计算机和网络的应用越发广泛。而其中所包含的各种嵌入式系统设备在应用数量上明显超过通用计算机，使得任何人在日常生活和工作中都能够拥有嵌入式技术的相关电子产品，如MP3、PDA等。
（二）嵌入式系统的特点
（1）嵌入式系统通常是面向特点而应用的。其中，CPU与通用型存在明显的差异，也就是嵌入式系统具有低功耗、体积小以及集成度高的特点，能够按照要求将通用CPU中由板卡所完成的任务集成在芯片内部，進而使得嵌入系统在设计上更加小型化。（2）嵌入式系统是将先进的计算机技术、半导体技术和电子技术与各个行业中的实际应用结合后的产物。（3）嵌入式系统的相关硬件和软件设备在设计上具有高效率，促使其在实际应用中所选择的处理器具有一定的竞争力。
（三）嵌入式系统的选型
1.嵌入式芯片的选择
众所周知，嵌入式系统的核心就是处理器。在传统嵌入式处理器中，主要是根据具体应用而分为两类，分别是以单片机为主的微处理器和注重数字化后的各种快速算法的数字信号处理器DSP。对于单片机为主的微处理器，在此类芯片产品中，只有8/16位的单片机，具体指Intel的80C51等。该单片机在特征上具有体积小、指令系统简单以及抗感染能力强等。而后者主要应用在大量数据计算的领域中。
2.嵌入式操作系统的选型
近几年我国社会经济的不断发展，推动了嵌入式技术水平的提升。而对实际
生物识别技术主要是指通过人类生物特征进行身份认证的一种技术，这里的生物特征通常具有唯一的(与他人不同)、可以测量或可自动识别和验证、遗传性或终身不变等特点。所谓生物识别的核心在于如何获取这些生物特征，并将之转换为数字信息，存储于计算机中，利用可靠的匹配算法来完成验证与识别个人身份的过程。 方法/步骤 1.指纹识别 指纹是指人的手指末端正面皮肤上凸凹不平产生的纹线。纹线有规律的排列形成不同的纹型。纹线的起点、终点、结合点和分叉点，称为指纹的细节特征点。指纹识别即指通过比较不同指纹的细节特征点来进行鉴别。由于每个人的指纹不同，就是同一人的十指之间，指纹也有明显区别，因此指纹可用于身份鉴定。 指纹识别技术是目前最成熟且价格便宜的生物特征识别技术。目前来说指纹识别的技术应用最为广泛，我们不仅在门禁、考勤系统中可以看到指纹识别技术的身影，市场上有了更多指纹识别的应用：如笔记本电脑、手机、汽车、银行支付都可应用指纹识别的技术。 2.静脉识别 静脉识别系统就是首先通过静脉识别仪取得个人静脉分布图，从静脉分布图依据专用比对算法提取特征值，通过红外线CMOS摄像头获取手指静脉、手掌静脉、手背静脉的图像，将静脉的数字图像存贮在计算机系统中，将特征值存储。静脉比对时，实时采取静脉图，提取特征值，运用先进的滤波、图像二值化、细化手段对数字图像提取特征，同存储在主机中静脉特征值比对，采用复杂的匹配算法对静脉特征进行匹配，从而对个人进行身份鉴定，确认身份。全过程采用非接触式。 3.虹膜识别 虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的圆环状区域，在红外光下呈现出丰富的纹理信息，如斑点、条纹、细丝、冠状、隐窝等细节特征。虹膜从婴儿胚胎期的第3个月起开始发育，到第8个月虹膜的主要纹理结构已经成形。除非经历危及眼睛的外科手术，此后几乎终生不变。 虹膜识别通过对比虹膜图像特征之间的相似性来确定人们的身份，其核心是使用模式识别、图像处理等方法对人眼睛的虹膜特征进行描述和匹配，从而实现自动的个人身份认证。英国国家物理实验室的测试结果表明：虹膜识别是各种生物特征识别方法中错误率最低的。从普通家庭门禁、单位考勤到银行保险柜、金融交易确认，应用后都可有效简化通行验证手续、确保安全。如果手机加载“虹膜识别”，即使丢失也不用担心信息泄露。机场通关安检中采用虹膜识别技术，将缩短通关时间，提高安全等级。 4.视网膜识别 视网膜是眼睛底部的血液细胞层。视网膜扫描是采用低密度的红外线去捕捉视网膜的独特特征，血液细胞的唯一模式就因此被捕捉下来。视网膜识别的优点就在于它是一种极其固定的生物特征，因为它是“隐藏”的，故而不可能受到磨损，老化等影响;使用者也无需和设备进行直接的接触;同时它是一个最难欺骗的系统，因为视网膜是不可见的，故而不会被伪造。另一方面，视网膜识别也有一些不完善的，如：视网膜技术可能会给使用者带来健康的损坏，这需要进一步的研究;设备投入较为昂贵，识别过程的要求也高，因此角膜扫描识别在普遍推广应用上具有一定的难度。 5.面部识别 面部识别是根据人的面部特征来进行身份识别的技术，包括标准视频识别和热成像技术两种。 标准视频识别是透过普通摄像头记录下被拍摄者眼睛、鼻子、嘴的形状及相对位置等面部特征，然后将其转换成数字信号，再利用计算机进行身份识别。视频面部识别是一种常见
Alejandro Jaimes, Nicu Sebe, Multimodal human–computer interaction: A survey, Computer Vision and Image Understanding, 2007. 多模态人机交互综述 摘要：本文总结了多模态人机交互(MMHCI, Multi-Modal Human-Computer Interaction)的主要方法，从计算机视觉角度给出了领域的全貌。我们尤其将重点放在身体、手势、视线和情感交互(人脸表情识别和语音中的情感)方面，讨论了用户和任务建模及多模态融合(multimodal fusion)，并指出了多模态人机交互研究的挑战、热点课题和兴起的应用(highlighting challenges, open issues, and emerging applications)。 1. 引言 多模态人机交互(MMHCI)位于包括计算机视觉、心理学、人工智能等多个研究领域的交叉点，我们研究MMHCI是要使得计算机技术对人类更具可用性(Usable)，这总是需要至少理解三个方面：与计算机交互的用户、系统(计算机技术及其可用性)和用户与系统间的交互。考虑这些方面，可以明显看出MMHCI 是一个多学科课题，因为交互系统设计者应该具有一系列相关知识：心理学和认知科学来理解用户的感知、认知及问题求解能力(perceptual, cognitive, and problem solving skills)；社会学来理解更宽广的交互上下文；工效学(ergonomics)来理解用户的物理能力；图形设计来生成有效的界面展现；计算机科学和工程来建立必需的技术；等等。 MMHCI的多学科特性促使我们对此进行总结。我们不是将重点只放在MMHCI的计算机视觉技术方面，而是给出了这个领域的全貌，从计算机视觉角度I讨论了MMHCI中的主要方法和课题。 1.1. 动机 在人与人通信中本质上要解释语音和视觉信号的混合。很多领域的研究者认识到了这点，并在单一模态技术unimodal techniques(语音和音频处理及计算机视觉等)和硬件技术hardware technologies (廉价的摄像机和其它类型传感器)的研究方面取得了进步，这使得MMHCI方面的研究已经有了重要进展。与传统HCI应用(单个用户面对计算机并利用鼠标或键盘与之交互)不同，在新的应用(如：智能家居[105]、远程协作、艺术等)中，交互并非总是显式指令(explicit commands)，且经常包含多个用户。部分原因式在过去的几年中计算机处理器速度、记忆和存储能力得到了显著进步，并与很多使普适计算ubiquitous computing [185,67,66]成为现实的新颖输入和输出设备的有效性相匹配，设备包括电话(phones)、嵌入式系统(embedded systems)、个人数字助理(PDA)、笔记本电脑(laptops)、屏幕墙(wall size displays)，等等，大量计算具有不同计算能量和输入输出能力的设备可用意味着计算的未来将包含交互的新途径，一些方法包括手势(gestures)[136]、语音(speech)[143]、触觉(haptics)[9]、眨眼(eye blinks)[58]和其它方法，例如：手套设备(Glove mounted devices)[19] 和and可抓握用户界面(graspable user interfaces)[48]及有形用户界面(Tangible User interface)现在似乎趋向成熟(ripe for exploration)，具有触觉反馈、视线跟踪和眨眼检测[69]的点设备(Pointing devices)现也已出现。然而，恰如在人与人通讯中一样，当以组合方式使用不同输入设备时，情感通讯(effective communication)就会发生。
生物识别技术所依据的技术原理 生物识别技术使用身份验证原理来识别个人，而不是依靠某个物品（例如钥匙）或者知道的信息（例如密码）。生物识别技术可以使用物理特征，例如脸形、指纹、虹膜或静脉；也可以使用行为特征，例如语音、笔迹或打字的节奏。与钥匙和密码不同，个人特征基本上不会丢失或遗忘，并且非常难以复制。因此，许多人认为生物识别技术比密钥或密码更加安全可靠。 生物识别技术和取证技术—生物识别技术与取证技术在许多方面存在共性，但它们并不完全相同。生物识别技术使用物理特征或行为特征来确定身份，或者确认您申明的身份。而取证技术则是在民事或刑事侦察中使用相同类型的信息来建立事实依据。 生物识别技术使用独一无二的特征（例如眼睛虹膜）识别个人 生物识别系统看起来非常复杂，但它们都会涉及以下三个步骤： 登记：当首次使用生物识别系统时，该系统将会记录有关人员的基本信息，例如姓名或身份证号码。然后将会捕获影像，或者记录具体特征。 存储：与电影中看到的相反，大多数系统并不存储完整的影像或记录，而是分析特征，然后将其转换成代码或图形。某些系统还能将这些数据记录在可随身携带的智能卡上。 比较：当下一次使用该系统时，它会将现有特征与文件中的信息进行比较，然后根据比较结果接受或拒绝身份申明。 这些系统均使用相同的三个组件： 传感器：检测用于识别的特征 计算机：读取和存储信息 软件：分析特征，将特征转换成图形或代码，并执行具体的比较
越来越多的家庭使用了生物识别安全系统（下图为IBM ThinkPad T43提供的指纹扫描仪） 笔迹 使用笔迹来识别用户似乎是不太可取的办法。毕竟许多人在经过一段时间的练习后，都可以模仿他人的笔迹。而且获得某人的签名或所需密码，然后进行模仿，也不是一件难事。但是，生物识别系统检测的不仅仅是每个字母的形状，它们还会分析书写动作。这些系统会核对您在书写时使用的压力、速度和节奏，并且还会记录笔画顺序。 这部平板电脑配有签名验证系统。 虽然字母只有简单的外形，但这些笔画特征非常难以模仿。即使其他人获得了一份签名并进行临摹，系统也不一定会接受其仿冒笔迹。有些笔迹识别系统的传感器包含一个触敏书写表面；或者包含一支扫描笔，该笔内部装有传感器，可以检测角度、压力和方向。软件能够将笔迹转换成图形，并且可以识别某个人在一段时间内，每日书写的细微变化。 确定精度—所有生物识别系统都使用了人体特征，而这些特征在某种程度上是独一无二的。哪种系统才是最好的系统，这取决于所需的安全级别、使用该系统的人数多少以及该系统的精度。大多数制造商使用类似于下面的度量值来描述其产品精度：
视觉诗40-Love多模态意义的构建 摘要：视觉诗有一般诗歌所没有的视觉效果，传统的单模态分析方法不能照顾这一特点，多模态话语分析理论为可视诗研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。本文在此基础上，以系统功能语言学和多模态话语分析为理论框架，对Roger McGough的可视诗40-Love进行模态分解、单模态意义构建、多模态意义整合的尝试性研究。 关键词：多模态化；模态分解；单模态意义构建；多模态意义整合；视觉诗 1 引言 董崇选指出真正以“形”取胜的诗可以统称为“视觉诗”( visual poetry) 。它自诞生以来一直都是诗坛争议最多的一种诗歌形式，有人批评它不够严肃。针对于此，张旭红认为一种诗歌形式的成功与否不仅在于诗人的创作技巧，更在于读者的解读技能。传统的分析模式局限于单一的言语信息，忽视构成可视诗歌这一特殊文学形式的其他符号系统的分析，因而无法充分地诠释创作者的创作意图。而兴起于20世纪90年代的多模态话语分析理论为视觉诗的研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。但目前国内外在该项研究中都刚刚起步，现有的研究主要集中在影视、多媒体、海报、视觉广告功能文体分析及口语的研究上，其中张旭红采用该理论对视觉诗歌Me up at does 作了大胆的尝试，并取得了成功。针对于此，本文以40-Love为例，并借鉴张先生研究模式尝试对其进行多模态的文体分析。 2 多模态话语分析综述 模态(modality)是指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统(朱永生2007)。多模态(multimodal)是指除了文本之外，还带有
融合语音信号和脑电信号的多模态情感识别情感识别是实现机器智能化的关键技术之一,它通过对人类情感 的研究与分析,可以使机器理解人类情感并按照人类意愿完成相关指令。在众多的情感信号中,语音信号是最直接且最有利的表达方式, 而脑电信号可靠性强且采集方便简单,二者对于情感识别相辅相成。 本文结合语音信号和脑电信号构造了多模态情感识别系统,分析了语 音信号和脑电信号与情感之间的关系,提取了二者表征情感差异度的 有效情感信息,采用特征融合和决策融合技术构建了多模态情感识别 系统,并通过对比实验验证了多模态情感识别系统的可靠性和鲁棒性。论文研究内容及创新点如下:(1)详细介绍了语音情感识别系统的构成。根据语音信号的语速、音调、自然度、清晰度等基本特性提取了语音信号的传统特征;从语音信号的属性特性和几何结构两方面分析 并提取了表征情感信息的非线性特征;选取TYUT2.0为语音情感数据库,采用支持向量机(Support Vector Machine,SVM)进行情感判别, 实验结果证明,以语音信号为载体的情感识别系统可以有效的实现情 感分类。(2)提取了新的情感脑电特征并构造出有效情感特征子集。 针对脑电信号的非线性特性,利用相空间重构技术通过对相空间中几 何结构的分析提取了新的情感脑电特征,即脑电信号的非线性几何特征。通过特征融合方法将其与功率谱熵以及非线性属性特征进行融合,获得了脑电信号能表征情感差异度的有效情感特征集合。利用SVM进行情感分类,结果表明,本文提取的非线性几何特征可以有效地弥补 非线性属性特征对脑电信号非线性特性表征上的不足,结合功率谱熵
构造的情感特征集合能更好的描述情感之间的差异性。(3)通过特征融合技术构造了多模态情感识别系统。针对语音信号和脑电信号提取的情感特征,本文采用三种不同的特征融合的方法(限制玻尔兹曼机、局部线性嵌入算法、多维尺度变换算法)构造了多模态情感识别系统,在降低计算复杂度的同时去除了二者特征之间的冗余信息。通过与单种情感信号的情感识别系统性能对比,结果表明,特征融合方法构建 的多模态情感识别系统情感识别性能更优。(4)提出二次决策融合算法,构建了多模态情感识别系统。鉴于语音信号和脑电信号情感特征提取类型的相似性,本文提出了二次决策融合算法,构建了多模态情 感识别系统。将两种情感信号的同类型特征(基本特征、非线性属性和非线性几何特征)分别结合并采用不同的分类器进行情感识别;利 用DS证据理论将非线性属性和非线性几何特征识别结果进行融合获得非线性综合特征识别结果;通过投票法将基本特征与非线性综合特征情感识别结果融合得到最终的多模态情感识别结果,实验结果证明,二次决策融合算法构建的多模态情感识别系统相比单模态情感识别 系统识别率更高。
龙源期刊网 https://www.doczj.com/doc/452225766.html, 多模态话语分析理论在新媒介时代的应用 作者：李妙晴 来源：《学理论·下》2009年第06期 摘要:20世纪90年代西方兴起的多模态话语分析,逐渐成为语言学研究的新热点之一。通 过回顾其在国外和国内的发展历史,重点解释了多模态话语与社会符号学的关系,并展望未来发展方向。 关键词:多模态话语分析;新媒介时代;社会符号学 中图分类号:H04文献标志码:A 文章编号:1002—2589(2009)14—0204—02 一、多模态话语分析理论 朱永生(2007),只使用一种模态的话语叫做“单模态话语”;同时使用两种或两种以上模态的话语叫做“多模态话语”。新媒介时代,语篇呈多模态化,20世纪90年代西方兴起的多模态话语分析(multimodal discourse analysis)为由多种符号组成的语篇分析提供了途径,帮助读者了解不同模态作为社会符号,如何共同作用构成意义,达到意义潜势,对提高人们多模式话语识读,具有积极的意义。多模态话语分析属于社会符号学的分支,Halliday的系统语言学作为基础,具有跨学科、应 用性强特点,能运用在语音文字、建筑、城市设计及规划、影视戏剧、音乐、PPT、教学和数据库广告、网站页面设计、大型演出及舞台表演、排版、音乐、教科书设计、教学等多领域,与 传媒学、批评话语分析等有紧密联系,已经影响了当今很多学科的研究方向,如阅读写作能力教育、传媒话语分析、文化研究等,对社会的经济能起直接的指导作用。该理论无论在国外还是 在国内都处于起步阶段,在国外已经有出版书目和召开国际会议,李战子(2003)首次引入了多模 态分析理论。 朱永生(2007),几个关键字的概念,模式(mode)、媒介(medium)与模态(modality)。模式指系 统功能语言学与话语范围(field)和话语基调(tenor)并列的语境三要素之一的话语模式,指交流渠道,如口头、书面、电子等。模态(modality)原指语言系统中讲话者对事物的或然性进行判断和事物的必要性表明态度的语义系统情态;这里指交流的渠道和媒介,包括语言、技术、图象、颜色、音乐等符号系统。媒介是表达信息的物理工具。采用某一种媒体仍可以有不同模式表达信息,同样的模式可以用不同媒体表达。 二、研究现状 辛志英(2008)大致有:社会符号学流派,包括O’Toole、Kress、Leeuwen、Lemke、 O’Halloran、Baldry Thibault和Ventola等;交互社会学流派,包括Scollon、Norris及Jewitt等;认知学流派,主要有Forceville和Holsanova等人。
ISSN 100020054CN 1122223 N 清华大学学报(自然科学版)J T singhua U niv (Sci &Tech ),2008年第48卷第S 1期 2008,V o l .48,N o .S 119 27 7152719 自适应权重的双模态情感识别 黄力行, 辛 乐, 赵礼悦, 陶建华 (中国科学院自动化所,模式识别国家重点实验室,北京100080) 收稿日期:2007209210 基金项目:国家自然科学基金资助项目(60575032); 国家“八六三”高技术项目(2006AA 01Z 138) 作者简介:黄力行(1984—),男(汉),江西,硕士研究生。通讯联系人:陶建华,副研究员,E 2m ail :jh tao @nlp r .ia .ac .cn 摘 要:情感识别是人机交互领域的重要问题之一。语音和脸部肌肉动作信息是用于情感识别的2个最重要的模态。该文认为,在双模态情感识别中,给不同的特征赋予不同的权值有利于充分利用双模态信息,提出了一种基于 Boo sting 算法的双模态信息融合方法,它能够自适应地调整语音和人脸动作特征参数的权重,从而达到更好的识 别效果。实验表明,该方法能够更好地区分易混淆的情感状态,情感识别率达84%以上。关键词:双模态情感识别;Boo sting 算法;自适应权重中图分类号:T P 3 文献标识码:A 文章编号:100020054(2008)S 120715205 B i m oda l em otion recogn ition ba sed on adaptive we ights HUANG L ixing ,XI N Le ,ZHAO L iyue ,TAO J ia nhua (Na tiona l Labora tory of Pa ttern Recogn ition ,I n stitute of Auto mation , Ch i nese Acade m y of Sc iences ,Be ij i ng 100080,Ch i na ) Abstract :Emo ti on recogn iti on is one of the mo st i m po rtant issues in hum an 2computer in teracti on s (HC I ).T h is paper describes a bi m odal emo ti on recogniti on app roach using a boo sting 2based fram ewo rk to au tom atically deter m ine the adap tive w eigh ts fo r audi o and visual featu res .T he system dynam ically balances the i m po rtance of the audi o and visual features at the feature level to ob tain better perfo rm ance .T he track ing accu racy of the facial featu re po ints is based on the traditi onal KL T algo rithm in tegrated w ith the po int distribu ti on model (PDM )to gu ide analysis of the defo r m ati on of facial features .Experi m ents show the validity and effectiveness of the m ethod,w ith a recogniti on rate over 84%. Key words :b i m odal emo ti on recogniti on;boo sting;adap tive w eigh ts 近年来,情感识别的研究工作[1-9] 在人机交互领域中已经成为一个热点。过去很多的工作都是集 中在如何通过单模态的信息[5,10-13] ,如语音或者人脸表情,得到当前对象的情感状态。仅仅通过单模态信息来识别情感有很多的局限性,因为人类是通过多模态的方式表达情感信息的。最近,基于多模态,尤其是基于语音和人脸表情双模态的情感识别技术得到了很大的发展。 目前,融合多模态信息的方法主要有2种:决策层的融合和特征层的融合。决策层的融合技术是先把各个模态的信息提取出来,输入相应的分类器得到单模态识别结果,然后用规则的方法将单模态的结果综合起来,得到最终的识别结果;特征层的融合方法则是将各个模态的信息提取出来,将这些信 息组成一个统一的特征向量,然后再输入到分类器中,得到最终的识别结果。这2种方法各有优缺点。决策层的融合技术考虑了不同模态对于情感识别重要性的不同,如文[6]认为,在识别不同情感的时候,语音和人脸表情的重要性不同,因此他们通过主观感知实验给语音和人脸表情信息赋予不同的权重。但是这种通过主观感知实验得到的权重能否应用到其他的情况下是值得怀疑的。特征层的融合技术更接近人类识别情感的过程,能更好地利用统计
生物特征识别技术的发展趋势 随着信息社会对个人身份认证与管理需求的不断增长，生物特征识别技术及其相关产品已经大量地进入到了社会生活的各个方面，为不断提高人类生活的品质做出了贡献。但是，生物特征识别技术在实际的应用过程中也出现了一些问题，同时，人们针对目前已经得到广泛应用的一些生物特征识别技术也提出了的质疑与挑战。例如，人体指纹可以比较容易地被复制与伪造，从而存在利用伪造的指纹副本对指纹识别系统进行欺骗的可能性。而且，通过一定的技术手段获取人体指纹进行伪造的难度并不大。2006年，美国的科普节目MythBusters利用一种模仿人体组织特性的凝胶材料制作了人体的指纹副本，然后利用这个伪造的指纹副本成功地通过了指纹识别系统的认证。在2009年，Duc Nguyen更是非常容易地利用一张真人大小的黑白图片通过了联想笔记本所用的人脸识别系统的用户登录认证。 为什么会出现这样的问题呢？首先需要从生物特征识别技术的原理谈起。生物特征（这里特指人体的生物特征）之所以能够作为个人身份鉴别与识别的有效手段，这是由其自身所具有的四个特点所决定的：普遍性、唯一性、稳定性和不可复制性。生物特征的普遍性与唯一性在多数情况下可以得到满足，而稳定性和不可复制性则因各种生物特征的自身特点而有所不同。而且，受限于传感器与生物特征识别算法的性能，生物识别系统在识别精度与防伪性能上将会有所下降。例如，在理论上，只要人体面部细节特征足够多，那么即使是双胞胎也可以进行区分。实际上，对于一个现实的生物识别系统而言，要做到这点几乎是不可能的。但是也没有必要太过悲观，人们可以通过采取多种生物特征相融合的识别方式，即多模态识别来提高系统的精度和保证系统防伪性。未来生物特征识别技术的发展趋势大致可分为三个方向：多模态、非接触和网络化。 多模态：采用多模态生物特征融合技术可以获得比单一生物特征识别系统更好的识别性能和可靠性，并增加伪造人体生物特征的难度与复杂性，提高系统的安全性。多模态生物特征识别技术是指综合利用来自同一生物特征的多种识别技术，或者来自不同生物特征的多种识别技术，对个人身份进行判断的生物特征识
基于多模态融合的情感识别研究 多模态情感识别在情感计算中是一个具有挑战性的课题,因为从多模态数据中提取出具有判别性的特征来识别人类情感中的细微差 距仍有很高的难度。当前的研究中,基于现有的三种多模态融合的策略:特征层融合、决策层融合和模型层融合提出的算法都是偏向浅层的特征融合方案,容易造成联合特征表达的判别性不足。而设计精巧的融合模型或大型神经网络由于复杂的设计和庞大的参数,又使得特征提取的耗时过长。为了解决多模态联合特征判别性不足和特征提取耗时之间的矛盾,本文提出了一种深度模态融合的网络模型来完成多模态数据融合的情感识别任务。该模型首先利用滑动窗口将音视频信号切割成数据片段,获得最小边框标记的人脸关键帧图像和语音信号的三维梅尔倒频谱,对两路输入信号分别使用带残差的深度方向可分离的卷积核进行特征提取和特征融合,最后在联合特征上训练分类器,实现包括喜悦、悲伤、惊喜、厌恶、愤怒、恐惧和正常在内的七种不同情感的分类任务。本文在RML、eNTERFACE05和BAUM-ls音视频情感识别公开数据集上进行了训练和测试,实验结果取得了较好的分类效果。为了能够拓宽情感识别技术在各个领域中的应用,本文设计并实现了一个多模态情感识别分析系统,系统包含了数据采集输入、数据预处理、情感识别算法、数据分析计算、前端可视化和系统管理等六个模块。该系统可以根据数据模态的不同,选择不同的识别算法, 实现对离线图片、音频、视频文件等多种模态数据的情感识别,支持对视频数据进行视频情感成分分析和实时视频情感识别两类任务。本
文对该系统进行了详细的设计和实现,测试了系统各项功能,并将系 统应用于社交媒体中的视频观点分析和医疗康复中的视频识别辅助。
嵌入式多模态生物特征识别系统设计 本文主要针对嵌入式多模态生物特征识别系统设计进行重点探讨和分析，以此能够更好地体现出基于生物特征的身份鉴定技术。 标签：多模态；嵌入式系统；生物特征识别 所谓的生物识别技术就是指通过对多个高科技手段技术的有效应用，即计算机与光学、声学、生物传感器及生物统计学原理等，借助人体本身所具有的生理特征，来对个人身份进行鉴定。 一、嵌入式生物特征识别系统的总体设计 （一）嵌入式系统概述 随着近几年我国社会经济的不断发展，计算机和网络的应用越发广泛。而其中所包含的各种嵌入式系统设备在应用数量上明显超过通用计算机，使得任何人在日常生活和工作中都能够拥有嵌入式技术的相关电子产品，如MP3、PDA等。 （二）嵌入式系统的特点 （1）嵌入式系统通常是面向特点而应用的。其中，CPU与通用型存在明显的差异，也就是嵌入式系统具有低功耗、体积小以及集成度高的特点，能够按照要求将通用CPU中由板卡所完成的任务集成在芯片内部，進而使得嵌入系统在设计上更加小型化。（2）嵌入式系统是将先进的计算机技术、半导体技术和电子技术与各个行业中的实际应用结合后的产物。（3）嵌入式系统的相关硬件和软件设备在设计上具有高效率，促使其在实际应用中所选择的处理器具有一定的竞争力。 （三）嵌入式系统的选型 1.嵌入式芯片的选择 众所周知，嵌入式系统的核心就是处理器。在传统嵌入式处理器中，主要是根据具体应用而分为两类，分别是以单片机为主的微处理器和注重数字化后的各种快速算法的数字信号处理器DSP。对于单片机为主的微处理器，在此类芯片产品中，只有8/16位的单片机，具体指Intel的80C51等。该单片机在特征上具有体积小、指令系统简单以及抗感染能力强等。而后者主要应用在大量数据计算的领域中。 2.嵌入式操作系统的选型 近几年我国社会经济的不断发展，推动了嵌入式技术水平的提升。而对实际
专业文献综述 题目: 生物特征识别技术综述姓名: 闫少博 学院: 信息科学技术学院 专业: 计算机科学与技术 班级: 计科121班 学号: 19212107 指导教师: 伍艳莲职称: 副教授 2015 年6 月19 日 南京农业大学教务处制
生物特征识别技术综述 作者：闫少博指导老师：伍艳莲 摘要：生物特征识别技术是利用人体所固有的生物特征来进行个人身份认定的技术。本文不仅分析了生物特征识别技术的工作模式和发展现状，分析了基于生理特征和行为特征的各种生物特征识别方法及其应用进展过程，指出了生物特征识别技术的发展趋势。也对于各种生物特征识别技术的基本原理和一些关键技术进行了简要的说明, 对每种生物特征 的优势和不足进行了分析, 并对生物特征识别技术中存在的问题和未来的研究方向进行 了讨论，并且表达了自己对于生物特征识别的理解和认识。 关键词：生物特征识别；生理特征；行为特征 A Survey of Biometric Recognition Technology Information Author: YAN Shao-bo Tutor: WU Yan-lian (Nanjing Agricultural University, College of Information Science and Technology, Jiangsu Nanjing 210095) Abstract: Biometric identification technology is the use of human biological characteristics to identify the personal identity of the technology. In this paper, not only analysis the work mode and the development of biometric identification technology, and the biological characteristics identification method based on physiological characteristics and behavioral characteristics, pointed out the development trend of biometric identification technology. but also explain biometric identification technology is the basic principle and some key techniques ,analysis the advantages and disadvantages of each biological characteristics , and discussion the existing biometric identification technology issues and directions for future research. Key words: biological characteristics recognition；physiological characteristics；behavioral characteristics 随着社会的不断发展与现代化，人们的生活变得更加丰富多彩起来，在我们生活中许许多多的地方都要用到身份识别这种技术，所谓身份识别就是我们在进行某一种特定的活动时所需要进行的一种出于安全考虑的特殊步骤，而人类作为一种特殊的生物，这也就可以把身份识别归结到我们的生物特征识别中来。 1.生物特征识别技术的认识以及生物特征识别系统的标准 生物特征识别技术，从字面上的含义就是利用人体所固有的生物特征进行个人身份认定的技术，但是我们要知道并非所有的生物特征都可用于个人的身份识别，因为能用于身份识别的生物特征必须满足几个条件：普遍性；唯一性；可测量性；稳定性。普遍性就是每个人都有的特征，唯一性就是任何两个人的这种特征是不一样的，可测量性就是这种特征是可以测量的，稳定性就是这种特征在一段时间内能够保持不变。以上四点是某种生物特征能否用于人身份识别的基本条件。 生物特征识别技术之所以可以运用到我们大家的生活中去是因为这是一个已经形成
国家标准《信息技术安全技术生物特征识别信息的保护要求》 （征求意见稿）编制说明 一、任务来源 《信息技术安全技术生物特征识别信息的保护要求》是国家标准化管理委员会2018年下达的信息安全国家标准制定项目，国标计划号为：2018XXXX-T-469，由北京赛西科技发展有限责任公司主要负责起草，中国电子技术标准化研究院、广州广电运通金融电子股份有限公司、浙江蚂蚁小微金融服务集团股份有限公司、联想（北京）有限公司、国民认证科技（北京）有限公司、格尔软件股份有限公司等单位共同参与了该标准的起草工作。 二、编制原则 随着互联网成为日常生活的一部分，生物特征识别技术包括基于行为和生理特征的个体自动识别特征已经成熟，这些生物特征信息包括指纹图像、语音、虹膜图像、面部图像等。生物特征识别技术的成本一直在下降，它们的可靠性一直在增加，现在用作身份鉴别机制是可行的。另一方面，生物特征识别信息与其他个人信息和共享的联系越来越多，生物特征识别信息使个人和组织带来了新的挑战，需要重点保障生物特征信息的安全，并遵守各种隐私要求。 本标准拟提出生物特征识别信息的安全保护要求，包括生物特征识别系统的威胁和对策，生物特征信息和身份主体之间安全绑定的安全要求，应用模型以及隐私保护要求等。因此本标准制定时遵循以下原则： 1）通用性 按照本标准实现的生物特征识别信息的安全技术要求，可实现基本技术规格一致，便于用户使用，有利于主管部门的测评、认证和管理。 2）实用性 根据我国国情、实际运用环境和国家有关政策编制本标准，使其在指导系统和产品研发、检测、使用和管理方面具有很强的实用性。 3）安全性与隐私
在本标准中对生物特征识别信息从安全和隐私两方面都做了严格的规定，从而确保生物特征识别信息在不同的场景中应用的安全性。 4）符合性 符合国家有关法律法规和已有标准规范的相关要求。 三、主要工作过程 1、2018年4月，调研国内外生物特征识别信息的安全应用需求，调研市场上生物特征识别的各种模态具体应用方式以及相关标准、法律法规要求等。 2、2018年9月11日，北京赛西科技发展有限责任公司、中国电子技术标准化研究院、广州广电运通金融电子股份有限公司、浙江蚂蚁小微金融服务集团股份有限公司、联想（北京）有限公司、国民认证科技（北京）有限公司、格尔软件股份有限公司等共同组成标准编制组，召开该标准编制启动工作会议。会上，对标准编制的组织形式及任务分工进行了安排。 3、2018年3月至12月，标准编制组完成了国家标准《信息技术安全技术生物特征识别信息的保护要求》（草案）。 4、2019年3月26日在北京召开生物特征识别信息保护标准项目组工作会议，讨论标准草案，并明确下阶段工作任务。 5、2019年4月16日，WG4工作组在北京组织召开了组内专家评审会。专家组听取了标准编制组的工作汇报，审阅了相关文档，质询了有关问题。编制组依据专家评审意见进行了修改，形成新一版标准草案。 6、2019年4月22日，TC260在宁波召开会议周。在WG4工作组会议上，参会专家听取了标准编制组的工作汇报，经过讨论，提出若干修改意见，并进行了投票表决，形成征求意见稿。会议之后，编制组依据修改意见进行了修改，形成标准征求意见稿。 四、标准的主要内容 本标准规定了生物特征识别信息的安全保护要求，包括生物特征识别系统的威胁和对策，生物特征信息和身份主体之间安全绑定的安全要求，应用模型以及隐私保护要求等。本标准适用于生物特征识别系统的设计、开发与集成。 生物特征身份鉴别引入了隐私和鉴别保障之间的潜在差异。一方面，生物
ISO联手IEC发布多模态生物特征识别技术方案 比利是法国人，受雇日本某实验室已经有3年的时间了，但前天他被自己的实验室拒之了“门外”，原因并不是“他被解雇了”。 这一切都是感冒惹的祸。比利介绍，因为感冒，他的声音发生了变化，安装有生物特征识别系统的实验室的门“听”不出了他的声音，因而一直拒绝给他开门。 现在，国际标准化组织（ISO）和国际电工委员会（IEC）正在谋求解决比利遇到的此类麻烦。 日前，由ISO和IEC联合公布的《信息技术—生物特征—多模态和其他多生物特征融合》（ISO/IECTR24722∶2007），为比利提供了技术解决方案。该方案能融合多种生物指令，将相同身份的多种证据输入传感器，如除了输入声音外，还可以将比利的脸、指纹和手的几何特征等输入传感器，以保证在一种生物特征失真的情况下，即使像比利声音失真，传感器还能够对他输入的脸、指纹等“验明正身”。
“基于多模态或多生物特征融合的解决方案代表了一个新兴趋势，某些应用承诺会比单一方法的识别系统具有更好的技术性能。”开发该新技术报告的小组委员会主席费尔南多·珀迪尔（音译）这样说道：“这项最新的ISO/IEC技术报告提供了多模态和其他多生物识别系统的总的概述，并给出了关于多生物特征融合的一个参考——标准的开拓者和生物特征识别系统的实施者需要一种以上的生物模态。” 这项新技术报告由ISO/IEC联合技术委员会JTC1、信息技术小组委员会SC37（生物特征研究）组织编写。 新的ISO/IECTR24722∶2007包含了目前就多模态和多生物特征融合做法的描述和分析，它还研讨了需求、可能的路径和标准化来支持多生物特征识别系统，以提高其通用性和实用性。 生物特征识别系统是利用个人特征来鉴别或验证用户身份的。如果有生物特征被察觉或检测到是“有噪音的”（比如指纹中带有疤痕或者因感冒而改变声音时），这个生物特征识别系统的性能可能会受到损害，此时的匹配评分计算是不可靠的。这个问题可以通过安装多种传感器捕捉不同的生物特征来解决，这也被称为生物特征融合或多模态生物特征识别系统。 例如，语音、虹膜（是指眼睛带有色彩的部分）和面部识别，加上指纹和手
信息安全前沿——生物识别技术 随着科技水平的日益提高，人们对信息安全也越来越重视，加密技术的研究已经越来越成熟。目前比较安全的加密技术是量子加密技术。但随着计算机技术的发展，原来用普通计算机无法破解的量子加密技术现在也可以通过高速量子计算机进行解密。其他的一些加密技术就更不安全了。难道就没有一种极其安全的加密技术了吗？有，就是接下来要介绍的加密技术——生物识别技术。生物识别技术是一项新型的加密技术，它和传统的物理加密，电子加密技术、量子加密技术在原理上有很大的不同。网络信息化时代的一大特征就是个人身份的数字化和隐性化!如何准确鉴定一个人的身份，保护信息安全是当今信息化时代必须解决的一个关键性社会问题!目前我国的各种管理大部分使用证件、磁卡、IC卡和密码，这些手段无法避免伪造或遗失，密码也很容易被窃取或遗忘!这些都给管理者和使用者带来很大不方便!生物特征身份鉴别方法可以避免这些麻烦!因此，这一技术已成为身份鉴别领域的研究热点! 所谓生物特征识别技术就是：通过计算机与各种传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特性和行为特征，来进行个人身份的鉴定!生理特征与生俱来，多为先天性的；行为特征则是习惯使然，多为后天性的!将生理和行为特征统称为生物特征! 并非所有的生物特征都可用于个人的身份鉴别!身份鉴别可利用的生物特征必须满足以下几个条件：第一，普遍性：即必须每个人都具备这种特征!第二，唯一性：即任何两个人的特征是不一样的!第三，可测量性：即特征可测量!第四，
稳定性：即特征在一段时间内不改变!当然在应用过程中还要考虑其他的实际因素比如：识别精度、识别速度、对人体无伤害、被识别者的接受性等等!现在常用的生物特征有、人脸识别、虹膜识别、手形识别、指纹识别、掌纹识别、签名识别、声音识别等；常用的行为特征有步态、签名等!声纹兼具生理和行为的特点，介于两者之间!下面将分别介绍各种生物特征识别技术： （一）基于生理特征的识别技： 1、指纹识别：指纹识别技术是通过取像设备读取指纹图像， 然后用计算机识别软件分析指纹的全局特征和指纹的局 部特征，特征点如嵴、谷、终点、分叉点和分歧点等。 从指纹中抽取特征值可以非常可靠地通过指纹来确认一 个人的身份! 指纹识别的优点表现在：研究历史较长技 术相对成熟；指纹图像提取设备小巧；同类产品中指纹 识别的成本较低!其缺点表现在：指纹识别是物理接触式 的，具有侵犯性；指纹易磨损，手指太干或太湿都不易 提取图像。 2、虹膜识别：虹膜识别技术是利用虹膜终身不变性和差异 性的特点来识别身份的虹膜是一种在眼睛中瞳孔内的织 物状的各色环状物每个虹膜都包含一个独一无二的基于 水晶体、细丝、斑点、凹点、皱纹和条纹等特征的结构! 虹膜在眼睛的内部"用外科手术很难改变其结构。由于瞳
基于多模态融合的情感计算研究 移动终端和智能设备目前与人类生活、学习和工作息息相关,基于智能设备的情感计算技术已成为国内外学者的研究热点。随着人口老龄化趋势加剧,老年人的家庭护理需求日益增多,通过对老年人的情感状态、行为姿态进行研究可以更好的理解和关注老年人的身心健康。利用情感计算可以建立和谐的人机环境,但是目前情感计算仍存在一些急需解决的问题,在行为姿态识别中,虽然选择手机传感器的底层统计特征对人体行为进行识别可取得较好效果,但是这些底层特征忽略了行为的高层语义表达,对训练集中有限样本行为的识别率较差。而在情感识别中,人的情感在表达时由生理、心理、表情和音调等多个模态信息共同组成,使用单模态进行情感识别时,由于情感表示信息不足容易导致一些情绪的识别率较差等问题。针对以上两种分类识别所面临的问题提出两种识别方法,主要工作包括如下两方 面:(1)针对现有日常行为识别中跌倒样本采集困难,跌倒行为样本规模较少导致识别率较差的问题,提出一种基于低层特征与高层语义的人体行为识别方法。该方法引入语义属性特征以便在某些行为样本较少的情况下能够共享行为之间的低层特征信息,通过构建属性-行为矩阵,利用低层特征信息训练语义属性检测器,得到语义属性特征,对属性特征与低层特征分别进行预分类,融合两种特征的预分类结果得到最终判决的人体行为类别。实验结果表明,与过采样算法、欠采样算法和最小二乘支持向量机相比,本文所提方法获得了更好的分类结果。(2)一般多模态特征融合方法仅通过简单的拼接来组合特征,或将
所有模态信息直接利用深度模型进行融合,这样会导致特征冗余和关键特征不足等问题,本文提出多模态深度信念网络对各模态特征分别进行融合,以解决所有模态直接融合后进行特征选择带来的实验成本过高的问题,并提高各情绪识别性能。通过多模深度信念网络优选生理信号和视频信号的初始特征,再利用双模深度信念网络将各模态统一结构化的特征进行融合,得到多模态高层表示特征,利用支持向量 机对该特征进行分类识别。在The BioVid Emo DB数据集上对高兴、难过、生气、恐惧和厌恶这五种情绪的平均识别率是80.89%,实验表明该方法在降低融合成本的同时,对多模态情绪识别性能也有较好的改善。