Alejandro Jaimes, Nicu Sebe, Multimodal human–computer interaction: A survey, Computer Vision and Image Understanding, 2007. 多模态人机交互综述 摘要：本文总结了多模态人机交互(MMHCI, Multi-Modal Human-Computer Interaction)的主要方法，从计算机视觉角度给出了领域的全貌。我们尤其将重点放在身体、手势、视线和情感交互(人脸表情识别和语音中的情感)方面，讨论了用户和任务建模及多模态融合(multimodal fusion)，并指出了多模态人机交互研究的挑战、热点课题和兴起的应用(highlighting challenges, open issues, and emerging applications)。 1. 引言 多模态人机交互(MMHCI)位于包括计算机视觉、心理学、人工智能等多个研究领域的交叉点，我们研究MMHCI是要使得计算机技术对人类更具可用性(Usable)，这总是需要至少理解三个方面：与计算机交互的用户、系统(计算机技术及其可用性)和用户与系统间的交互。考虑这些方面，可以明显看出MMHCI 是一个多学科课题，因为交互系统设计者应该具有一系列相关知识：心理学和认知科学来理解用户的感知、认知及问题求解能力(perceptual, cognitive, and problem solving skills)；社会学来理解更宽广的交互上下文；工效学(ergonomics)来理解用户的物理能力；图形设计来生成有效的界面展现；计算机科学和工程来建立必需的技术；等等。 MMHCI的多学科特性促使我们对此进行总结。我们不是将重点只放在MMHCI的计算机视觉技术方面，而是给出了这个领域的全貌，从计算机视觉角度I讨论了MMHCI中的主要方法和课题。 1.1. 动机 在人与人通信中本质上要解释语音和视觉信号的混合。很多领域的研究者认识到了这点，并在单一模态技术unimodal techniques(语音和音频处理及计算机视觉等)和硬件技术hardware technologies (廉价的摄像机和其它类型传感器)的研究方面取得了进步，这使得MMHCI方面的研究已经有了重要进展。与传统HCI应用(单个用户面对计算机并利用鼠标或键盘与之交互)不同，在新的应用(如：智能家居[105]、远程协作、艺术等)中，交互并非总是显式指令(explicit commands)，且经常包含多个用户。部分原因式在过去的几年中计算机处理器速度、记忆和存储能力得到了显著进步，并与很多使普适计算ubiquitous computing [185,67,66]成为现实的新颖输入和输出设备的有效性相匹配，设备包括电话(phones)、嵌入式系统(embedded systems)、个人数字助理(PDA)、笔记本电脑(laptops)、屏幕墙(wall size displays)，等等，大量计算具有不同计算能量和输入输出能力的设备可用意味着计算的未来将包含交互的新途径，一些方法包括手势(gestures)[136]、语音(speech)[143]、触觉(haptics)[9]、眨眼(eye blinks)[58]和其它方法，例如：手套设备(Glove mounted devices)[19] 和and可抓握用户界面(graspable user interfaces)[48]及有形用户界面(Tangible User interface)现在似乎趋向成熟(ripe for exploration)，具有触觉反馈、视线跟踪和眨眼检测[69]的点设备(Pointing devices)现也已出现。然而，恰如在人与人通讯中一样，当以组合方式使用不同输入设备时，情感通讯(effective communication)就会发生。
多模态深度学习
————————————————————————————————作者: ————————————————————————————————日期:
Ｍuｌtｉmodal Deep Learniｎg（多模态深度学习)未完待续 原创20１6年０６月22日08:53:40 摘要： 本文提出一种在深度网络上的新应用，用深度网络学习多模态。特别的是，我们证明了跨模态特征学习——如果在特征学习过程中多模态出现了,对于一个模态而言，更好的特征可以被学习(多模态上学习，单模态上测试)。此外，我们展示了如何在多模态间学习一个共享的特征，并在一个特别的任务上评估它——分类器用只有音频的数据训练但是在只有视频的数据上测试（反之亦然)。我们的模型在CUAVE和ＡＶLeｔterｓ数据集上进行视-听语音分类,证明了它在视觉语音分类（在AＶＬｅtters数据集上)和有效的共享特征学习上是已发表中论文中最佳的。 1．介绍 在语音识别中,人类通过合并语音－视觉信息来理解语音。视觉模态提供了发音地方和肌肉运动的信息,这些可以帮助消除相似语音（如不发音的辅音）的歧义。 多模态学习包括来自多源的相关信息。语音和视觉数据在语音识别时在某个“中间层”是相关的,例如音位和视位;未加工的像素是很难与语音波形或声谱图产生相关性的。 在本文中,我们对“中间层”的关系感兴趣,因此我们选择使用语音－视觉分类来验证我们的模型。特别的是，我们关注用于语音识别的学习特征,这个学习特征是和视觉中的唇形联系在一起的。
全部任务可分为三部分－特征学习、有监督训练和测试。用一个简单的线性分类器进行有监督训练和测试，以检查使用多模态数据的不同的特征学习模型（eg:多模态融合、跨模态学习和共享特征学习...）的有效性。我们考虑三个学习布置——多模态融合、跨模态学习和共享特征学习。 （如图1所示）多模态融合:数据来自所有模态，用于所有模态。跨模态学习：数据来自所有模态,但只在某模态可用。共享特征学习：训练和测试用的不同模态的数据。如果特征可以在跨不同模态下捕获相关性，这会允许我们进行评价。特别的是，学习这些布置可以使我们评估学到的特征是否具有模态不变性。 接下来，我们描述模型的构造块。然后，我们实现了不同的使用深度学习的多模态学习模型,这些模型可以实现不同的多模态任务。最后,我们展示实验结果和总结。 ２．背景
生物识别技术所依据的技术原理 生物识别技术使用身份验证原理来识别个人，而不是依靠某个物品（例如钥匙）或者知道的信息（例如密码）。生物识别技术可以使用物理特征，例如脸形、指纹、虹膜或静脉；也可以使用行为特征，例如语音、笔迹或打字的节奏。与钥匙和密码不同，个人特征基本上不会丢失或遗忘，并且非常难以复制。因此，许多人认为生物识别技术比密钥或密码更加安全可靠。 生物识别技术和取证技术—生物识别技术与取证技术在许多方面存在共性，但它们并不完全相同。生物识别技术使用物理特征或行为特征来确定身份，或者确认您申明的身份。而取证技术则是在民事或刑事侦察中使用相同类型的信息来建立事实依据。 生物识别技术使用独一无二的特征（例如眼睛虹膜）识别个人 生物识别系统看起来非常复杂，但它们都会涉及以下三个步骤： 登记：当首次使用生物识别系统时，该系统将会记录有关人员的基本信息，例如姓名或身份证号码。然后将会捕获影像，或者记录具体特征。 存储：与电影中看到的相反，大多数系统并不存储完整的影像或记录，而是分析特征，然后将其转换成代码或图形。某些系统还能将这些数据记录在可随身携带的智能卡上。 比较：当下一次使用该系统时，它会将现有特征与文件中的信息进行比较，然后根据比较结果接受或拒绝身份申明。 这些系统均使用相同的三个组件： 传感器：检测用于识别的特征 计算机：读取和存储信息 软件：分析特征，将特征转换成图形或代码，并执行具体的比较
越来越多的家庭使用了生物识别安全系统（下图为IBM ThinkPad T43提供的指纹扫描仪） 笔迹 使用笔迹来识别用户似乎是不太可取的办法。毕竟许多人在经过一段时间的练习后，都可以模仿他人的笔迹。而且获得某人的签名或所需密码，然后进行模仿，也不是一件难事。但是，生物识别系统检测的不仅仅是每个字母的形状，它们还会分析书写动作。这些系统会核对您在书写时使用的压力、速度和节奏，并且还会记录笔画顺序。 这部平板电脑配有签名验证系统。 虽然字母只有简单的外形，但这些笔画特征非常难以模仿。即使其他人获得了一份签名并进行临摹，系统也不一定会接受其仿冒笔迹。有些笔迹识别系统的传感器包含一个触敏书写表面；或者包含一支扫描笔，该笔内部装有传感器，可以检测角度、压力和方向。软件能够将笔迹转换成图形，并且可以识别某个人在一段时间内，每日书写的细微变化。 确定精度—所有生物识别系统都使用了人体特征，而这些特征在某种程度上是独一无二的。哪种系统才是最好的系统，这取决于所需的安全级别、使用该系统的人数多少以及该系统的精度。大多数制造商使用类似于下面的度量值来描述其产品精度：
视觉诗40-Love多模态意义的构建 摘要：视觉诗有一般诗歌所没有的视觉效果，传统的单模态分析方法不能照顾这一特点，多模态话语分析理论为可视诗研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。本文在此基础上，以系统功能语言学和多模态话语分析为理论框架，对Roger McGough的可视诗40-Love进行模态分解、单模态意义构建、多模态意义整合的尝试性研究。 关键词：多模态化；模态分解；单模态意义构建；多模态意义整合；视觉诗 1 引言 董崇选指出真正以“形”取胜的诗可以统称为“视觉诗”( visual poetry) 。它自诞生以来一直都是诗坛争议最多的一种诗歌形式，有人批评它不够严肃。针对于此，张旭红认为一种诗歌形式的成功与否不仅在于诗人的创作技巧，更在于读者的解读技能。传统的分析模式局限于单一的言语信息，忽视构成可视诗歌这一特殊文学形式的其他符号系统的分析，因而无法充分地诠释创作者的创作意图。而兴起于20世纪90年代的多模态话语分析理论为视觉诗的研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。但目前国内外在该项研究中都刚刚起步，现有的研究主要集中在影视、多媒体、海报、视觉广告功能文体分析及口语的研究上，其中张旭红采用该理论对视觉诗歌Me up at does 作了大胆的尝试，并取得了成功。针对于此，本文以40-Love为例，并借鉴张先生研究模式尝试对其进行多模态的文体分析。 2 多模态话语分析综述 模态(modality)是指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统(朱永生2007)。多模态(multimodal)是指除了文本之外，还带有
什么是模态分析 模态分析是研究结构动力特性一种近代方法，是系统辨别方法在工程振动领域中的应用。模态是机械结构的固有振动特性，每一个模态具有特定的固有频率、阻尼比和模态振型。这些模态参数可以由计算或试验分析取得，这样一个计算或试验分析过程称为模态分析。这个分析过程如果是由有限元计算的方法取得的，则称为计算模记分析；如果通过试验将采集的系统输入与输出信号经过参数识别获得模态参数，称为试验模态分析。通常，模态分析都是指试验模态分析。振动模态是弹性结构的固有的、整体的特性。如果通过模态分析方法搞清楚了结构物在某一易受影响的频率范围内各阶主要模态的特性，就可能预言结构在此频段内在外部或内部各种振源作用下实际振动响应。因此，模态分析是结构动态设计及设备的故障诊断的重要方法。 模态参数 模态参数有：模态频率、模态质量、模态向量、模态刚度和模态阻尼等。 模态分析的经典定义 模态分析的经典定义：将线性定常系统振动微分方程组中的物理坐标变换为模态坐标，使方程组解耦，成为一组以模态坐标及模态参数描述的独立方程，以便求出系统的模态参数。坐标变换的变换矩阵为模态矩阵，其每列为模态振型 模态分析的基本过程 （1）动态数据的采集及频响函数或脉冲响应函数分析 1）激励方法。试验模态分析是人为地对结构物施加一定动态激励，采集各点的振动响应信号及激振力信号，根据力及响应信号，用各种参数识别方法获取模态参数。激励方法不同，相应识别方法也不同。目前主要由单输入单输出（SISO）、单输入多输出（SIMO）多输入多输出（MIMO）三种方法。以输入力的信号特征还可分为正弦慢扫描、正弦快扫描、稳态随机（包括白噪声、宽带噪声或伪随机）、瞬态激励（包括随机脉冲激励）等。 2）数据采集。SISO方法要求同时高速采集输入与输出两个点的信号，用不断移动激励点位置或响应点位置的办法取得振形数据。SIMO及MIMO的方法则要求大量通道数据的高速并行采集，因此要求大量的振动测量传感器或激振器，试验成本较高。 3）时域或频域信号处理。例如谱分析、传递函数估计、脉冲响应测量以及滤波、相关分析等。 （2）建立结构数学模型根据已知条件，建立一种描述结构状态及特性的模型，作为计算及识别参数依据。目前一般假定系统为线性的。由于采用的识别方法不同，也分为频域建模和时域建模。根据阻尼特性及频率耦合程度分为实模态或复模态模型等。 （3）参数识别按识别域的不同可分为频域法、时域法和混合域法，后者是指在时域识别复特征值，再回到频域中识别振型，激励方式不同（SISO、SIMO、MIMO），相应的参数识别方法也不尽相同。并非越复杂的方法识别的结果越可靠。对于目前能够进行的大多数不是十分复杂的结构，只要取得了可靠的频响数据，即使用较简单的识别方法也可能获得良好的模态参数；反之，即使用最复杂的数学模型、最高级的拟合方法，如果频响测量数据不可靠，则识别的结果一定不会理想。 （4）振形动画参数识别的结果得到了结构的模态参数模型，即一组固有频率、模态阻尼以及相应各阶模态的振形。由于结构复杂，由许多自由度组成的振形也相当复杂，必须采用动画的方法，将放大了的振形叠加到原始的几何形状上。
融合语音信号和脑电信号的多模态情感识别情感识别是实现机器智能化的关键技术之一,它通过对人类情感 的研究与分析,可以使机器理解人类情感并按照人类意愿完成相关指令。在众多的情感信号中,语音信号是最直接且最有利的表达方式, 而脑电信号可靠性强且采集方便简单,二者对于情感识别相辅相成。 本文结合语音信号和脑电信号构造了多模态情感识别系统,分析了语 音信号和脑电信号与情感之间的关系,提取了二者表征情感差异度的 有效情感信息,采用特征融合和决策融合技术构建了多模态情感识别 系统,并通过对比实验验证了多模态情感识别系统的可靠性和鲁棒性。论文研究内容及创新点如下:(1)详细介绍了语音情感识别系统的构成。根据语音信号的语速、音调、自然度、清晰度等基本特性提取了语音信号的传统特征;从语音信号的属性特性和几何结构两方面分析 并提取了表征情感信息的非线性特征;选取TYUT2.0为语音情感数据库,采用支持向量机(Support Vector Machine,SVM)进行情感判别, 实验结果证明,以语音信号为载体的情感识别系统可以有效的实现情 感分类。(2)提取了新的情感脑电特征并构造出有效情感特征子集。 针对脑电信号的非线性特性,利用相空间重构技术通过对相空间中几 何结构的分析提取了新的情感脑电特征,即脑电信号的非线性几何特征。通过特征融合方法将其与功率谱熵以及非线性属性特征进行融合,获得了脑电信号能表征情感差异度的有效情感特征集合。利用SVM进行情感分类,结果表明,本文提取的非线性几何特征可以有效地弥补 非线性属性特征对脑电信号非线性特性表征上的不足,结合功率谱熵
构造的情感特征集合能更好的描述情感之间的差异性。(3)通过特征融合技术构造了多模态情感识别系统。针对语音信号和脑电信号提取的情感特征,本文采用三种不同的特征融合的方法(限制玻尔兹曼机、局部线性嵌入算法、多维尺度变换算法)构造了多模态情感识别系统,在降低计算复杂度的同时去除了二者特征之间的冗余信息。通过与单种情感信号的情感识别系统性能对比,结果表明,特征融合方法构建 的多模态情感识别系统情感识别性能更优。(4)提出二次决策融合算法,构建了多模态情感识别系统。鉴于语音信号和脑电信号情感特征提取类型的相似性,本文提出了二次决策融合算法,构建了多模态情 感识别系统。将两种情感信号的同类型特征(基本特征、非线性属性和非线性几何特征)分别结合并采用不同的分类器进行情感识别;利 用DS证据理论将非线性属性和非线性几何特征识别结果进行融合获得非线性综合特征识别结果;通过投票法将基本特征与非线性综合特征情感识别结果融合得到最终的多模态情感识别结果,实验结果证明,二次决策融合算法构建的多模态情感识别系统相比单模态情感识别 系统识别率更高。
龙源期刊网 https://www.doczj.com/doc/db622096.html, 多模态话语分析理论在新媒介时代的应用 作者：李妙晴 来源：《学理论·下》2009年第06期 摘要:20世纪90年代西方兴起的多模态话语分析,逐渐成为语言学研究的新热点之一。通 过回顾其在国外和国内的发展历史,重点解释了多模态话语与社会符号学的关系,并展望未来发展方向。 关键词:多模态话语分析;新媒介时代;社会符号学 中图分类号:H04文献标志码:A 文章编号:1002—2589(2009)14—0204—02 一、多模态话语分析理论 朱永生(2007),只使用一种模态的话语叫做“单模态话语”;同时使用两种或两种以上模态的话语叫做“多模态话语”。新媒介时代,语篇呈多模态化,20世纪90年代西方兴起的多模态话语分析(multimodal discourse analysis)为由多种符号组成的语篇分析提供了途径,帮助读者了解不同模态作为社会符号,如何共同作用构成意义,达到意义潜势,对提高人们多模式话语识读,具有积极的意义。多模态话语分析属于社会符号学的分支,Halliday的系统语言学作为基础,具有跨学科、应 用性强特点,能运用在语音文字、建筑、城市设计及规划、影视戏剧、音乐、PPT、教学和数据库广告、网站页面设计、大型演出及舞台表演、排版、音乐、教科书设计、教学等多领域,与 传媒学、批评话语分析等有紧密联系,已经影响了当今很多学科的研究方向,如阅读写作能力教育、传媒话语分析、文化研究等,对社会的经济能起直接的指导作用。该理论无论在国外还是 在国内都处于起步阶段,在国外已经有出版书目和召开国际会议,李战子(2003)首次引入了多模 态分析理论。 朱永生(2007),几个关键字的概念,模式(mode)、媒介(medium)与模态(modality)。模式指系 统功能语言学与话语范围(field)和话语基调(tenor)并列的语境三要素之一的话语模式,指交流渠道,如口头、书面、电子等。模态(modality)原指语言系统中讲话者对事物的或然性进行判断和事物的必要性表明态度的语义系统情态;这里指交流的渠道和媒介,包括语言、技术、图象、颜色、音乐等符号系统。媒介是表达信息的物理工具。采用某一种媒体仍可以有不同模式表达信息,同样的模式可以用不同媒体表达。 二、研究现状 辛志英(2008)大致有:社会符号学流派,包括O’Toole、Kress、Leeuwen、Lemke、 O’Halloran、Baldry Thibault和Ventola等;交互社会学流派,包括Scollon、Norris及Jewitt等;认知学流派,主要有Forceville和Holsanova等人。
模态分析中的几个基本概念 一、模态定义：物体按照某一阶固有频率振动时，物体上各个点偏离平衡位置的位移是满足一定的比例关系的，可以用一个向量表示。 模态分析一般是在振动领域应用，每个物体都具有自己的固有频率，在外力的激励作用下，物体会表现出不同的振动特性： 一阶模态是外力的激励频率与物体固有频率相等的时候出现的，此时物体的振动形态叫做一阶振型或主振型； 二阶模态是外力的激励频率是物体固有频率的两倍时候出现，此时的振动外形叫做二阶振型，以依次类推。 一般来讲，外界激励的频率非常复杂，物体在这种复杂的外界激励下的振动反应是各阶振型的复合。 二、模态分析：模态是结构的固有振动特性，每一个模态具有特定的固有频率、阻尼比和模态振型。这些模态参数可以由计算或试验分析取得，这样一个计算或试验分析过程称为模态分析。 有限元中模态分析的本质是求矩阵的特征值问题，所以“阶数”就是指特征值的个数。将特征值从小到大排列就是阶次。 实际的分析对象是无限维的，所以其模态具有无穷阶。但是对于运动起主导作用的只是前面的几阶模态，所以计算时根据需要计算前几阶的。 一个物体有很多个固有振动频率（理论上无穷多个），按照从小到大顺序，第一个就叫第一阶固有频率，依次类推。所以模态的阶数就是对应的固有频率的阶数。 三、振型是指体系的一种固有的特性。它与固有频率相对应，即为对应固有频率体系自身振动的形态。每一阶固有频率都对应一种振型。振型与体系实际的振动形态不一定相同。振型对应于频率而言，一个固有频率对应于一个振型。按照频率从低到高的排列，来说第一振型，第二振型等等。此处的振型就是指在该固有频率下结构的振动形态，频率越高则振动周期越小。在实验中，我们就是通过用一定的频率对结构进行激振，观测相应点的位移状况，当观测点的位移达到最大时，此时频率即为固有频率。实际结构的振动形态并不是一个规则的形状，而是各阶振型相叠加的结果。 四、模态扩展是为了是结果在后处理器中观察而设置的，原因如下： 求解器的输出内容主要是固有频率，固有频率被写到输出文件Jobname.OUT及振型文件Jobnmae.MODE中，输出内容中也可以包含缩减
生物识别技术主要是指通过人类生物特征进行身份认证的一种技术，这里的生物特征通常具有唯一的(与他人不同)、可以测量或可自动识别和验证、遗传性或终身不变等特点。所谓生物识别的核心在于如何获取这些生物特征，并将之转换为数字信息，存储于计算机中，利用可靠的匹配算法来完成验证与识别个人身份的过程。 方法/步骤 1.指纹识别 指纹是指人的手指末端正面皮肤上凸凹不平产生的纹线。纹线有规律的排列形成不同的纹型。纹线的起点、终点、结合点和分叉点，称为指纹的细节特征点。指纹识别即指通过比较不同指纹的细节特征点来进行鉴别。由于每个人的指纹不同，就是同一人的十指之间，指纹也有明显区别，因此指纹可用于身份鉴定。 指纹识别技术是目前最成熟且价格便宜的生物特征识别技术。目前来说指纹识别的技术应用最为广泛，我们不仅在门禁、考勤系统中可以看到指纹识别技术的身影，市场上有了更多指纹识别的应用：如笔记本电脑、手机、汽车、银行支付都可应用指纹识别的技术。 2.静脉识别 静脉识别系统就是首先通过静脉识别仪取得个人静脉分布图，从静脉分布图依据专用比对算法提取特征值，通过红外线CMOS摄像头获取手指静脉、手掌静脉、手背静脉的图像，将静脉的数字图像存贮在计算机系统中，将特征值存储。静脉比对时，实时采取静脉图，提取特征值，运用先进的滤波、图像二值化、细化手段对数字图像提取特征，同存储在主机中静脉特征值比对，采用复杂的匹配算法对静脉特征进行匹配，从而对个人进行身份鉴定，确认身份。全过程采用非接触式。 3.虹膜识别 虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的圆环状区域，在红外光下呈现出丰富的纹理信息，如斑点、条纹、细丝、冠状、隐窝等细节特征。虹膜从婴儿胚胎期的第3个月起开始发育，到第8个月虹膜的主要纹理结构已经成形。除非经历危及眼睛的外科手术，此后几乎终生不变。 虹膜识别通过对比虹膜图像特征之间的相似性来确定人们的身份，其核心是使用模式识别、图像处理等方法对人眼睛的虹膜特征进行描述和匹配，从而实现自动的个人身份认证。英国国家物理实验室的测试结果表明：虹膜识别是各种生物特征识别方法中错误率最低的。从普通家庭门禁、单位考勤到银行保险柜、金融交易确认，应用后都可有效简化通行验证手续、确保安全。如果手机加载“虹膜识别”，即使丢失也不用担心信息泄露。机场通关安检中采用虹膜识别技术，将缩短通关时间，提高安全等级。 4.视网膜识别 视网膜是眼睛底部的血液细胞层。视网膜扫描是采用低密度的红外线去捕捉视网膜的独特特征，血液细胞的唯一模式就因此被捕捉下来。视网膜识别的优点就在于它是一种极其固定的生物特征，因为它是“隐藏”的，故而不可能受到磨损，老化等影响;使用者也无需和设备进行直接的接触;同时它是一个最难欺骗的系统，因为视网膜是不可见的，故而不会被伪造。另一方面，视网膜识别也有一些不完善的，如：视网膜技术可能会给使用者带来健康的损坏，这需要进一步的研究;设备投入较为昂贵，识别过程的要求也高，因此角膜扫描识别在普遍推广应用上具有一定的难度。 5.面部识别 面部识别是根据人的面部特征来进行身份识别的技术，包括标准视频识别和热成像技术两种。 标准视频识别是透过普通摄像头记录下被拍摄者眼睛、鼻子、嘴的形状及相对位置等面部特征，然后将其转换成数字信号，再利用计算机进行身份识别。视频面部识别是一种常见
ISSN 100020054CN 1122223 N 清华大学学报(自然科学版)J T singhua U niv (Sci &Tech ),2008年第48卷第S 1期 2008,V o l .48,N o .S 119 27 7152719 自适应权重的双模态情感识别 黄力行, 辛 乐, 赵礼悦, 陶建华 (中国科学院自动化所,模式识别国家重点实验室,北京100080) 收稿日期:2007209210 基金项目:国家自然科学基金资助项目(60575032); 国家“八六三”高技术项目(2006AA 01Z 138) 作者简介:黄力行(1984—),男(汉),江西,硕士研究生。通讯联系人:陶建华,副研究员,E 2m ail :jh tao @nlp r .ia .ac .cn 摘 要:情感识别是人机交互领域的重要问题之一。语音和脸部肌肉动作信息是用于情感识别的2个最重要的模态。该文认为,在双模态情感识别中,给不同的特征赋予不同的权值有利于充分利用双模态信息,提出了一种基于 Boo sting 算法的双模态信息融合方法,它能够自适应地调整语音和人脸动作特征参数的权重,从而达到更好的识 别效果。实验表明,该方法能够更好地区分易混淆的情感状态,情感识别率达84%以上。关键词:双模态情感识别;Boo sting 算法;自适应权重中图分类号:T P 3 文献标识码:A 文章编号:100020054(2008)S 120715205 B i m oda l em otion recogn ition ba sed on adaptive we ights HUANG L ixing ,XI N Le ,ZHAO L iyue ,TAO J ia nhua (Na tiona l Labora tory of Pa ttern Recogn ition ,I n stitute of Auto mation , Ch i nese Acade m y of Sc iences ,Be ij i ng 100080,Ch i na ) Abstract :Emo ti on recogn iti on is one of the mo st i m po rtant issues in hum an 2computer in teracti on s (HC I ).T h is paper describes a bi m odal emo ti on recogniti on app roach using a boo sting 2based fram ewo rk to au tom atically deter m ine the adap tive w eigh ts fo r audi o and visual featu res .T he system dynam ically balances the i m po rtance of the audi o and visual features at the feature level to ob tain better perfo rm ance .T he track ing accu racy of the facial featu re po ints is based on the traditi onal KL T algo rithm in tegrated w ith the po int distribu ti on model (PDM )to gu ide analysis of the defo r m ati on of facial features .Experi m ents show the validity and effectiveness of the m ethod,w ith a recogniti on rate over 84%. Key words :b i m odal emo ti on recogniti on;boo sting;adap tive w eigh ts 近年来,情感识别的研究工作[1-9] 在人机交互领域中已经成为一个热点。过去很多的工作都是集 中在如何通过单模态的信息[5,10-13] ,如语音或者人脸表情,得到当前对象的情感状态。仅仅通过单模态信息来识别情感有很多的局限性,因为人类是通过多模态的方式表达情感信息的。最近,基于多模态,尤其是基于语音和人脸表情双模态的情感识别技术得到了很大的发展。 目前,融合多模态信息的方法主要有2种:决策层的融合和特征层的融合。决策层的融合技术是先把各个模态的信息提取出来,输入相应的分类器得到单模态识别结果,然后用规则的方法将单模态的结果综合起来,得到最终的识别结果;特征层的融合方法则是将各个模态的信息提取出来,将这些信 息组成一个统一的特征向量,然后再输入到分类器中,得到最终的识别结果。这2种方法各有优缺点。决策层的融合技术考虑了不同模态对于情感识别重要性的不同,如文[6]认为,在识别不同情感的时候,语音和人脸表情的重要性不同,因此他们通过主观感知实验给语音和人脸表情信息赋予不同的权重。但是这种通过主观感知实验得到的权重能否应用到其他的情况下是值得怀疑的。特征层的融合技术更接近人类识别情感的过程,能更好地利用统计
模态分析意义模态分析是研究结构动力特性一种近代方法，是系统辨别方法在工程振动领域中的应用。模态是机械结构的固有振动特性，每一个模态具有特定的固有频率、阻尼比和模态振型。这些模态参数可以由计算或试验分析取得，这样一个计算或试验分析过程称为模态分析。这个分析过程如果是由有限元计算的方法取得的，则称为计算模态分析；如果通过试验将采集的系统输入与输出信号经过参数识别获得模态参数，称为试验模态分析。通常，模态分析都是指试验模态分析。振动模态是弹性结构的固有的、整体的特性。如果通过模态分析方法搞清楚了结构物在某一易受影响的频率范围内各阶主要模态的特性，就可能预言结构在此频段内在外部或内部各种振源作用下实际振动响应。因此，模态分析是结构动态设计及设备的故障诊断的重要方法。机器、建筑物、航天航空飞行器、船舶、汽车等的实际振动千姿百态、瞬息变化。模态分析提供了研究各种实际结构振动的一条有效途径。首先，将结构物在静止状态下进行人为激振，通过测量激振力与胯动响应并进行双通道快速傅里叶变换（FFT）分析，得到任意两点之间的机械导纳函数（传递函数）。用模态分析理论通过对试验导纳函数的曲线拟合，识别出结构物的模态参数，从而建立起结构物的模态模型。根据模态叠加原理，在已知各种载荷时间历程的情况下，就可以预言结构物的实际振动的响应历程或响应谱。近十多年来，由于计算机技术、
FFT 分析仪、高速数据采集系统以及振动传感器、激励器等技术的发展，试验模态分析得到了很快的发展，受到了机械、电力、建筑、水利、航空、航天等许多产业部门的高度重视。已有多种档次、各种原理的模态分析硬件与软件问世。在各种各样的模态分析方法中，大致均可分为四个基本过程：（1）动态数据的采集及频响函数或脉冲响应函数分析1）激励方法。试验模态分析是人为地对结构物施加一定动态激励，采集各点的振动响应信号及激振力信号，根据力及响应信号，用各种参数识别方法获取模态参数。激励方法不同，相应识别方法也不同。目前主要由单输入单输出（SISO）、单输入多输出（SIMO）多输入多输出（MIMO）三种方法。以输入力的信号特征还可分为正弦慢扫描、正弦快扫描、稳态随机（包括白噪声、宽带噪声或伪随机）、瞬态激励（包括随机脉冲激励）等。2）数据采集。SISO 方法要求同时高速采集输入与输出两个点的信号，用不断移动激励点位置或响应点位置的办法取得振形数据。SIMO 及MIMO 的方法则要求大量通道数据的高速并行采集，因此要求大量的振动测量传感器或激振器，试验成本较高。3）时域或频域信号处理。例如谱分析、传递函数估计、脉冲响应测量以及滤波、相关分析等。（2）建立结构数学模型根据已知条件，建立一种描述结构状态及特性的模型，作为计算及识别参数依据。目前一般假定系统为线性的。由于采用的识别方法不同，也分为频域建模和时
1. 什么是模态分析？ 模态分析是研究结构动力特性一种近代方法，是系统辨别方法在工程振动领域中的应用。模态是机械结构的固有振动特性，每一个模态具有特定的固有频率、阻尼比和模态振型。这些模态参数可以由计算或试验分析取得，这样一个计算或试验分析过程称为模态分析。这个分析过程如果是由有限元计算的方法取得的，则称为计算模态分析；如果通过试验将采集的系统输入与输出信号经过参数识别获得模态参数，称为试验模态分析。通常，模态分析都是指试验模态分析。振动模态是弹性结构的固有的、整体的特性。如果通过模态分析方法搞清楚了结构物在某一易受影响的频率范围内各阶主要模态的特性，就可能预言结构在此频段内在外部或内部各种振源作用下实际振动响应。因此，模态分析是结构动态设计及设备的故障诊断的重要方法。 模态分析最终目标在是识别出系统的模态参数，为结构系统的振动特性分析、振动故障诊断和预报以及结构动力特性的优化设计提供依据。 2. 模态分析有什么用处？ 模态分析所的最终目标在是识别出系统的模态参数，为结构系统的振动特性分析、振动故障诊断和预报以及结构动力特性的优化设计提供依据。模态分析技术的应用可归结为以下几个方面： 1. 评价现有结构系统的动态特性； 通过结构的模态分析可以求得各阶模态参数（模态频率、模态振型以及模态阻尼），从而评价结构的动态特性是否符合要求，并校验理论计算结构的准确性。 2. 在新产品设计中进行结构动态特性的预估和优化设计； 3. 诊断及预报结构系统的故障； 近年来，结构故障技术发展迅速，而模态分析已成为故障诊断的一个重要方法。利用结构模态参数的改变来诊断故障是一种有效方法。例如，根据模态频率的变化可以判断裂纹的出现；根据振型的分析可以确定断裂的位置；根据转子支承系统阻尼的改变，可以诊断与预报转子系统的失稳等。 4. 控制结构的辐射噪声； 结构噪声是由于结构振动所引起的。结构振动时，各阶模态对噪声的“贡献”并不相同，对噪声贡献较大的几阶模态称为“优势模态”。抑制或者调整优势模态，便可降低噪声。而优势模态的确定，必须建立在模态分析基础之上。 5.识别结构系统的载荷。 某些结构在工作时所承受的载荷很难测量，这时，可通过实测响应和由模态分析所得的模态参数加以识别。此方法在航空，航天及核工程中应用广泛。 3. 模态分析的应用领域 1. 航空航天飞行器、船舶、汽车工业等 2. 土木领域：大桥、大坝、高层建筑、海洋平台、闸门、桩基检测 3. 各种机械设备：如机床、发电设备、压缩机、气轮机 4. 军工领域 4. 模态分析的步骤是什么？ 机器、建筑物、航天航空飞行器、船舶、汽车等的实际振动千姿百态、瞬息变化。模态分析提供了研究各种实际结构振动的一条有效途径。首先，将结构物在静止状态下进行人为激振，通过测量激振力与振动动响应并进行双通道快速傅里叶变换（FFT）分析，得到任意两点之间的机械导纳函数（传递函数）。用模态分析理论通过对试验导纳函数的曲线拟合，识别出结构物的模态参数，从而建立起结构物的模态模型。根据模态叠加原理，在已知各种载荷时间历程的情况下，就可以预言结构物的实际振动的响应历程或响应谱。 近十多年来，由于计算机技术、FFT分析仪、高速数据采集系统以及振动传感器、激励器等技术的发展，试验模态分析得到了很快的发展，受到了机械、电力、建筑、水利、航空、航天等许多产业部门的高
生物特征识别技术的发展趋势 随着信息社会对个人身份认证与管理需求的不断增长，生物特征识别技术及其相关产品已经大量地进入到了社会生活的各个方面，为不断提高人类生活的品质做出了贡献。但是，生物特征识别技术在实际的应用过程中也出现了一些问题，同时，人们针对目前已经得到广泛应用的一些生物特征识别技术也提出了的质疑与挑战。例如，人体指纹可以比较容易地被复制与伪造，从而存在利用伪造的指纹副本对指纹识别系统进行欺骗的可能性。而且，通过一定的技术手段获取人体指纹进行伪造的难度并不大。2006年，美国的科普节目MythBusters利用一种模仿人体组织特性的凝胶材料制作了人体的指纹副本，然后利用这个伪造的指纹副本成功地通过了指纹识别系统的认证。在2009年，Duc Nguyen更是非常容易地利用一张真人大小的黑白图片通过了联想笔记本所用的人脸识别系统的用户登录认证。 为什么会出现这样的问题呢？首先需要从生物特征识别技术的原理谈起。生物特征（这里特指人体的生物特征）之所以能够作为个人身份鉴别与识别的有效手段，这是由其自身所具有的四个特点所决定的：普遍性、唯一性、稳定性和不可复制性。生物特征的普遍性与唯一性在多数情况下可以得到满足，而稳定性和不可复制性则因各种生物特征的自身特点而有所不同。而且，受限于传感器与生物特征识别算法的性能，生物识别系统在识别精度与防伪性能上将会有所下降。例如，在理论上，只要人体面部细节特征足够多，那么即使是双胞胎也可以进行区分。实际上，对于一个现实的生物识别系统而言，要做到这点几乎是不可能的。但是也没有必要太过悲观，人们可以通过采取多种生物特征相融合的识别方式，即多模态识别来提高系统的精度和保证系统防伪性。未来生物特征识别技术的发展趋势大致可分为三个方向：多模态、非接触和网络化。 多模态：采用多模态生物特征融合技术可以获得比单一生物特征识别系统更好的识别性能和可靠性，并增加伪造人体生物特征的难度与复杂性，提高系统的安全性。多模态生物特征识别技术是指综合利用来自同一生物特征的多种识别技术，或者来自不同生物特征的多种识别技术，对个人身份进行判断的生物特征识
基于多模态融合的情感识别研究 多模态情感识别在情感计算中是一个具有挑战性的课题,因为从多模态数据中提取出具有判别性的特征来识别人类情感中的细微差 距仍有很高的难度。当前的研究中,基于现有的三种多模态融合的策略:特征层融合、决策层融合和模型层融合提出的算法都是偏向浅层的特征融合方案,容易造成联合特征表达的判别性不足。而设计精巧的融合模型或大型神经网络由于复杂的设计和庞大的参数,又使得特征提取的耗时过长。为了解决多模态联合特征判别性不足和特征提取耗时之间的矛盾,本文提出了一种深度模态融合的网络模型来完成多模态数据融合的情感识别任务。该模型首先利用滑动窗口将音视频信号切割成数据片段,获得最小边框标记的人脸关键帧图像和语音信号的三维梅尔倒频谱,对两路输入信号分别使用带残差的深度方向可分离的卷积核进行特征提取和特征融合,最后在联合特征上训练分类器,实现包括喜悦、悲伤、惊喜、厌恶、愤怒、恐惧和正常在内的七种不同情感的分类任务。本文在RML、eNTERFACE05和BAUM-ls音视频情感识别公开数据集上进行了训练和测试,实验结果取得了较好的分类效果。为了能够拓宽情感识别技术在各个领域中的应用,本文设计并实现了一个多模态情感识别分析系统,系统包含了数据采集输入、数据预处理、情感识别算法、数据分析计算、前端可视化和系统管理等六个模块。该系统可以根据数据模态的不同,选择不同的识别算法, 实现对离线图片、音频、视频文件等多种模态数据的情感识别,支持对视频数据进行视频情感成分分析和实时视频情感识别两类任务。本
文对该系统进行了详细的设计和实现,测试了系统各项功能,并将系 统应用于社交媒体中的视频观点分析和医疗康复中的视频识别辅助。
第七章 固有模态理论 §7.1 离散有限元模型的振动基本方程 7.1.1 模型抽象化 结构动力学的理论基础是弹性动力学。主要的研究内容是结构系统的有限元建模理论和动力学分析方法，包括振动特性分析与动响应分析。结构系统的建模过程可分为两个过程。首先是从工程实际出发，对实际结构系统作力学抽象。取出实际结构的力学内容，包括它的几何构形、运动与变形、载荷与内力，以及材料性能等，构造一个力学模型。这个过程是个重要的定性过程。然后是对构造力学模型进一步作数学的描述，根据力学原理给定各力学量之间的数量关系，建立起数学模型。这是个定量过程。建立有限元模型采用的是离散化概念。在第四章至第六章介绍了动力学有限元的基本理论和有限元特性矩阵的生成方法。在定性建模过程中，对构形进行离散化，将作为连续介质的结构系统进行网格划分，划分成有限元。在变形与受力分析的基础上确定有限元类型，选取节点并进行编号，生成结构系统的节点位移向量{x }，确定结构系统的自由度数。在定量建模过程中，首先对有限元的力学量场变量进行离散化，在力学分析或能量分析基础上确定有限元的特性，包括刚度特性、惯性特性，以及阻尼特性，生成有限元刚度矩阵、质量矩阵和阻尼矩阵等特性矩阵。最后进行装配集成生成结构系统的数学模型，通俗的说法是将有限元特性矩阵按其节点编号对号入座来形成结构系统的特性矩阵，再根据力学原理推导出结构系统有限元模型的动力学基本方程，生成在位移空间内的数学模型，其基本形式是 }{}]{[}]{[}]{[f x K x C x M =++ (7.1) 其中[K ]是结构系统的刚度矩阵，[M ]是其质量矩阵，[C ]是其阻尼矩阵。 7.1.2 数学模型的分类 对一个实际的工程结构，可以从不同角度进行数学描述，构造出不同形式的数学模型。结构系统的动力学现象是在时、空域内发生，它的描述是在一定的空间域和时间域内给出。选取不同的空间域和不同的时间域，将给出不同的数学模型。不同的数学模型描述的是同一个结构系统，所以，一般地说它们之间是可以互相变换的。 结构系统的数学模型按所选取的位移空间来分类，可分为： （1）物理位移空间的数学模型 结构动力学通常是采用位移向量作为基本自变量来描述结构系统特性的，称之为位移法。结构系统动力学基本方程（7.1）式是定义在有限元模型的节点位移{x }所在位移空间内。这个位移空间是由结构系统各个节点自由度上的实际位移基向量所张成的，它具有明确的物理意义，故又称之为物理位移空间（简称为位移空间）。所以，结构系统的有限元模型是物理位移空间的数学模型，由一个二阶常微分方程组给出。结构系统运动状态更完整的描述是状态向量。对于（7.1）式给出的二阶常微分方程组这类数学模型，其状态向量是 由位移向量{x }和速度向量组成，它们构成为一个状态空间。这样的数学模型将是一阶常微分方程组，由它的初始状态向量和结构系统所受的作用可唯一地决定它的整个运动过}{x 1