2014，50（22）1引言情感特征提取是语音情感识别中重要的步骤，特征提取的好坏直接影响情感识别的准确率[1]。基于确定性线性系统理论，传统语音情感特征主要提取三种重要的声学特征：韵律特征、音质特征、谱特征[2]。近年来，研究者开始基于语音本质上是非平稳非线性的这一特点提取情感特征，主要提取情感语音的瞬时参数特征[3]和混沌特征[4-7]。其中有张卫等人用EMD 瞬时参数结合Teager 能量用于语音情感识别[8]，取得了一定的识别效果，但是实验只针对“高兴、生气、中立”三种情感，而且EMD 的
计算速率也不高。文献[9-10]用分形维表征语音的混沌特征，并作为新的语音特征进行识别实验，虽然平均识别率达到了82.4%，但是生气的识别率只有70%，同时也存在提取特征速率不高的缺点。
通过分析目前引入的非线性特征，发现特征提取效率和最后的识别效果还有很多局限性，有待进一步的改进。由于固有时间尺度分解[11]（Intrinsic Time-scale Decomposition ，ITD ）具有端点效应小、计算速度快、提ITD 在语音情感识别中的研究
叶吉祥1，2，刘亚1
YE Jixiang 1，2,LIU Ya 1
1.长沙理工大学计算机与通信工程学院，长沙410114
2.中南大学信息科学与工程学院，长沙410083
1.College of Computer and Communication Engineering,Changsha University of Science and Technology,Changsha 410114,China
2.College of Information Science and Engineering,Central South University,Changsha 410083,China
YE Jixiang,LIU Ya.Speech emotion recognition based on Intrinsic Time-scale https://www.doczj.com/doc/1a19119515.html,puter Engineering and Applications,2014,50（22）：203-206.
Abstract ：In order to express speech emotional state better,this paper takes the Intrinsic Time-scale Decomposition （ITD ）into extracting speech emotion features,decomposes the emotion speech into a sum of Proper Rotation （PR ）com-ponents,extracts instantaneous characteristic parameters and correlation dimension as new emotional characteristic param-eters,combines with traditional features and uses Support Vector Machine （SVM ）for speech emotional recognition.The results show that recognition accuracy is improved obviously through using PR features parameters.
Key words ：Intrinsic Time-scale Decomposition （ITD ）;Proper Rotation components （PR ）;PR features parameters;emo-tion recognition
摘要：为了更好地表征语音情感状态，将固有时间尺度分解（ITD ）用于语音情感特征提取。从语音信号中得到前若干阶合理旋转（PR ）分量，并提取PR 分量的瞬时参数特征和关联维数，以此作为新的情感特征参数，结合传统特征使用支持向量机（SVM ）进行语音情感识别实验。实验结果显示，引入PR 特征参数后，与传统特征的方案相比，情感识别率有了明显提高。
关键词：固有时间尺度分解；合理旋转分量；PR 特征参数；情感识别
文献标志码：A 中图分类号：TP391doi ：10.3778/j.issn.1002-8331.1402-0342
?信号处理?
基金项目：湖南省自然科学基金重点项目（No.10jj2050）。
作者简介：叶吉祥（1963—），男，博士，教授，主要研究方向：人工智能、语音情感计算；刘亚（1987—），女，硕士研究生，主要研究方
向：语音情感识别。E-mail ：huyebowen@https://www.doczj.com/doc/1a19119515.html,
收稿日期：2014-02-27修回日期：2014-04-08文章编号：1002-8331（2014）22-0203-04
CNKI 网络优先出版：2014-06-18,https://www.doczj.com/doc/1a19119515.html,/kcms/doi/10.3778/j.issn.1002-8331.1402-0342.html Computer Engineering and Applications 计算机工程与应用
203
IBM语音识别输入系统(ViaVioce) V9.1 简体中文光盘版| 用嘴巴控制电脑... sjyhsyj 2009-8-28 12:13:271# 软件大小：276.08MB 软件语言：多国语言 软件类别：国外软件 / 汉字输入 运行环境：Win9x/NT/2000/XP/ 软件介绍： 该系统可用于声控打字和语音导航。只要对着微机讲话，不用敲键盘即可打汉字，每分钟可输入150个汉字，是键盘输入的两倍，是普通手写输入的六倍。该系统识别率可达95%以上。并配备了高性能的麦克风，使用便利，特别适合于起草文稿、撰写文章、和准备教案，是文职人员、作家和教育工作者的良好助手。 IBM潜心研究26年，他领导了世界的语音识别技术，其语音识别产品在全球销售已达一百万套以上。使用语音输入方式，您的工作空间更加自由舒畅: *即使您不会打字，也可迅速准备好文稿； *只要集中精力思考问题，无须琢磨怎样拼音，怎样拆字； *当您疲劳时,闭上眼、伸伸腰，双手方在脑后，然后轻松地说：开始听写吧... ... 注：价值超数千元的IBM的中文语音录入工具，有耳麦的朋友可以试一试，也可以当作学习普通话的工具，没有理由不下载使用它。 IBM ViaVoice语音输入系统详解 作者: 艾寒出处: 天极网 目前汉字输入的方式主要有四种：键盘输入，手写输入，扫描输入和我们现在要谈到的语音输入。让我们先来了解一下这四种输入方式。 键盘输入：键盘输入基本上是基于各种输入法，主要又分为字形输入法和拼音输入法。实际上字形输入法是不符合人的写作思维习惯，因为人们在措辞时，头脑中首先反映出的是即将这个词语的语音，所以字形输入法更适合专业录入人员使用。拼音输入法也分两种，一种以词语为输入单位，另一种以语句为输入单位，而后者不符合写作的思维习惯，因为人们在写作时是以词为思考单位。键盘输入法在输入速度有要求的情况下对于键盘操作、指法要求比较高； 手写输入：手写输入是最容易上手的输入方法，但是同样由于手写输入的先天不足，很难达到较高的输入速度； 扫描输入：扫描输入对于硬件要求比较高，主要是适用于资料的整理； 语音输入：语音输入对输入人员的键盘操作能力、指法要求很低，几乎可以说你只要会说汉语，就可以进行语音输入。 语音输入尤其是汉字语音输入经历了很长时间的研究和应用，到目前已经达到了一个相
基于安卓的语音情感识别系统设计与实现 语音情感识别技术是当前情感计算与语音信号领域的热点问题。作为人机交互之中的一个重要组成部分,在疾病诊断、刑侦破案、远程教育等领域也有日趋广泛的应用。作为人机交互之中的一个重要组成部分,语音情感识别技术却由于情感本身的定义不确定性与表征情感的特征的模糊性,使得语音情感识别技术成为了一个难题。为了解决语音情感识别技术中识别率不高且还不能做到人机交互应用的难题,本文主要进行了以下几点研究:1.引入非线性特征Teager能量算子,并将Teager能量算子与MFCC(Mel-Frequency Cepstral Coefficients,梅尔频域倒谱系数)相结合提取NFD_Mel(Nonlinear Frequency Domain Mel,非线性梅尔频域参数),实验结果表明该特征可以从非线性的角度提取特征,并与传统特征相结合可以有效提高识别率,在德国柏林情感数据库识别率达到了82.02%,相比不采用 NFD_Mel的传统方法,识别率提高了3.24%。2.我们创新性地提出了一种基于倒谱分离信号的非特定人语音情感识别方法:声门与声道信号都包含了丰富的情感信息,由于个人声道的差异,通常声道信息则更 多的包含了个人特征,这对于我们非特定人的情感识别工作产生了很多的干扰。基于非特定人的情感识别效果则不如特定人。为了克服现有技术的不足,我们创新性地提出了一种基于倒谱分离信号的非特定人语音情感识别方法,该方法利用倒谱分离信号,保留全部的声带信 息并摒弃一部分的声道信息,同时寻找最佳分离点,最后对处理后的 信号在复倒谱重构并提取特征,可以有效提高非特定人语音情感识别
传感器与微系统（Transducer and Microsystem Technologies）2012年第31卷第2期 语音情感识别中特征参数的研究进展* 李杰1，周萍2 （1．桂林电子科技大学计算机科学与工程学院，广西桂林541004； 2．桂林电子科技大学电子工程与自动化学院，广西桂林541004） 摘要：语音情感识别是近年来新兴的研究课题之一，特征参数的提取直接影响到最终的识别效率，特征 降维可以提取出最能区分不同情感的特征参数。提出了特征参数在语音情感识别中的重要性，介绍了语 音情感识别系统的基本组成，重点对特征参数的研究现状进行了综述，阐述了目前应用于情感识别的特征 降维常用方法，并对其进行了分析比较。展望了语音情感识别的可能发展趋势。 关键词：语音；情感识别；特征参数；特征降维 中图分类号：TP391文献标识码：A文章编号：1000—9787（2012）02—0004—04 Research progress on feature parameters of speech emotion recognition* LI Jie1，ZHOU Ping2 （1．School of Computer Science and Engineering，Guilin University of Electronic Technology，Guilin541004，China；2．School of Electric Engineering and Automation，Guilin University of Electronic Technology，Guilin541004，China） Abstract：Speech emotion recognition is one of the new research projects，the extraction of feature parameters extraction influence the final recognition-rate efficiency directly，dimension reduction can extract the most distinguishing feature parameters of different emotions．The importance of feature parameters in speech emotion recognition is point out．The system of speech emotion recognition is introduced．The common methods of feature parameters is detailed．The common methods of dimension reduction which are used in emotion recognition are compared and analyzed．The development of speech emotion recognition in the future are prospected． Key words：speech；emotion recognition；feature parameter；dimension reduction 0引言 随着计算机技术的高速发展和人类对计算机依赖性的不断增强，人机交流变得越来越普遍，人机交互能力也越来越受到研究者的重视，语音情感识别就是人机交互与情感计算的交叉研究领域。语音中的情感之所以能够被识别与表达，是因为语音特征在不同情感状态下的表现不同。因此，很多研究者对特征与情感类别之间的对应关系产生了浓厚的兴趣并进行了深入的探讨。Murray I和Amott J L完成的实验得出了基频、能量、时长等韵律特征，以及语音质量特征与情感之间的定性关系［1］，使得韵律学特征成为语音情感识别的常用特征。此后，研究者又加入了共振峰参数和语音学特征，如MFCC，使得韵律学特征与语音学特征结合识别情感。通常在利用这些基本特征进行研究时，还需要求出其派生特征和各种统计特征，如范围、均值和方差等，并把它们组成特征向量。由于到目前为止，声学特征与情感状态的对应关系缺乏统一的结论，为了尽可能保留有意义的信息，研究者只能在研究中保留这维数少则几十条多则上百条的特征向量。但根据模式识别的理论，高维特征集合不仅不会提高识别率，还会造成“维数灾难”［2］。大量的研究表明：语音情感识别的关键就在于从数量众多的特征中求得高效的情感声学特征组，这就需要用到特征降维技术。 目前，已有数篇综述文献总结了语音情感识别的研究成果［3 6］，但主要都是针对识别算法的研究进展进行综述。本文从模式识别的角度对目前语音情感识别研究中所采用的特征降维技术进行总结，并对近几年提出的情感特征参数进行阐述。 1语音情感识别系统的概述 基于语音的情感识别大致分为预处理、特征提取和情感分类三步，大致框架如图1所示。特征提取作为情感分 收稿日期：2011—07—20 *基金项目：国家自然科学基金资助项目（60961002）4
山西大学研究生学位课程论文（2014 ---- 2015 学年第 2 学期） 学院（中心、所）：计算机与信息技术学院 专业名称：计算机应用技术 课程名称：自然语言处理技术 论文题目：语音识别综述 授课教师（职称）： 研究生姓名： 年级： 学号： 成绩： 评阅日期： 山西大学研究生学院 2015年 6 月2日
语音识别综述 摘要随着大数据、云时代的到来，我们正朝着智能化和自动化的信息社会迈进，作为人机交互的关键技术，语音识别在五十多年来不仅在学术领域有了很大的发展，在实际生活中也得到了越来越多的应用。本文主要介绍了语音识别技术的发展历程，国内外研究现状，具体阐述语音识别的概念，基本原理、方法，以及目前使用的关键技术HMM、神经网络等，具体实际应用，以及当前面临的困境与未来的研究趋势。 关键词语音识别；隐马尔科夫模型；神经网络；中文信息处理 1.引言 语言是人类相互交流最常用、有效的和方便的通信方式，自从计算机诞生以来，让计算机能听懂人类的语言一直是我们的梦想，随着大数据、云时代的到来，信息社会正朝着智能化和自动化推进，我们越来越迫切希望能够摆脱键盘等硬件的束缚，取而代之的是更加易用的、自然的、人性化的语音输入。语音识别是以语音为研究对象，通过对语音信号处理和模式识别让机器自动识别和理解人类口述的语言。 2.语音识别技术的发展历史及现状 2.1语音识别发展历史 语音识别的研究工作起源与上世纪50年代，当时AT&T Bell实验室实现了第一个可识别十个英文数字的语音识别系统——Audry系统。1959年，J.W.Rorgie和C.D.Forgie采用数字计算机识别英文元音及孤立字，开始了计算机语音识别的研究工作。 60年代，计算机应用推动了语音识别的发展。这时期的重要成果是提出了动态规划（DP）和线性预测分析技术（LP），其中后者较好的解决了语音信号产生模型的问题，对后来语音识别的发展产生了深远的影响。 70年代，LP技术得到了进一步的发展，动态时间归正技术（DTW）基本成熟，特别是矢量量化（VQ）和隐马尔科夫（HMM）理论的提出，并且实现了基于线性预测倒谱和DTW技术的特定人孤立语音识别系统。 80年代，实验室语音识别研究产生了巨大的突破，一方面各种连接词语音识别算法被开发，比如多级动态规划语音识别算法；另一方面语音识别算法从模板匹配技术转向基于统计模型技术，研究从微观转向宏观，从统计的角度来建立最佳的语音识别系统。隐马尔科夫模型（HMM）就是其典型代表，能够很好的描述语音信号的时变性和平稳性，使大词汇量连
太原理工大学信息工程学院 本科毕业设计（论文）开题报告 毕业设计(论文)题目 语音情感识别及其特征提取的研究 学生姓名付建梅导师姓名张雪英 专业通信工程 报告日期2011.4 班级0701 指导教 师意见 签字年月日 专业(教 研室)主 任意见 年月日系主任 意见 年月日
1. 国内外研究现状及课题意义 1.1课题研究意义 现在社会，人类跟计算机的交往越来越受到研究者的重视。自然和谐的人机界面的沟通应该能理解用户的情绪和意图，对不同用户、不同环境、不同任务给予不同的反馈和支持。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并针对人的情感做出智能、灵敏、友好反应的计算系统，即赋予计算机像人一样地观察、理解和生成各种情感特征的能力，使计算机能够更加自动适应操作者。实现这些，首先必须能够识别操作者的情感，而后根据情感的判断来调整交互对话的方式。 情感计算研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、自然人机界面、情感机器人等。情感计算，受到越来越多的国内外学者和研究机构的重视。美国的各大信息技术实验室正加紧进行情感计算系统的研究。例如，麻省理工学院媒体实验室的情感计算小组研制的情感计算系统，通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据，然后由一个“情感助理”来调节程序以识别人的情感。目前国内的情感计算研究重点在于，通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建个人的情感计算系统。情感计算已经应用到生活中的各个领域：在信息家电和智能仪器中增加自动感知人们情绪状态的功能，可以提供更好的服务：在信息检索过程中，通过情感分析解析功能，则可提高智能信息检索的精度和效率：在远程教育平台中，情感计算技术的应用能提升教学效果；利用多模式的情感交换技术，还可以构筑更贴近人们生活的智能空间和虚拟场景。此外，情感计算还能应用在机器人、智能玩具、可视会议、唇读系统、可视电话系统的应用场合，在传输语音信号的时候能够显示视频动画，将有助于人类特别是听力有障碍的人对语音的理解。 正是基于以上课题对于科研、社会的重要意义，我的毕业论文的主要任务是建立带有情感的音视频数据库，研究音频信号中能体现情感的特征，分析哪些特征可以有效地表达情感，进行特征提取并进行情感识别实验。这些工作是为后面进行带有感情的音视频合成动画系统建立基础。 1.2国内外研究现状 语音信号处理中，语音识别作为一个重要的研究领域，已经有很长的研究历史，其中语音特征提取与情感识别又是其中的一个重要方面。 在1972 年，Williams 发现人的情感变化对语音的基音轮廓有很大的影响，这是国外最早开展的语音情感方面的研究之一。1990 年，麻省理工学院多媒体实验室构造了一个“情感编辑器”对外界各种情感信号进行采样，如人的语音信号、脸部表情信号等来识别各种情感。1996 年日本东京Seikei 大学提出情感空间的概念并建立了语音情感模型。2000 年，Maribor 大学的Vladimir Hozjan 研究了基于多种语言的语音情感识别。2009 年4月，日本产业技术综合研究所(AIST)研制一个具有丰富表情的新型女性机器人“HRP-4C”。通过对主人语音信号的识别，机器人可以做出喜、怒、哀、乐和惊讶的表情等。在国内，语音情感识别的研究起步较晚。2001 年，东南大学赵力等人提出语音信号中的情感识别研究。2003 年，北京科技大学谷学静等人将BDI Agent 技术应用与情感机器人的语音识别技术研究中。另外，2003 年12 月中科院自动化所等单位在北京主办了第一届中国情感计算及智能交互学术会议，2005 年10 月又在北京主办了首届国际情感计算及智能交互学术会议。
人机交互中的语音情感识别 一．研究内容及其意义 随着信息技术的高速发展和人类对计算机的依赖性不断增强，人机交互(Human-Computer Interaction)能力越来越受到研究者的重视。如何实现计算机的拟人化，使其能感知周围的环境和气氛以及对象的态度、情感的内容，自适应地为对话对象提供最舒适的对话环境，尽量消除操作者和机器之间的障碍，已经成为下一代计算机发展的目标。显然，人的大脑所表现出来的心智现象不仅仅体现在“智”的方面，而且还体现在“心”的方面。人工智能已经不仅仅把研究重点放在对人脑智能实现上，而且也开展了对情感和意识方面的研究。一般认为情感是通过语言、姿态、音乐和行为等表达模式来进行交流的，而其中语音信号中的情感信息处理的研究正越来越受到人们的重视。 包含在语音信号中的情感信息是一种很重要的信息资源，它是人们感知事物的必不可少的部分信息。例如，同样一句话，由于说话人表现的情感不同，在听着的感知上就可能会有较大的差别。然而传统的语音信号处理技术把这部分信息作为模式的变动和差异噪声通过规则化处理给去掉了。实际上，人们同时接受各种形式的信息，怎样利用各种形式的信息以达到最佳的信息传递和交流效果，是今后信息处理研究的发展方向。 语音之所以能够表达情感,是因为其中包含能体现情感特征的参数。研究认为,某种特定的情感状态所引起的语音参数变化在不同的人之间是大致相同的,仅有微小差别。因而，情感的变化能够通过语音的特征参数来反映，研究从语音中提取这些情感参数就显得非常重要。通常认为情绪所引起的生
理上的变化会对语音带来直接的影响，而与人的生理唤醒程度相关的特征参数(声学参数如音强、平均基音、语速等)能够更好地反映语音中的情感 ,如恐惧和生气所引起的生理颤动会带来相应的基频摆动;不高兴会导致声道的紧张从而引起语音信号频谱发生变化。另外，语音情感识别中所采用的识别方法也会对结果产生影响。 目前，关于情感信息处理的研究正处在不断的深入之中，而其中语音信号中的情感信息处理的研究正越来越受到人们的重视，如美国、日本、欧洲、韩国等许多国家的一些研究单位都在进行情感语音处理研究工作。语音情感识别有着非常广泛的应用前景。比如，用于自动远程电话服务中心，及时发现客户的不满情绪；用于远程教学和婴儿教育，及时识别学生的情绪并做出适当的处理，从而提高教学质量；也可以用于刑事侦察中自动检测犯罪嫌疑人的心理状态以及辅助测谎等。 二．国内外的研究现状 语音情感识别是语音信号处理领域崛起的新秀，相关研究至今已有二十余年的研究历史，对提升智能人机交互水平和丰富多媒体检索方式有着重要的实际意义。 在1972年Williams发现人的情感变化对语音的基因轮廓有很大的影响，这是国外最早开展的语音情感方面的研究之一。1990年MIT多媒体实验室构造了一个“情感编辑器”对外界各种情感信号进行采样，如人的语音信号、脸部表情信号等来识别各种情感[1]。1996年日本东京Seikei大学提出情感空间的概念并建立了语音情感模型。2000年，Maribor大学的Vladimir Hozjan研究了基于多种语言的语音情感识别[2]。2009年4月，日本产业技术综合研究所(AIST)研制
基于深度学习的语音情感识别建模研究 随着计算机技术的发展和人工智能的普及,语音情感识别研究收到学界和工业届的广泛关注。目前的情感识别任务大多采用人工提取多种声学特征并物理降维,构建特征工程的方法,提升识别结果。本文旨在探究语音中情感信息的表达,了解语音中情感信息的变与不变, 从语音中提炼出情感的本质特征,并搭建最合适的表征情感信息的网络结构。基于以上研究重点,本文内容包括以下几个部分:1.研究了基于传统声学特征的情感识别网络在大量的声学特征中,对现有数据做统计分析筛选出声学特征及其统计特征,搭建有效且完备的情感特征工程。从物理意义上出发,筛选合理的表达情感的特征并验证它们的有效性;从数学统计层面考虑,使用卡方检验做特征选择,去除特征集合的冗余信息,提高网络训练效率,构建完备的特征工程。2.研究了基于语谱图的深度学习情感识别网络语谱图几乎包含了所有的语音特征,二维频谱结构既可以体现谐波等激励源特征,又可以分析倒谱、共振峰等声道特性。深度神经网络引入非线性信息,具有自主学习输入数据特征的优点。搭建基于语谱图的深度学习情感识别网络,选用局部感知和跳跃连接的ResNet网络,并基于卷积核权重系数做出改进。再此基础上,搭建ResNet-LSTM网络,对ResNet网络学出的高层情感特征进行时序建模。3.引入了注意力机制,研究了低级描述符和高层语义信息的特征融合将经过验证的可以表征情感信息的声学特征集 合作,与ResNet-LSTM网络学习到的语音信号的高层语义信息进行融合,将融合后的特征经过DN-N网络分类输出,增加深度学习的解释性
和人工辅助。此外,引入注意力机制,探索语音中的关键帧信息。将学习到的注意力作为权重系数加入到人工提取的低级描述符特征中,并将它应用于特征融合实验。本文主要从情感的产生和感知层面出发,落实到特征和网络两个研究重点上展开工作,产生上探究如何构建具有情感表征意义的完备的特征集合,感知上从网络结构入手,尝试搭建具有情感认知的网络结构,并通过注意力机制讨论语音情感的局部关键性,结合产生、感知、和局部特性探讨语音情感的表达。
龙源期刊网 https://www.doczj.com/doc/1a19119515.html, 情感识别综述 作者：潘莹 来源：《电脑知识与技术》2018年第08期 摘要：情感交互在人机自然交互的研究中受到了很大的重视，而情感识别是人机情感交互的关键，其研究目的是让机器感知人类的情感状态，提高机器的人性化水平。该文首先对情感识别理论进行了概述，继而对情感识别的研究方法进行了分类描述，接着简述了情感识别的应用领域，最后对情感识别的发展进行了展望。 关键词：情感识别；综述；多模态融合；特征提取；情感分类 中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）08-0169-03 1引言 随着智能技术的迅猛发展以及智能机器在各领域的广泛应用，人们渴望对机器进行更深层次地智能化开发，使机器具备和人一样的思维和情感，让机器能够真正地了解用户的意图，进而让机器更好地为人类提供智能化的服务。在智能机器研究中，自然和谐的人机交互能力受到很大的重视。情感识别作为人机情感交互的基础，能够使机器理解人的感性思维，影响着机器智能化的继续发展，成为人机自然交互的关键要素。同时，情感识别融多学科交叉为一体，其发展将会带动多学科共同发展，其应用也会带来巨大的经济效益和社会效益。因而，情感识别技术的研究具有很大的发展前景和重要的学术价值。 2情感识别概述 情感是一种综合了行为、思想和感觉的状态。情感信息主要表现在内外两个层面：一是外在情感信息，是指通过外表能自然观察到的信息，如面部表情、唇动、声音、姿势等，二是内在情感信息，是指外部观察不到的生理信息，如心率、脉搏、血压、体温等。 情感识别本质上也是一种模式识别，它是指利用计算机分析各种情感信息，提取出描述情感的情感特征值，建立特征值与情感的映射关系，然后对情感信息进行分类，从而推断出情感状态的过程。 3情感识别的研究方法 情感识别的研究方法主要有：面部表情识别、语音情感识别、姿态表情识别、文本识别、生理模式识别和多模态情感识别。情感识别过程一般包括四个部分：数据获取、数据预处理、情感特征提取、情感分类。情感特征提取过程一般包括：特征提取、特征降维和特征选择。其中，特征提取的方式各有不同，而特征降维和选择的方式大致相同。
BMW中文声控系统 声控启动语音控制支持方言专车专用 宝马中文声控系统市场前景 在庞大的汽车销量的基础上，车载语音系统已成为现代汽车的重要亮点之一，但是由于技术的局限性，国内车载语音系统的发展始终比较缓慢，在国外广泛发展的车载语音控制系统在国内却处于技术空白阶段。现在，Qdis-isods让这种情况得到了根本性的改变。 qdis品牌联合众多院校精英，由多名各领域资深人士参与研发，根据中国市场特点以及中国用户使用习惯进行特殊定制，成功推出Qdis-isods系列产品，为广大车主提供车载语音控制的解决方案和专业服务。加载Qdis-isods车载语音系统后，用户用自己的声音即可完成相关操作，而不再只是使用传统的指定命令。 Qdis-isods系列产品支持中国多种方言，声音识别准确率高并支持多人识别，一举攻克了之前的技术难题，让车载语音系统全面进入中国市场。以前需要手动操作的控制，现在您和爱车直接对话就能实现，而且还能语音识别并控制后装增配的产品，满足客户多种智能语音操作的需求。随着车联网技术的发展，汽车的互联性会越来越强，我们可以把语音技术扩展到除终端和嵌入式系统以外的所有设备上，从而完成更复杂的识别控制任务。我们依然在不断创新实践，以谋求更多的成功案例。 Qdis-isods车载语音系统可以完美支持各类车型，金鼓德达将以一贯优秀的无损加装技术，让您在驾驶生活中发现更多乐趣。QDIS-ISODS系列，爱车从此智能！ 一、BMW中文声控系统主要功能 1.语音识别启动引擎 语音指令随时学习,支持所有方言,指令内容可以自由定义; 不影响原车启动键启动功能; 可以同时利用方向盘按键组合为密码启动; 语言指令和方向盘密码可以任意修改; 2.语音指令控制原车 语音指令随时学习,支持所有方言,指令内容可以自由定义;
万方数据
万方数据
１４６８ 小型微型计算机系统２０１０年 ４技术应用 ４．１机器人平台介绍 本文将语音情感识别技术应用在国家”八六三“高技术 研究发展计划项目”家庭生活支援多机器人系统”的语音子 系统中，验证了语音情感特征提取和情感识别方法的有效性．该机器人的头部能够实现眼球的转动、眼睑的闭合、嘴的闭合、头部的转动等并能做出基本的表情．机器人的结构设计和系统设计完全根据生理学人体结构来设计，控制系统采用上下位机结构．机器人的移动部分使用两轮差动机构进行驱动，并且配有两个６自由度的手臂，可以进行复杂操作．上位机采 电源Ｌ 毪。 －——ｚ＝＝一 —包ＱＱ翻 麦克风卜上位监控ＰＣ －—＝＝＝＝—??Ｊ 摄像头卜 ．．．．．．．．．．．．一 ———１—一Ｉ 工业现场总线 ｌ 自囱审豳豳囱囱 图２机器人平台构成 Ｆｉｇ．２ Ｔｈｅｓｌｒｕｃｔｕｒｅｏｆｒｏｂｏｔ ｐ／ａｆｆｏｒｍ 用工业ＰＣ机，主要负责导航、身体的协调控制、语音情感的识别、语音识别和语音合成等工作；下位机是基于现场总线的集散式控制模块，主要负责传感器信息接收及初级处理、电机驱动和运动控制等工作．监控模块与各执行机构之间通过传感系统进行联系，上位机和下位机通过局域网进行连接和通信．用户可以通过网络、手机、无线麦克风等方式实现对该机器人的控制，以此满足各种家庭信息的需求．通过下位监控模块的感知，机器人上位监控程序针对不同的语音输人识别出不同的情感状态，从而做出不同的情感表达和交互．如图２为机器入平台构成． 图３实验系统主界面 Ｈｇ．３ Ｔｈｅｍａｉｎｉｎｔｅｒｆａｃｅｏｆｅｘｐｅｒｉｍｅｎｔａｌｓｙｓｔｅｍ ４．２机器人语音情感识别系统实验过程 本实验主要完成机器人对语音信号的情感的识别，使人 与机器人之间可以完成情感和语音的交互，同时可使机器人听从人的指挥完成一定的任务．如图３为语音情感识别实验系统主界面． 在语音情感识别实验中，首先邀请８名大学生参加录音。 录音者均为表演专业学生．所录制语料经过４名非录音者进行听辨实验，去除了其中３０％左右情感类型不明显的语料， 挑选出共计５５０条语料用于测试，其中包含高兴，伤心，生气， 害怕，惊讶５类情感语料各１１０句左右，组成了录制情感语音数据库，录制格式为ｌｌＫＨｚ，１６ｂｉｔ的单声道ＷＡＶ音频格式；然后进行语音信号的特征提取并通过本文隐马尔可夫模型识别方法对语音中的情感进行识别和计算；同时语音识别模块会识别出语音中包含的文字信息，这样机器人可以根据文字和情感信息来与用户进行更人性化的交流．４．３实验结果分析与比较 表ｌ实验结果表明，伤心的识别率为８６．４％，生气的识 别率为７３．６％，其他三种情感的识别率略低，平均识别率为６９．８％，还是比较理想的． 表１语音情感识别实验结果 Ｔａｂｌｅ１ Ｔｈｅｒｅｓｕｌｔｏｆ ｅｘｐｅｒｉｍｅｎｔ 文献［１４］研究了基音频率、振幅能量和共振峰等目前常 用的情感特征在语音情感识别中的作用，重点研究了加１。Ｃ 和ＡＭＦＣＣ，将处理后的频谱特征参数同原有的ＢＰ人工神经网络模型有效地结合起来，形成完整的语音情感识别系统。取得了６４．４％的平均识别率．该方法对于生气、高兴、伤心、害怕的识别率分别达到了６４．５％、５４．９％、８３．３％、５５．０％。而本 图４语音交互模块框图 Ｆｉｇ．４ Ｔｈｅ ｄｉａｇｒａｍｏｆｓｐｅｅｃｈｉｎｔｅｒａｃｔｉｏｎｍｏｄｕｌｅ 文中的识别方法对这几种情感的识别率都有所提高，平均识 别率也提高了５．４％．文献［１５］利用模糊熵理论来分析语音信号情感特征参数相对于识别情感模式的不确定度，提出了 一种利用模糊熵对情感参数有效性进行度量的方法，并将参 数有效性分析结合模糊综合判别对情感语音信号作情感识 万方数据
第六届全国人机语音通讯学术会议，267-271页，2001年11月20-22日，深圳 汉语连续语音识别中声学模型基元比较汉语连续语音识别中声学模型基元比较：： 音节音节、、音素音素、、声韵母 李净，徐明星，张继勇，郑方，吴文虎，方棣棠 语音技术中心，智能技术与系统国家重点实验室， 清华大学计算机科学与技术系, 北京, 100084 [lijing, xumx, zjy, fzheng, wuwh]@https://www.doczj.com/doc/1a19119515.html,, fangdt@https://www.doczj.com/doc/1a19119515.html, https://www.doczj.com/doc/1a19119515.html, 摘要 本文研究的是汉语连续语音识别中声学模型基元的选 择问题。根据汉语语音的特点，本文分别采用音节、 音素和声韵母等三种语音识别基元进行声学建模。为 了描述连续语音中的协同发音现象，本文针对音素和 声韵基元，设计了相应的问题集，利用基于决策树的 状态共享策略建立了上下文相关音素模型 （Triphone ）和上下文相关声韵模型（TriIF ），并对 几种声学基元进行了对比。实验结果表明，对于上下 文无关模型，音素和声韵模型都要劣于音节模型，而 对于上下文相关模型，Triphone 和TriIF 模型与音节 模型相比，识别性能有了很大提高，其音节误识率分 别降低了8.5%和23.6%。 1. 引言 声学建模是连续语音识别中声学层面处理的关键步骤。声学模型用来描述识别基元对应的特征矢量序列的产生过程。通过声学建模，可以估计待识别特征矢量序列所对应的语音识别基元，从而完成特征矢量序列到语音识别基元的识别转换。 基元的选择是声学建模中一个基本而重要的问题。在汉语连续语音识别中，可以选择的基元包括：词（Word ）、音节（Syllable ）、半音节（Semi-Syllable ）、声韵母（Initial/Final ）、音素（Phone ）等。识别基元的选择一般是基于语音学知识的，但是，基元也可以通过数据驱动的方式来产生，使用这种方式确定的基元可能在语音学上没有什么明确的意义，但也可以达到很好的性能。 对于词，在小词表语音识别系统中，或者命令与控制（Command & Control ）系统中，使用词作为识别基元是适当的。但是，在连续语音识别中将词作为识别基元是不合适的。首先，在连续语音识别系统中，词条的数目比较多，一般都要使用几千或者几万 条词条，所以声学模型的规模必然很大。这不但会增 加存储的开销，还会极大地增加搜索的复杂度。其 次，当词表以外的词条，即OOV （Out Of Vocabulary ）问题出现时，声学模型处理起来比较困 难。第三，要对这么多基元进行训练，必然需要一个 很大的数据库，并且要尽量覆盖词表中的词条，这一 点是很难达到的。所以，在汉语连续语音识别系统 中，采用类似于词这样较长的语音段作为识别基元是 不合适的。 对于音节，在汉语中，无调音节约有400个，如果考虑音调，有1300多个有调音节[1]。在进行上下文无关的声学建模时，使用有调或者无调音节是可以的，而且还可以取得相当好的性能，因为音节作为识别基元时，它很好地刻划了音节内部的变化。但是，在连续语音识别中，音节间的协同发音现象是比较严重的，因此，必须采用适当的方式来描述这种现象。一般地，上下文相关信息应在声学建模中加以考虑，这样，识别基元就会变成上下文相关的基元。如果采用音节作为识别基元，当考虑上下文信息时，基元数目会变得非常庞大，这将会使声学模型的规模变得无法接受。同时，由于基元数目过大，也会引起训练数据稀疏的问题，从而难以对模型参数给出较为准确的估计。所以，在进行上下文相关建模时，不适宜采用 音节模型。 音素在汉语中有三十多个（本文中定义的音素数目为35个）。音素基元在英语连续语音识别系统中得到了广泛的应用，并取得了很好的识别性能[2][3]。由此可见，音素也是一个很好的选择。但音 素并没有反映出汉语语音的特点，而且，相对于声韵母，音素显得更加不稳定，这一方面给手工标注带来了困难，同时，也给声学描述带来困难。 对于半音节和声韵母，它们在形式和数量上十分接近。半音节就是将音节分为两部分，而声韵母的划分更依赖于汉语语音学的知识。可以说，声韵母基元是适合汉语特点的一种识别基元，使用这种基元，还可以有很多语言学知识可以利用，从而进一步提高声 学模型的性能。声韵母作为识别基元具有以下优点： ? 汉语中的汉字是单音节的，而汉语中的音节是声韵结构的，这种独特而规则的结构，使对音节、以及词条的表示变得比较规则和统一； ? 使用声韵母作为识别基元，上下文相关信息也变得比较确定。比如，与声母相接的只能是韵母或者静音，而与韵母相接的也只能是声母或静音，而且，韵母左边相接的声母只能是与其搭配起来能够成汉语音节的那些声母。所以，上下文相关的声韵母基元的数目并不是基元数目的立方，而是远远小于这个数值的。
软件学报ISSN 1000-9825, CODEN RUXUEW E-mail: jos@https://www.doczj.com/doc/1a19119515.html, Journal of Software,2014,25(1):37?50 [doi: 10.13328/https://www.doczj.com/doc/1a19119515.html,ki.jos.004497] https://www.doczj.com/doc/1a19119515.html, +86-10-62562563 ?中国科学院软件研究所版权所有. Tel/Fax: ? 语音情感识别研究进展综述 韩文静1, 李海峰1, 阮华斌2, 马琳1 1(哈尔滨工业大学计算机科学与技术学院,黑龙江哈尔滨 150001) 2(清华大学计算机科学与技术系,北京 100084) 通讯作者: 韩文静, E-mail: hanwenjing07@https://www.doczj.com/doc/1a19119515.html, 摘要: 对语音情感识别的研究现状和进展进行了归纳和总结,对未来语音情感识别技术发展趋势进行了展望. 从5个角度逐步展开进行归纳总结,即情感描述模型、具有代表性的情感语音库、语音情感特征提取、语音情感识 别算法研究和语音情感识别技术应用,旨在尽可能全面地对语音情感识别技术进行细致的介绍与分析,为相关研究 人员提供有价值的学术参考;最后,立足于研究现状的分析与把握,对当前语音情感识别领域所面临的挑战与发展趋 势进行了展望.侧重于对语音情感识别研究的主流方法和前沿进展进行概括、比较和分析. 关键词: 人机交互;情感计算;情感描述模型;情感语音库;情感声学特征;语音情感识别 中图法分类号: TP391文献标识码: A 中文引用格式: 韩文静,李海峰,阮华斌,马琳.语音情感识别研究进展综述.软件学报,2014,25(1):37?50.https://www.doczj.com/doc/1a19119515.html,/ 1000-9825/4497.htm 英文引用格式: Han WJ, Li HF, Ruan HB, Ma L. Review on speech emotion recognition. Ruan Jian Xue Bao/Journal of Software, 2014,25(1):37?50 (in Chinese).https://www.doczj.com/doc/1a19119515.html,/1000-9825/4497.htm Review on Speech Emotion Recognition HAN Wen-Jing1, LI Hai-Feng1, RUAN Hua-Bin2, MA Lin1 1(School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China) 2(Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China) Corresponding author: HAN Wen-Jing, E-mail: hanwenjing07@https://www.doczj.com/doc/1a19119515.html, Abstract: This paper surveys the state of the art of speech emotion recognition (SER), and presents an outlook on the trend of future SER technology. First, the survey summarizes and analyzes SER in detail from five perspectives, including emotion representation models, representative emotional speech corpora, emotion-related acoustic features extraction, SER methods and applications. Then, based on the survey, the challenges faced by current SER research are concluded. This paper aims to take a deep insight into the mainstream methods and recent progress in this field, and presents detailed comparison and analysis between these methods. Key words: human-computer interaction; affective computing; emotion representation model; emotional speech corpora; emotion-related acoustic feature; speech emotion recognition 人类之所以能够通过聆听语音捕捉对方情感状态的变化,是因为人脑具备了感知和理解语音信号中的能 够反映说话人情感状态的信息(如特殊的语气词、语调的变化等)的能力.自动语音情感识别则是计算机对人类 上述情感感知和理解过程的模拟,它的任务就是从采集到的语音信号中提取表达情感的声学特征,并找出这些 声学特征与人类情感的映射关系.计算机的语音情感识别能力是计算机情感智能的重要组成部分,是实现自然 ?基金项目: 国家自然科学基金(61171186, 61271345); 语言语音教育部微软重点实验室开放基金(HIT.KLOF.2011XXX); 中央 高校基本科研业务费专项资金(HIT.NSRIF.2012047) 收稿时间:2013-05-08; 定稿时间: 2013-09-02; jos在线出版时间: 2013-11-01 CNKI网络优先出版: 2013-11-01 13:49, https://www.doczj.com/doc/1a19119515.html,/kcms/detail/11.2560.TP.20131101.1349.001.html
情感识别研究现状综述 ------------------------赵启明 摘要：语音情感识别是目前研究领域比较热门的话题，许多研究学者都作出很大的成就，但目前情感识别还不能大规模融入实际使用主要存在着几方面的问题，首先就是语音数据的获得，目前最主要的还是 现在对目前大家经常使用的一些特征提取，分类方法进行一些归纳总结 一、情感分类 经过Plutchik等人的研究，通过在激活-评估空间(Activation-Evaluation space)上对情感进行分析，认为情感分布在一个圆形的结构上，结构的中心是自然原点。对于自然原点，认为它是一种具有各种情感因素的状态，但是由于这些情感因素在该点的强度太弱而得不到体现。通过向周围不同方向的扩展，表现为不同的情感。情感点同自然原点之间的距离体现了情感的强度。由于各种情感在自然原点的周围排成了一个圆形，所以这种对情感进行分类的方法叫做情感轮(Emotion Wheel)，如图 2.2所示。对于任何一种情感，可以根据其情感强度和情感方向，在情感轮组成的二维平面中用唯一的一个情感矢量E来表示。其中情感强度表现为这个情感矢量的幅度值，而情感方向则表现为该情感矢量的角度。 大部分学者认为主要情感包括:害怕(fear)、愤怒(anger)、高兴（joy)、悲伤(sadness)和厌恶(disgust)，主要情感的特点有: 》主要情感是所有人类文化和社会化的哺乳动物所共有的，比如害怕。
》主要情感通常有特殊的表现，比如面部表情通常可以作为区分主要情感的依据。 》对于人类来说，主要情感通常在幼年就会出现。 》主要情感来自于进化的需要。比如，害怕是警告同类有危险出现。 次要情感由主要情感变化或混合得到，就像三元色混合原理一样。这类情感的生成理论也叫情感的调色板理论。次要情感包括自豪(高兴的一种变化形式)、感激(高兴的一种派生形式)、悲痛、惊奇等等。 在本文的研究中，针对主要情感，害怕(fear)、愤怒(anger)、高兴Joy)、悲伤(sadness)和厌恶(disgust)，加上一个常有的次要情感，惊讶(surprise)作为研究的情感对象。 六大类：害怕(fear)、愤怒(anger)、高兴（joy)、悲伤(sadness)和厌恶(disgust)惊讶(surprise) 二、语音数据库的制作和选择 1、语音数据库的制作 如何衡量一个语音数据库的好坏目前还没有一个统一的标准，不同的研究者使用的情感语音数据库存在许多差异。至今已有英语，德语，日语，荷兰语，西班牙语，丹麦语，瑞典语，汉语，俄罗斯语等情感语音数据库，少数语音库也含有多种语言，如[35]，但大部分都只包含一到两种语言，包含多种语音多个不同年龄不同性别说话者的大情感语音库至今还没有。此外各类语音的长短也不尽相同，有很短的只有一到几个字的词，也有具有七八个句子的段落[36]，但大部分是生活中常用的短句。目前研究中主要使用的语音数据库主要有两种，其真实性，实用性各有不同。 第一种数据库来自专业或业余演员的表演，或者是高校的学生和职员的模仿，这些参加录音的人想象自己处于某种情感状态中，朗读预先准备的句子或段落。用这种方法获取情感语音数据库的优点就是试验条件容易控制，且可以用不同情感重复同样的句子或段落，去除语意的影响，在同样条件下比较各种不同情感状态的语音特征。由于这种方法操作简单，目前大部分情感语音数据库都是用这种方法获得的。如Bhatti等人就是使用这种方法录制了包含六种情感和四种语言的500句情感语音[35]，而Nicholson则是请一个专业的广播演员进行八种情感语音的录音，其他100个日本人进行模仿并录音。但这类方法也有缺点，最大的问题就是其自然度很受质疑[37]，参加录音的人只是“想象”自己处于某种情感状态下或者是模仿专业演员的录音，因此跟现实情感还是有差距，当他们真的处于这种情感状态下时表现是否一样无从考证。 第二种数据库来自于虚拟环境中诱引出来的语音，这种方法让录音者置身于一个虚拟场景中，比如使用WOZ[38,39]场景让录音者感觉自己就像真的在跟一个计算机进行对话一样，从而发出尽可能真实的情感语音。或者使用计算机游戏让玩游戏者发出自己真实的喜怒哀乐[40] 。这种情况下录制的情感语音相对于第一种方法更接近现实，但由于录音者知道自己处于拟场景中，因此所表达的情感无法确定是否跟其在真实情况下一样，其自然度也无法保证。此外，虚拟场景的设置使得这一方法的操作比较困难，个体差异及其配合程度也直接影响情感语音的真实度。