西南科技大学硕士研究生学位论文第V页
目录
摘要 ................................................... I Abstract............................................... III 1 绪论 (1)
1.1 课题研究背景及意义 (1)
1.2 国内外研究现状 (2)
1.3 本文主要研究内容 (6)
1.4 本文的结构安排 (7)
2 自然人机交互理论基础 (8)
2.1 人机交互发展历程与趋势 (8)
2.2 自然人机交互技术分类 (9)
2.3 自然人机交互设计原则 (10)
2.4 自然人机交互系统实现方案 (11)
2.5 本章小结 (13)
3 视觉手势识别技术研究 (14)
3.1 视觉手势识别技术的相关研究工作 (14)
3.1.1 视觉手势识别技术概述 (14)
3.1.2 实时手势交互应用特点 (16)
3.2 基于几何特征的手势识别方法 (17)
3.2.1 手势图像提取 (17)
3.2.2 手势几何特征定义 (19)
3.2.3 手势分析和识别 (21)
3.2.4 实验结果与分析 (22)
3.3 本章小结 (25)
4 肢体动作识别技术研究 (26)
4.1 肢体动作识别技术相关研究工作 (26)
4.1.1 典型肢体动作识别方法 (26)
西南科技大学硕士研究生学位论文第VI页
4.1.2 肢体动作识别算法小结 (27)
4.2 姿势序列有限状态机动作识别方法 (27)
4.3.1 肢体节点坐标系建立 (28)
4.3.2 肢体节点特征向量定义 (30)
4.3.3 姿势序列FSM构造 (32)
4.3.4 实验结果与分析 (36)
4.3 本章小结 (40)
5 基于自然人机交互技术的应用实现 (41)
5.1 智慧旅游虚拟互动体验系统 (41)
5.1.1 系统背景与意义 (41)
5.1.2 系统原理与框架 (41)
5.1.3 系统软件功能实现 (42)
5.1.4 系统分析与应用 (45)
5.2 智能管家机器人SHRobot (45)
5.2.1 系统背景与意义 (45)
5.2.2 系统原理与框架 (46)
5.2.3 系统软件功能实现 (47)
5.2.4 系统分析与应用 (51)
5.3 虚拟装配交互系统 (52)
5.3.1 系统背景与意义 (52)
5.3.2 系统原理与框架 (52)
5.3.3 系统软件功能实现 (53)
5.3.4 系统分析与应用 (57)
5.4 本章小结 (58)
结论 (59)
致谢 (61)
参考文献 (63)
攻读硕士学位期间取得的成果 (68)
西南科技大学硕士研究生学位论文第1页
1绪论
1.1课题研究背景及意义
随着虚拟现实和计算机技术的不断发展，人机交互方式在不断发
生革命性的变化。传统的人机交互主要以键盘、鼠标等交互方式为基础，这些方式要求用户掌握一些计算机输入设备操作技能，交互方式
不够直接，在部分特定场景下，该类交互模式很难适应人机交互的需求。虽然至今仍是以使用鼠标和键盘为主，但其使用过程中暴露出来
的不便捷、不自然，在很大程度上限制了人机交互的进一步发展。为
了进一步提高计算机的控制性、交互性和协作性，需要更深入的研究
更加便捷的人机交互活动，其中新一代人机交互技术——自然人机交
互（Natural Human-Computer Interaction, NHCI）[1,2]成为近年来人机
交互领域的研究热点。新一代的自然人机交互系统可以看成一个将人
的手势、动作、声音、表情等信息作为计算机的输入信息的多功能感
知器[3]，使用户与计算机的交互摆脱了键盘及鼠标的束缚，在人机交
互过程中，突破了从计算机诞生至今必须由人来适应机器的屏障，人
机交互变得更加自然、直接，更符合人的交流使用习惯，因而成了近
年来学者们研究的热点。
目前，自然人机交互技术正不断渗透到各个领域。在教学上，为
学员可视化展示教学场景，实际动手学习相关技能，更具参与性；在
医学领域，事先在电脑前模拟医学步骤，会减少新学员的心理负担，更易于模拟练习；在军事上，通过对武器装备和战场环境进行模拟仿真，提高士兵训练效率，同时降低训练成本；在娱乐互动上，玩家采
用手势和动作来控制游戏中的虚拟人物及道具，更具互动性和娱乐性。
在数字娱乐行业的虚拟角色、虚拟场景的控制交互、现代汽车制
造业的虚拟装配等方面，自然人机交互技术都有着非常重要的运用。然而，自然人机交互应用还处于初级发展阶段，基于自然人机交互技
术的研究和运用还有巨大的发展空间，许多特定领域自然人机交互系
统仍然非常缺乏，尤其是基于视觉的自然人机交互技术，由于其不依
赖附着于人体的外部设备，非接触式交互，通用性强、成本相对较低，
更加适合于普及应用。因此，如何更好更有效地将自然人机交互技术