单目视觉姿态自动测量方法研究
单目视觉测量技术以其高精度、非接触性和结构简单等优点一跃成为智能制造、航空航天、人工智能等领域的研究热点,其中高精度的姿态测量技术已经成为单目视觉测量领域迫切需要解决的难题和重点研究方向之一。针对目前基于合作目标的单目姿态测量方法需要人为手动匹配特征点和像点之间的对应关系,存在耗时、非自动等问题,本文提出一种基于合作立体靶标的单目视觉姿态自动测量方法,对姿态自动测量算法、合作靶标的设计以及图像特征提取等进行了研究,并搭建了系统软硬件平台对姿态测量精度进行了验证。
主要研究工作如下:首先,对摄像机成像模型中的各个坐标系关系进行阐述,并对针孔成像模型和非线性模型进行了介绍分析,在此基础上提出基于组合优化算法的姿态自动测量方法,即利用两种算法优势互补进行组合,实现姿态的自动测量,并对其中的原理进行了解释说明以及对自动测量的有效性进行了验证。其次,在自动姿态测量算法的基础上,设计了一种合作立体靶标,并对靶标的尺寸设计、特征点个数以及特征标志物的选择等进行了设计和分析。
基于靶标的设计,通过理论分析和实验检验确定每个图像处理环节,进而完成对靶标特征点的识别和中心提取,在此基础上,实现姿态的自动测量。最后,为验证本文姿态自动测量方法的精度,搭建了系统软硬件平台,设计并开发姿态测量软件获取实验测量数据,利用高精度二维转台对实验测量结果进行评定。
实验结果表明,当测量角度范围在[-30°,30°]时,姿态角的测量精度优于0.28°。此外,对引起测量误差的主要来源进行了分析,为进一步提高姿态测量精度奠定基础。
机器视觉测量技术杨永跃合肥工业大学 2007.3 目录 第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD 相机类 2.4 彩色数码相机 2.5 常用的图像文件格式
2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像 2 5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从 x 恢复形状的方法 5.6 测距成像
第六章标定 6.1 传统标定 6.2 Tsais 万能摄像机标定法 6.3 Weng ’ s 标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术第八章图像测量软件 (多媒体介绍 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附:教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
3 第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中,面临着自身能力、能量的局限性, 因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界,有效解决问题。 人类感知外部世界:视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器,赋予人类视觉功能极其重要。 机器视觉:用计算机来模拟生物(外显或宏观视觉功能的科学和技术。 机器视觉目标:用图像创建或恢复现实世界模型,然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备:摄像机、红外线、激光、超声波、 X 射线、 CCD 、数字扫描仪、超声成像、 CT 等 数字化设备 2 低层视觉(预处理 :对输入的原始图像进行处理(滤波、增强、边缘检测 ,提取角点、边缘、线条色彩等特征。 3 中层视觉:恢复场景的深度、表面法线,通过立体视觉、运动估计、明暗特征、纹理分析。系统标定
单目视觉图像深度测量方法研究 相机与其它传感器相比,具有能够直观反映客观世界、数据量大、信息丰富等特点,而且通常价格较低、配置方便,是自动化装置和机器人感知环境传感器中的优先选择之一。但由于普通相机在拍摄时获得的是被拍摄场景投影到成像平面上的二维图像,丢失了场景的深度信息,这使得机器无法通过图像直接得到场景中物体的远近、大小和运动速度等信息,因此需要从二维图像中恢复深度信息,即深度测量。深度测量在工业自动化、智能机器人、目标检测和跟踪、智能交通、三维建模和3D视频制作等领域都有广泛的应用。深度测量方法有很多种,其中基于单目视觉的图像深度测量方法具有设备简单、成本低廉、操作方便等特点而成为研究热点,并且单目相机体积小,重量轻,在一些有空间大小或载荷限制的特定场合以及手眼系统等应用中,需要或只能使用基于单目视觉的图像深度测量方法,而目前该测量方法还很不成熟,有必要对其计算原理、技术方法等方面进行研究。 因此本文对基于单目视觉的图像深度测量方法开展研究,主要工作和创新点如下:(1)提出一种基于熵和加权Hu氏不变矩的目标物体绝对深度的测量方法。该方法用普通单目相机拍摄同一场景的两幅图像,拍摄时保持相机的参数不变,将相机沿光轴方向移动,分别在物距间隔为d的前后两处各拍摄一幅图像,然后采用LBF模型的方法分割出图像中的物体,并求出各个目标物体像的面积,再将物体像的熵的相对变化率和加权Hu氏不变矩结合起来实现图像内物体的自动匹配,最后运用本文推导的公式计算出各个目标物体的绝对深度。文中采用真实场景图像对该方法进行了实验验证并与其他方法进行了对比,结果表明了该方法的有效性。(2)提出一种基于SIFT特征的目标物体绝对深度的测量方法,该方法同样需要按照上面的方法获取同一场景的两幅图像,然后分别对这两幅图像进行图像分割和SIFT特征点提取,并进行图像中的目标物体匹配,接着用凸包和几何形状约束从匹配物体中选出一对最佳直线段,最后根据光学成像原理利用直线段长度计算出场景中静态目标物体的绝对深度信息。 由于是通过被测量物体上的两个SIFT特征点所成的直线段长度来计算出物体的绝对深度信息的,所以该方法鲁棒性较好,不受场景中被测量目标物体部分遮挡或缺失的限制,对比实验表明该方法测量精度高于现有其他方法。(3)提出一种基于梯度信息和小波分析的单幅图像相对深度测量方法。该方法首先利用图像
机器视觉测量技术 杨永跃 合肥工业大学 2007.3
目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像
5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位
多目视觉测量技术开题报告 第一章绪论 1.1研究背景和意义 多目视觉测量技术是计算机视觉技术的一个较小的研究分支。随着计算机运算能力的提高和图像采集成本的下降，计算机视觉技术发展越来越成熟，应用日益广泛。多目视觉测量技术通俗来讲，就是通过处理从多个角度采集的图像，获得场景的深度信息，进而用于三维场景的重建，构建三维立体模型。其中，基于双目视觉的测量理论尤为成熟，理解了双目视觉，可推及多目视觉技术。本文也将重点放在双目视觉技术的研究上。 多目视觉测量技术相对于一般测量技术具有非接触，高进度，高效率，自动化程度高的特点，具有非常广阔的应用前景。随着机器人技术产业的爆发增长，机器人具有了非常灵活的运动控制系统，但机器人大多依赖于既有程序，对周围环境的感知能力几乎为零。机器人迫切需要像人类一样的双眼去感知外界环境，多目视觉技术正好填补了这项空缺。 首先，多目视觉测量技术在导航中应用广泛。如无人机，Google的无人驾驶汽车都是通过采集图像来获取大量的环境信息，进而用于机器的行为控制。这项技术已经很成熟了，如美国卡梅隆大学的Navlab智能车的RALPH视觉系统，德国联邦大学的VaMoRs的BVV视觉系统，百度的无人车研究团队的导航系统也是基于计算机视觉技术。 虚拟现实被认为是下一个朝阳产业，以3D眼睛为代表的一系列虚拟现实设备也融入了多目视觉技术，由此通过平面图像的处理，使人产生3D感觉。增强现实技术是虚拟现实技术的升级版，其中对于真实环境信息的获取，3D立体环境的重建都是多目视觉测量系统的具体应用。 当今很火的3D打印技术也不例外，只需用户提供从不同角度拍摄的照片，机器就能自动生成对应的三维模型并打印出来，当然，此项技术构建的三维模型不是很精确，对拍摄的照片有较高的质量要求。我们可以应用软件感受一下，比如Google的photoscan，smart3D，Autodesk 123D Catch等。 多目视觉技术的从原理上理解较为简单，可用三角测距的原理概况，难点在于每幅图像上有上亿的像素点，三维重建技术是基于若干幅图像上的像素基于匹配而得到相应的深度信息。所以图像匹配算法直接决定了三维重建能否成功，是多目视觉测量技术的关键一步。由此也发展出了很多匹配算法，如区域匹配（也叫稠密匹配），特征匹配（也加稀疏匹配），相位匹配，在后文我会做相应的介绍。 1.2双目立体视觉技术 立体视觉是计算机视觉中的一个重要分支，一直是计算机视觉研究的重点和热点之一，它直接模拟了人类视觉处理景物的方式，可以在多种条件下灵活地测量景物的立体信息，其作用是其他计算机视觉方法所不能取代，对它的研究，无论是从视觉机理角度还是在工程应用中都具有十分重要的意义。本文主要研究基于双目立体视觉的测量技术。 一个比较典型的双目立体视觉检测系统一般以计算机为中心，由光源系统，双目视觉传感器、高速图像采集系统以及图像处理系统、控制系统等组成。计算机
复杂光照环境下的单目视觉位姿测量技术研究单目视觉位姿测量技术由于精度高、速度快、结构简单、成本低、抗干扰能力强等优势在机器人、工业制造、交通运输、航空航天、生活娱乐等领域发挥着重要作用,但是复杂光照条件,如光照不均匀、低照度、阴影、局部反光、光照颜色和色温变化大等制约着视觉位姿测量技术在一些应用场景(隧道、球磨机、航天器、雨雪天气等)的有效实施,以此为背景,本文提出一套完整的单目视觉位姿测量技术,能在复杂光照条件下有效测量目标物位姿。首先设计合作靶标。进行仿真实验,通过大量的实验数据确定较优的靶标参数(特征点个数、特征点共面与否);通过视场计算确定合理的靶标尺寸;提出一种基于颜色的特征点编码方案,有效进行特征点匹配;最终设计出一种制作简单、易于识别、解码方便的合作靶标。然后针对复杂光照环境,进行图像增强、平滑滤波、颜色校正算法研究。 高斯同态滤波能均匀图像照度;中值滤波能有效去除低照度下的图像噪声;提出一种改进的镜面反射法,在图像颜色多与少、不同色温光照条件下均能有效校正图像颜色。接下来识别靶标特征点。将高斯同态滤波和Otsu算法结合,在光照不均匀、低照度、淡阴影、局部反光的环境中均能有效分割靶标区域;基于Hough直线变换识别靶标边框线,判定靶标区域;基于圆形度识别靶标特征点,改进连通域表示方法,解决圆形度计算异常的问题;定义了椭圆度,基于椭圆度识别靶标特征点;针对高斯同态滤波结合Otsu算法难以解决的靶标强阴影问题,提出一种基于椭圆度的靶标去阴影算法;在RGB颜色空间定义颜色距离,通过颜色识别进行特征点解码。最后解算位姿。 标定相机参数;根据识别的靶标特征点像素坐标,通过EPnP算法进行位姿解算,分别进行仿真实验和实物实验验证本文方法,实验结果证明,本文方法精度高,能满足实际需要。