机器人视觉物体定位方法 本次设计的题目是机器人视觉物体定位。伴随社会发展，机器人的利用越来越普及，出现了多种多样的智能机器人，由此也引发了对机器视觉的研究热潮。文章首先介绍了机器视觉的发展历程，并详细说明了各阶段的特点。接着概述了机器视觉技术的原理，深入剖析了主流视觉物体定位方法。然后介绍了机器人视觉物体定位方法常用的几种应用。最后介绍了几种新颖的视觉物体定位方法，并猜想机器人视觉物体定位技术未来发展方向。 关键词：机器视觉 SLAM技术单目视觉双目视觉多目视觉 第一章：绪论 1.1选题的背景及意义 在我国持续爆发的2019新型冠状病毒（即2019-nCoV）事件中,自动化食品仓储配送系统服务包括机器人、无人驾驶、无人机等再次成为讨论的焦点。配送机器人如何实现自动取货送货？无人驾驶汽车是怎么躲避行人？无人机巡航中怎么确定物体之间的距离？当我们谈到相关的话题时，机器视觉定位是无论如何也绕不开的问题。 自被誉为“机器人之父”的恩格尔伯格先生1959年发明第一台机器人以来，科学家一直把对机器人的研究作为研究的重点方向。传统的机器人缺乏环境感知能力和自动应变能力，仅仅只能在严格的预定义的环境中完成一些预定义和指令下的动作,应用非常有限局限。随着机器人逐渐走进人们的生产和生活中，人们也对机器人提出了更高的要求，希望实现在生产加工中对物体的自动加工、对自身运动轨迹实时的随动检测，节省对其运动轨迹的预先编程，提高生产效率。要达到这些要求，必须同时满足图像信息的获取、采集、处理和输出，这就是本文的研究重点：机器人视觉物体定位方法。
机器人视觉物体定位系统的设计和研发是为了更好地为工业机器人服务，它的本质是发挥摄像机定位以及跟踪性功能，很多企业在自身生产环节依赖于机器人，生产效率明显得到改善。然而很多的机器人是半自动的工作模式，只有在人工操控的指引下才能完成工作任务，这样的机器人实用性很差，无法彻底解放人工，实现自动化操作。为了提高机器人接收外界信息、感知外界信息的能力，进一步提高机器人的工作效率，保障工业生产的精度和质量，在以往的机器人系统中新增全新的计算机图像视觉获取系统,通过视觉图像获取系统中所捕捉的图像和外界信息,对捕捉的图像信息进行处理和分析识别，继而让机器人能够识别外界信息，然后再全面分析图像的基础上完成后续的重建和精准化计算，通过一系列的重建以及精准化的计算全面应用机器人控制柜通讯等等设备，掌控全面的工作，实现机器人对外界信息的跟踪和定位。 1.2国内外研究现状 国外研究现状 国外最先开始视觉物体定位技术的研究，应用领域也相对广泛，并且占据绝对的技术优势，其主要涉及机器人移动导航、三维立体测量、虚拟现实VR技术等。 20世纪60年代,美国mit的robert研究人员提出三维景物分析,标志着立体视觉和影像技术的结合点而诞生。立体视觉在此后20年的时间迅速地发展成为一门新的影像技术学科。到70年代时,以marr为主要代表的一批视觉物体定位方法研究学者已经整理和发展出了一整套关于视觉计算的理论基础。到80 年代后，大量利用空间几何研究双目立体视觉的学者提出了一系列理论与实际成果。 卡内基梅隆大学的Tomasi 和Kanade 等人对立体视觉的研究建立在摄像机为正交投影模型的假设下，分解出了三维结构和相机运行，成功研究出了基于图像的三维重建技术。但是，这项技术存在明显的缺点，由于假设相机为正交投影模型，而这个假设仅仅在物体深度远远大于物体尺寸时才是合理假设。美国
移动机器人视觉定位方法的研究 针对移动机器人的局部视觉定位问题进行了研究。首先通过移动机器人视觉定位与目标跟踪系统求出目标质心特征点的位置时间序列，然后在分析二次成像法获取目标深度信息的缺陷的基础上，提出了一种获取目标的空间位置和运动信息的方法。该方法利用序列图像和推广卡尔曼滤波，目标获取采用了HIS模型。在移动机器人满足一定机动的条件下，较精确地得到了目标的空间位置和运动信息。仿真结果验证了该方法的有效性和可行性。 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1.目标成像的几何模型 移动机器人视觉系统的坐标关系如图1所示。 其中O-XYZ为世界坐标系；Oc-XcYcZc为摄像机坐标系。其中Oc为摄像机的光心，X 轴、Y轴分别与Xc轴、Yc轴和图像的x，y轴平行，Zc为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O1为图像坐标系的原点。OcO1为摄像机的焦距f. 图1 移动机器人视觉系统的坐标关系
移动机器人视觉定位设计方案 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3 个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1 目标成像的几何模型 移动机器人视觉系统的坐标关系如图1 所示。 其中O-X Y Z 为世界坐标系；O c - X cY cZ c 为摄像机坐标系。其中O c 为摄像机的光心，X 轴、Y 轴分别与X c 轴、Y c 轴和图像的x ，y 轴平行，Z c 为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O 1 为图像坐标系的原点。O cO 1 为摄像机的焦距f 。 图1 移动机器人视觉系统的坐标关系 不考虑透镜畸变，则由透视投影成像模型为：
式中，Z′= ［u，v ］T 为目标特征点P 在图像坐标系的二维坐标值；（X ，Y ，Z ）为P 点在世界坐标系的坐标；（X c0，Y c0，Z c0）为摄像机的光心在世界坐标系的坐标；dx ，dy 为摄像机的每一个像素分别在x 轴与y 轴方向采样的量化因子；u0，v 0 分别为摄像机的图像中心O 1 在x 轴与y 轴方向采样时的位置偏移量。通过式（1）即可实现点P 位置在图像坐标系和世界坐标系的变换。 2 图像目标识别与定位跟踪 2.1 目标获取 目标的获取即在摄像机采集的图像中搜索是否有特定目标，并提取目标区域，给出目标在图像中的位置特征点。 由于机器人控制实时性的需要，过于耗时的复杂算法是不适用的，因此以颜色信息为目标特征实现目标的获取。本文采用了HS I 模型， 3 个分量中，I 是受光照影响较大的分量。所以，在用颜色特征识别目标时，减少亮度特征I 的权值，主要以H 和S 作为判定的主要特征，从而可以提高颜色特征识别的鲁棒性。 考虑到连通性，本文利用捕获图像的像素及其八连通区域的平均HS 特征向量与目标像素的HS特征向量差的模是否满足一定的阈值条件来判别像素的相似性；同时采用中心连接区域增长法进行区域增长从而确定目标区域。图2 给出了目标区域分割的算法流程。
机器人定位抓取 ---视觉部分设置手册 机器人定位抓取视觉部分设置步骤如下： 一、调整相机到适当的位置 1、将相机连接到PC； 2、打开In-Sight软件； 3、将相机添加到In-Sight网络； 若相机与PC机本地连接在相同的网段（IP地址的前三段 相同、最后一段不同，例如：PC机IP为192.168.3.11， 相机IP为192.168.3.9），则在In-Sight网络里可直接找到 相机，如下图所示： 若在In-Sight网络里找不到相机，则需要通过修改相机IP 地址的方式将相机添加进来，方法如下： 1）在In-Sight网络里右键单击“In-Sight传感器”，选择 “添加传感器/设备”
2）在出现的界面中左键单击左侧区域出现的相机，在右侧区域选择“使用下列网络设置”，将相机IP地 址前三段及子网掩码修改为与PC机一致（当IP地 址前三段或子网掩码与PC机不一致时，右侧会出 现红色叹号），
3）相机IP地址及子网掩码修改好之后，点击“应用”，会出现如下对话框 点击“确定”，出现 同时，In-Sight网络里会出现相机。 点击“确定”，然后关闭设置页面。 4、连接相机 双击In-Sight网络里出现的相机。 5、查看右下角相机状态
若右下角显示，则单击上面工具栏中的“联 机/脱机”图标，使相机处于脱机状态 6、点击工具栏中的“实时”图标，使相机处于实时状态 7、调整相机高度，使相机的视野范围（图像可见范围）满足 检测需求（下图中的视野范围为18.5*13.875） 8、固定相机高度 二、调整图像 1、将检测物放置在相机视野范围内； 2、调节镜头上的“光圈”，使图像亮度适中（此操作说明中 没有使用光源，所以只需要调节光圈；若使用光源，应先
三菱工业机器人视觉标定的实现 郭方营电子电气工程学院 摘要：本文介绍了三菱工业机器人视觉标定实现的方法。在工业相机分辨率为640*480像素范围内设置9个标定圆，利用工业机器人2D标定软件获取9个标定点图像坐标和世界坐标，求得投影矩阵，写入机器人控制器，通过调用PVSCAL函数实现相机坐标系与世界坐标系的坐标转换，从而实现工业机器人视觉的标定，基于该方法结合视觉匹配和PLC可以实现工业机器人的运动控制。 关键词：工业机器人工业相机视觉标定坐标变换 1引言 《中国制造2025》和“十三五”发展中，工业机器人的需求逐渐增多，工业机器人要完成搬运、码垛、装配等各种工作都离不开坐标点，对于静态物体抓取、精度要求不高、坐标位置不多的场合，往往采用坐标位置示教的方法，利用示教器获得机器人特定点的位置（X.Y.Z）和姿态（A.B.C）坐标信息，然后按照要求以关节插补、直线插补、圆弧插补等方式完成运动。但在抓取运动的物体时，受外界因素影响，特别是质量轻的物体，位置点会产生偏移，示教的坐标点将不准确，同时随着坐标点数量的增加，示教工作量将会增大。针对固定点坐标示教的缺点，可以利用机器人的视觉控制来弥补，工业机器人的视觉犹如人的“眼睛”，即用工业相机来测出手爪和目标的相对位置，将目标位置的坐标经过转换成世界坐标系，实现“眼睛”看，用爪手抓取的过程，工业机器人的运动轨迹不需要提前示教，提高了编程和生产效率及加工精度。实现视觉控制的一种重要的问题之一就是视觉标定，目前常用的方法有线性标定方法、非线性标定方法、Tsai的经典两步法、张正友的标定方法等[1]，以上方法都需要编写坐标变换求解算法，必须具备线性代数的数学基础，难度较大。本文结合三菱工业机器人2D标定软件提供的功能和DALSA工业相机的特点利用9个标定圆，通过调用PVSCAL函数完成坐标转换，实现工业机器人视觉的标定。 2 硬件构成 工业相机固定在六自由度机器人的J5轴上，如图1（见附件）所示，采用蓝色光源作为背景光，采用吸盘式爪手，标定时在抓手中心处安装一个针尖便于示教坐