机器人定位抓取
---视觉部分设置手册
机器人定位抓取视觉部分设置步骤如下：
一、调整相机到适当的位置
1、将相机连接到PC；
2、打开In-Sight软件；
3、将相机添加到In-Sight网络；
若相机与PC机本地连接在相同的网段（IP地址的前三段
相同、最后一段不同，例如：PC机IP为192.168.3.11，
相机IP为192.168.3.9），则在In-Sight网络里可直接找到
相机，如下图所示：
若在In-Sight网络里找不到相机，则需要通过修改相机IP
地址的方式将相机添加进来，方法如下：
1）在In-Sight网络里右键单击“In-Sight传感器”，选择
“添加传感器/设备”
2）在出现的界面中左键单击左侧区域出现的相机，在右侧区域选择“使用下列网络设置”，将相机IP地
址前三段及子网掩码修改为与PC机一致（当IP地
址前三段或子网掩码与PC机不一致时，右侧会出
现红色叹号），
3）相机IP地址及子网掩码修改好之后，点击“应用”，会出现如下对话框
点击“确定”，出现
同时，In-Sight网络里会出现相机。
点击“确定”，然后关闭设置页面。
4、连接相机
双击In-Sight网络里出现的相机。
5、查看右下角相机状态
若右下角显示，则单击上面工具栏中的“联
机/脱机”图标，使相机处于脱机状态
6、点击工具栏中的“实时”图标，使相机处于实时状态
7、调整相机高度，使相机的视野范围（图像可见范围）满足
检测需求（下图中的视野范围为18.5*13.875）
8、固定相机高度
二、调整图像
1、将检测物放置在相机视野范围内；
2、调节镜头上的“光圈”，使图像亮度适中（此操作说明中
没有使用光源，所以只需要调节光圈；若使用光源，应先
将光源打开，然后同时调整光源亮度及镜头光圈，使图像
亮度适中）；
3、调节镜头上的“焦距调节”，使需要检测的平面图像最清
晰，如下图
4、锁紧镜头上的螺丝，使“光圈”及“焦距调节”都不可变。
三、标定/校准
由于相机检测的结果均为像素值，而机器人需要的是实际数据（mm值），所以需要进行数据转换。但是在转换之前需要提供转换标准，这就是需要做标定的原因。
标定步骤如下：
1、将标定板放置到与检测面相同的高度，如果有多种不同高
度的产品，需要进行多次标定。
2、将In-Sight软件切换到“电子表格”
3、在表格中添加标定工具，进行标定工作
在右侧“选择板”中选择“坐标变换”—“校准”—“ClibrateGrid（使用棋盘格校准）”
将工具拖到表格中某个空的单元格。然后会出现以下界面
根据标定板及镜头的实际情况选择红色框内的设置。
此说明书中使用的是方格图案（带基准）、网格间距10mm的棋盘格标定板，平面检测（2D）姿势数选择1，镜头型号一般标准均为径向。
4、选择完成，点击左侧的“姿势”，
5、点击右侧的“实况视频”，根据机器人的原点及坐标轴方
向调整标定板的摆放位置及方向
6、在实时图像上单击，软件会自动查找特征点、进行标定。
如果右上角显示找到的特征点数大于30，点击下面的“校准”。
7、页面会自动切换到“结果”，
红色框内显示的是校准结果，如果结果为“优”或者“良
好”可直接点击“确定”，完成标定工作；如果结果为“合
格”，在检测精度要求不是很高的情况下，也可以点击“确
定”，完成标定工作；如果结果为“差”，则需要调整光源
镜头等，重新进行标定工作。
四、将校准结果与图像关联
在右侧“选择板”中选择“坐标变换”—“校准”—“ClibrateImage （将校准与图像关联）”
将工具拖到表格中某个空的单元格，会出现以下界面
双击“校准”，然后选择之前放置标定工具的单元格
，点击“确定”，即可将图像上所有的像素坐标转换为实际坐标（mm）。
五、模型设置
将标定板取走，相机设置为“实时”模式，将检测物放置到抓取标准位置（或将检测物放置到视野中心，机器人试教到这个位置进行抓取），在图像上单击，拍摄产品图片。
此位置作为抓取基准位置，之后相机发送给机器人的将是与此基准点的偏移量。
在“选择板”中选择“视觉工具”--“图案匹配”—“TrainPatmaxPattern（训练图案）”，将工具拖到电子表格中某个空的单元格
在出现的界面中进行图案训练
双击“图像”，选择之前转换后的图像（单元格E2），然后双击“图案区域”，根据产品形状设置图案区域，形状可调整。
形状设置完成，双击返回之前的页面；双击“图案原点”，将原
点拖动至机器人的抓取点（如果机器人有多个抓取点，则将原
点拖动至产品中心），双击返回；
点击“确定”，完成图案训练工作。
六、产品查找
七、在“选择板”中选择“视觉工具”--“图案匹配”—
“FindPatmaxPatterns（图案查找）”，将工具拖到电子表格中某个空的单元格
在弹出的页面中双击“图像”，选择之前转换后的图像（E2）；
双击“查找区域”，将查找区域调整到包含产品可能出现的所有位置；双击“图案”，选择之前训练的图案（C5）；根据每次可能出现的产品数量设置“查找数量”；根据不同产品的相似程度及检测要求设置“接受”阈值；将“显示”选择为“仅结果图形”。点击“确定”，完成。
将当前查找结果手动记录下来（双击空的单元格，手动输入行、列、角度值）
然后，将检测得到的数据与手动记录的数据相减，即得到偏移
量（第一次设置时偏移量为0,0,0）。
八、将数据发送给PLC（PROFINET协议）
1、首先进行网络设置
点击工具栏中的“传感器”—“网络设置”，在“实时以
太网协议”中选择“PROFINET”，点击后面的“设置”，
修改相机的名称。（由于此时没有连接其他外接网络设备，
所以以太网协议部分均为灰色的）
2、设置输出缓冲区
在“选择板”中选择“输入/输出”—“FormatOutputBuffer”，
将其拖至电子表格中某个空白的单元格。
在弹出的界面中点击“添加”，将3个偏移量加入输出缓冲区。
点击“确定”
3、设置输出
在“选择板”中，选择“输入/输出”—网络—
“WriteProfinetBuffer”，将其拖至电子表格中某个空白单
元格。
在弹出的页面中，双击“缓冲区”，选择设置好的输出缓冲区（D14），点击“确定”（由于没接PROFINET设备，所以在“确定”的旁边有红色叹号的报警，在电子表格中也会显示“ERR”）。
当连接PROFINET设备之后，当前显示“ERR”的位置，
会显示输出缓冲区中的数据数量（输出缓冲区中添加了3
个数据，此处应该显示3）。
九、保存设置
将设置完成的检测程序保存到相机中。步骤如下：
1、点击左上角工具栏中的“保存”
2、在弹出的页面中输入程序名
点击“保存”
十、相机运行
1、将相机触发模式设置为“网络”
双击A0单元格，在弹出的页面中将“触发器”选择为
机器人视觉物体定位方法 本次设计的题目是机器人视觉物体定位。伴随社会发展，机器人的利用越来越普及，出现了多种多样的智能机器人，由此也引发了对机器视觉的研究热潮。文章首先介绍了机器视觉的发展历程，并详细说明了各阶段的特点。接着概述了机器视觉技术的原理，深入剖析了主流视觉物体定位方法。然后介绍了机器人视觉物体定位方法常用的几种应用。最后介绍了几种新颖的视觉物体定位方法，并猜想机器人视觉物体定位技术未来发展方向。 关键词：机器视觉 SLAM技术单目视觉双目视觉多目视觉 第一章：绪论 1.1选题的背景及意义 在我国持续爆发的2019新型冠状病毒（即2019-nCoV）事件中,自动化食品仓储配送系统服务包括机器人、无人驾驶、无人机等再次成为讨论的焦点。配送机器人如何实现自动取货送货？无人驾驶汽车是怎么躲避行人？无人机巡航中怎么确定物体之间的距离？当我们谈到相关的话题时，机器视觉定位是无论如何也绕不开的问题。 自被誉为“机器人之父”的恩格尔伯格先生1959年发明第一台机器人以来，科学家一直把对机器人的研究作为研究的重点方向。传统的机器人缺乏环境感知能力和自动应变能力，仅仅只能在严格的预定义的环境中完成一些预定义和指令下的动作,应用非常有限局限。随着机器人逐渐走进人们的生产和生活中，人们也对机器人提出了更高的要求，希望实现在生产加工中对物体的自动加工、对自身运动轨迹实时的随动检测，节省对其运动轨迹的预先编程，提高生产效率。要达到这些要求，必须同时满足图像信息的获取、采集、处理和输出，这就是本文的研究重点：机器人视觉物体定位方法。
机器人视觉物体定位系统的设计和研发是为了更好地为工业机器人服务，它的本质是发挥摄像机定位以及跟踪性功能，很多企业在自身生产环节依赖于机器人，生产效率明显得到改善。然而很多的机器人是半自动的工作模式，只有在人工操控的指引下才能完成工作任务，这样的机器人实用性很差，无法彻底解放人工，实现自动化操作。为了提高机器人接收外界信息、感知外界信息的能力，进一步提高机器人的工作效率，保障工业生产的精度和质量，在以往的机器人系统中新增全新的计算机图像视觉获取系统,通过视觉图像获取系统中所捕捉的图像和外界信息,对捕捉的图像信息进行处理和分析识别，继而让机器人能够识别外界信息，然后再全面分析图像的基础上完成后续的重建和精准化计算，通过一系列的重建以及精准化的计算全面应用机器人控制柜通讯等等设备，掌控全面的工作，实现机器人对外界信息的跟踪和定位。 1.2国内外研究现状 国外研究现状 国外最先开始视觉物体定位技术的研究，应用领域也相对广泛，并且占据绝对的技术优势，其主要涉及机器人移动导航、三维立体测量、虚拟现实VR技术等。 20世纪60年代,美国mit的robert研究人员提出三维景物分析,标志着立体视觉和影像技术的结合点而诞生。立体视觉在此后20年的时间迅速地发展成为一门新的影像技术学科。到70年代时,以marr为主要代表的一批视觉物体定位方法研究学者已经整理和发展出了一整套关于视觉计算的理论基础。到80 年代后，大量利用空间几何研究双目立体视觉的学者提出了一系列理论与实际成果。 卡内基梅隆大学的Tomasi 和Kanade 等人对立体视觉的研究建立在摄像机为正交投影模型的假设下，分解出了三维结构和相机运行，成功研究出了基于图像的三维重建技术。但是，这项技术存在明显的缺点，由于假设相机为正交投影模型，而这个假设仅仅在物体深度远远大于物体尺寸时才是合理假设。美国
自动控制原理课程设计题目：机器人抓取装置位置控制系统校正装置设计 专业：电气工程及其自动化 ： 班级：学号： 指导老师：职称： 州航空工业管理学院 机电工程学院 2011年12月
初始条件： 一个机器人抓取装置的位置控制系统为一单位负反馈控制系统，其传递函数为()()() 15.013 0++=s s s s G ，设计一个滞后校正装置，使系统的相 角裕度?=45γ。 设计容： 1.先手绘系统校正前的bode 图，然后再用MATLAB 做出校正前系统的bode 图，根据MATLAB 做出的bode 图求出系统的相角裕量。 2.求出校正装置的传递函数 3. 用MATLAB 做出校正后的系统的bode 图，并求出系统的相角裕量。 4.在matlab 下，用simulink 进行动态仿真，在计算机上对人工设计系统进行仿真调试，确使满足技术要求。 5.对系统的稳定性及校正后的性能说明 6.心得体会。
1频率法的串联滞后校正特性及方法 1.1特性：当一个系统的动态特性是满足要求的，为改善稳态性能，而又不影响其动态响应时，可采用此方法。具体就是增加一对靠的很近并且靠近坐标原点的零、极点，使系统的开环放大倍数提高β倍，而不影响开环对数频率特性的中、高频段特性。 1.2该方法的步骤主要有： ()1绘制出未校正系统的bode 图，求出相角裕量0γ，幅值裕量g K 。 ()2在bode 图上求出未校正系统的相角裕量εγγ +=期望处的频率 2c ω,2c ω作为校正后系统的剪切频率， ε用来补偿滞后校正网络2c ω处的相角滞后，通常取??=15~5ε。 ()3令未校正系统在2c ω的幅值为βlg 20，由此确定滞后网络的β值。 ()4为保证滞后校正网络对系统在2c ω处的相频特性基本不受影响，可 按10 ~ 2 1 2 2 2c c ωωτ ω= =求得第二个转折频率。 ()5校正装置的传递函数为()1 1++= s s s G C βττ ()6画出校正后系统的bode 图，并校验性能指标 2确定未校正前系统的相角裕度 2.1先绘制系统的bode 图如下：
基于机器视觉的工件识别和定位文献综述 1.前言 1.1工业机器人的现状与发展趋势 机器人作为一种最典型的应用范围广、技术附加值高的数字控制装备，在现代先进生产制造业中发挥的作用越来越重要，机器人技术的发展将会对未来生产和社会发展起到强有力的推动作用。《2l 世纪日本创建机器人社会技术发展战略报告》指出，“机器人技术与信息技术一样，在强化产业竞争力方面是极为重要的战略高技术领域。培育未来机器人产业是支撑2l 世纪日本产业竞争力的产业战略之一，具有非常重要的意义。” 研发工业机器人的初衷是为了使工人能够从单调重复作业、危险恶劣环境作业中解脱出来，但近些年来，工厂和企业引进工业机器人的主要目的则更多地是为了提高生产效率和保证产品质量。因为机器人的使用寿命很长，大都在10 年以上，并且可以全天后不间断的保持连续、高效地工作状态，因此被广泛应用于各行各业，主要进行焊接、装配、搬运、加工、喷涂、码垛等复杂作业。伴随着工业机器人研究技术的成熟和现代制造业对自动生产的需要，工业机器人越来越被广泛的应用到现代化的生产中。 现在机器人的价格相比过去已经下降很多，并且以后还会继续下降，但目前全世界范围的劳动力成本都有所上涨，个别国家和地区劳动力成本又很高，这就给工业机器人的需求提供了广阔的市场空间，工业机器人销量的保持着较快速度的增长。工业机器人在生产中主要有机器人工作单元和机器人工作生产线这两种应用方式，并且在国外，机器人工作生产线已经成为工业机器人主要的应用方式。以机器人为核心的自动化生产线适应了现代制造业多品种、少批量的柔性生产发展方向，具有广阔的市场发展前景和强劲生命力，已开发出多种面向汽车、电气机械等行业的自动化成套装备和生产线产品。在发达国家，机器人自动化生产线已经应用到了各行各业，并且已经形成一个庞大的产业链。像日本的FANUC、MOTOMAN，瑞典的ABB、德国的KUKA、意大利的COMAU 等都是国际上知名的被广泛用于自动化生产线的工业机器人。这些产品代表着当今世界工业机器人的最高水平。 我国的工业机器人前期发展比较缓慢。当将被研发列入国家有关计划后，发展速度就明显加快。特别是在每次国家的五年规划和“863”计划的重点支持下，我国机器人技术的研究取得了重大发展。在机器人基础技术和关键技术方面都取得了巨大进展，科技成果已经在实际工作中得到转化。以沈阳新松机器人为代表的国内机器人自主品牌已迅速崛起并逐步缩小与国际品牌的技术差距。 机器人涉及到多学科的交叉融合，涉及到机械、电子、计算机、通讯、控制等多个方面。在现代制造业中，伴随着工业机器人应用范围的扩大和机器人技术的发展，机器人的自动化、智能化和网络化的程度也越来越高，所能实现的功能也越来越多，性能越来越好。机器人技术的内涵已变为“灵活应用机器人技术的、具有实在动作功能的智能化系统。”目前，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为：结构的模块化和可重构化；控制技术的开放化、PC 化和网络化；伺服驱动技术的数字化和分散化；多传感器融合技术的实用化；工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面。 1.2机器视觉在工业机器人中的应用 工业机器人是FMS（柔性加工）加工单元的主要组成部分，它的灵活性和柔性使其成为自动化物流系统中必不可少的设备，主要用于物料、工件的装卸、分捡和贮运。目前在全世界有数以百万的各种类型的工业机器人应用在机械制造、零件加工和装配及运输等领域，
机器人视觉系统 ——人脸识别技术 优势 1 不被察觉，不会引起人的反感。 2 非接触性，不需要和设备接触即可识别 3 自然性 4 准确，可靠，灵活。 原理 在检测到人脸并定位面部关键特征点之后，主要的人脸区域就可以被裁剪出来，经过预处理之后，馈入后端的识别算法。识别算法要完成人脸特征的提取，并与库存的已知人脸进行比对，完成最终的分类。 主要过程 一般分三步： (1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。 (2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。（智械科技） (3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库存中的面纹编码进行检索比对。上述的“面纹编码”方式是根据人脸脸部的本质特征和开头来工作的。这种面纹编码可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性，从而使它可以从百万人中精确地辩认出某个人。人脸的识别过程，利用普通的图像处理设备就能自动、连续、实时地完成。 实现方法 基于OpenCv人脸识别设计方案 1 系统组成 以OpenCV 图像处理库为基础，利用库中提供的相关功能函数进行各种处理：通过相机对图像数据进行采集，人脸检测主要是调用已训练好的Haar 分类器来对采集的图像进行模
式匹配，检测结果利用PCA 算法可进行人脸图像训练与身份识别，而人脸表情识别则利用了Camshift 跟踪算法和Lucas–Kanade 光流算法。
移动机器人视觉定位方法的研究 针对移动机器人的局部视觉定位问题进行了研究。首先通过移动机器人视觉定位与目标跟踪系统求出目标质心特征点的位置时间序列，然后在分析二次成像法获取目标深度信息的缺陷的基础上，提出了一种获取目标的空间位置和运动信息的方法。该方法利用序列图像和推广卡尔曼滤波，目标获取采用了HIS模型。在移动机器人满足一定机动的条件下，较精确地得到了目标的空间位置和运动信息。仿真结果验证了该方法的有效性和可行性。 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1.目标成像的几何模型 移动机器人视觉系统的坐标关系如图1所示。 其中O-XYZ为世界坐标系；Oc-XcYcZc为摄像机坐标系。其中Oc为摄像机的光心，X 轴、Y轴分别与Xc轴、Yc轴和图像的x，y轴平行，Zc为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O1为图像坐标系的原点。OcO1为摄像机的焦距f. 图1 移动机器人视觉系统的坐标关系
基于机器视觉的工业机器人定位系统 基于机器视觉的工业机器人定位系统 类别：传感与控制 摘要：建立了一个主动机器视觉定位系统,用于工业机器人对零件工位的精确定位。采用基于区域的匹配和形状特征识别相结合的图像处理方法,该方法经过阈值和形状判据,识别出物体特征。经实验验证,该方法能够快速准确地得到物体的边界和质心,进行数据识别和计算,再结合机器人运动学原理控制机器人实时运动以消除此误差,满足工业机器人自定位的要求。 1.引言目前工业机器人仅能在严格定义的结构化环境中执行预定指令动作，缺乏对环境的感知与应变能力，这极大地限制了机器人的应用。利用机器人的视觉控制，不需要预先对工业机器人的运动轨迹进行示教或离线编程，可节约大量的编程时间，提高生产效率和加工质量。Hagger 等人提出通过基于机器人末端与目标物体之间的误差进行视觉反馈的方法；Mezouar 等人提出通过图像空间的路径规划和基于图像的控制方法。国内这方面主要应用于焊接机器人对焊缝的跟踪。本文利用基于位置的视觉伺服思想，以六自由度垂直关节型喷涂机器人为载体，提出一种基于机器视觉的工业机器人自定位控制方法，解决了机器人末端实际位置与期望位置相距较远的问题，改善了喷涂机器人的定位精度。 2.视觉定位系统的组成机器人视觉定位系统构成如图 1 所示，在关节型机器人末端安装喷涂工具、单个摄像机，使工件能完全出现在摄像机的图像中。系统包括摄像机系统和控制系统：（1）摄像机系统：由单个摄像机和计算机（包括图像采集卡）组成，负责视觉图像的采集和机器视觉算法；（2）控制系统：由计算机和控制箱组成，用来控制机器人末端的实际位置；经 CCD 摄像机对工作区进行拍摄，计算机通过本文使用的图像识别方法，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置误差值，最后控制高精度的末端执行机构，调整机器人的位姿。 图1 喷涂机器人视觉定位系统组成 3.视觉定位系统工作原理 3.1 视觉定位系统的工作原理使用 CCD 摄像机和1394 系列采集卡，将视频信号输入计算机，并对其快速处理。首先选取被跟踪物体的局部图像，该步骤相当于离线学习的过程，在图像中建立坐标系以及训练系统寻找跟踪物。学习结束后，图像卡不停地采集图像，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置给定值，最后控制高精度的末端执行机构，调整机器人的位姿。工作流程如图2 所示。图 2 视觉定位系统软件流程图 3.2 基于区域的匹配本文采用的就是基于区域的相关匹配方法。它是把一幅图像中的某一点的灰度领域作为模板，在另一幅图像中搜索具有相同（或相似）灰度值分布的对应点领域，从而实现两幅图像的匹配。在基于区域相关的算法中，要匹配的元素是固定尺寸的图像窗口，相似准则是两幅图像中窗口间的相关性度量。当搜索区域中的元素使相似性准则最大化时，则认为元素是匹配的。定义P (i, j) P 是模板图像中一点，取以P (i, j) P 为中心的某一邻域作为相关窗口K ，大小为(2w +1)，假设K 在原始图中，水
移动机器人视觉定位设计方案 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3 个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1 目标成像的几何模型 移动机器人视觉系统的坐标关系如图1 所示。 其中O-X Y Z 为世界坐标系；O c - X cY cZ c 为摄像机坐标系。其中O c 为摄像机的光心，X 轴、Y 轴分别与X c 轴、Y c 轴和图像的x ，y 轴平行，Z c 为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O 1 为图像坐标系的原点。O cO 1 为摄像机的焦距f 。 图1 移动机器人视觉系统的坐标关系 不考虑透镜畸变，则由透视投影成像模型为：
式中，Z′= ［u，v ］T 为目标特征点P 在图像坐标系的二维坐标值；（X ，Y ，Z ）为P 点在世界坐标系的坐标；（X c0，Y c0，Z c0）为摄像机的光心在世界坐标系的坐标；dx ，dy 为摄像机的每一个像素分别在x 轴与y 轴方向采样的量化因子；u0，v 0 分别为摄像机的图像中心O 1 在x 轴与y 轴方向采样时的位置偏移量。通过式（1）即可实现点P 位置在图像坐标系和世界坐标系的变换。 2 图像目标识别与定位跟踪 2.1 目标获取 目标的获取即在摄像机采集的图像中搜索是否有特定目标，并提取目标区域，给出目标在图像中的位置特征点。 由于机器人控制实时性的需要，过于耗时的复杂算法是不适用的，因此以颜色信息为目标特征实现目标的获取。本文采用了HS I 模型， 3 个分量中，I 是受光照影响较大的分量。所以，在用颜色特征识别目标时，减少亮度特征I 的权值，主要以H 和S 作为判定的主要特征，从而可以提高颜色特征识别的鲁棒性。 考虑到连通性，本文利用捕获图像的像素及其八连通区域的平均HS 特征向量与目标像素的HS特征向量差的模是否满足一定的阈值条件来判别像素的相似性；同时采用中心连接区域增长法进行区域增长从而确定目标区域。图2 给出了目标区域分割的算法流程。
移动机器人定位方法概述 摘要：介绍了当前自主移动机器人的定位方法研究现状，对相对定位和绝对定位做了概述，对绝对定位中主要的研究方法做了介绍，并对概率机器人学所采用的主要定位方法做了介绍。 关键词：移动机器人；相对定位；绝对定位；概率机器人学 0 引言 随着工业自动化的发展，生产加工的自动化程度越来越高。机器人技术的出现和发展使传统的工业生产面貌发生根本性的变化。移动机器人的定位是其执行其他任务的前提和基础，也是评价机器人性能的关键指标之一。 移动机器人定位是指机器人通过感知获取环境信息，经过相关的信息处理而确定自身及目标位姿的过程。自主移动机器人导航过程需要回答3个问题：“我在哪里？”，“我要去哪里？”和“我怎样到达那里？”。移动机器人定位技术就是要解决第1个问题。准确来说，移动机器人定位的目的就是确定机器人在其运动环境中的世界坐标系的坐标。 根据机器人定位过程，可分为相对定位和绝对定位。但在机器人定位过程中，单独地使用其中任何一个定位方式都不能很好地解决移动机器人的定位问题。因而，在目前的定位技术中主要是将两者结合在一起，完成对移动机器人定位。本文对相对定位技术和绝对定位技术分别进行概述。 1 移动机器人相对定位研究 移动机器人的相对定位也称作位姿跟踪。假定机器人的初始位姿，采用相邻时刻的传感器信息对机器人的位置进行跟踪估计。相对定位法分为里程计法和惯性导航法。 1.1 里程计法（Odometry） 在机器人的导航技术中，里程计法是使用最为广泛的定位方法。在移动机器人的车轮上装有光电编码器，通过对车轮转动的记录来实现对机器人的位姿跟踪。在位置跟踪中，机器人的当前位置是根据对它的以前的位置的知识而更新的，而这需要假定机器人的初始位置已知，并且机器人姿态的不确定性必须小。通过这种方式来实现机器人定位的方法也成为航位推算法。航位推算是一个累加过程，在这个逐步累加的过程中，测量值以及计算值都会累积误差，使得定位精度不断下降。因而航位推算法只适用于短时间运动的或者短距离位姿跟踪。为了限定定位的不确定性，我们在航位推算法的基础上采用一些绝对的信息。为此，我们可以将航位推算法与其他传感器信息结合进行定位。
机器人抓取装置位置控 制系统校正装置设计 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】
自动控制原理课程设计题目：机器人抓取装置位置控制系统校正装置设计 专业：电气工程及其自动化 姓名： 班级：学号： 指导老师：职称： 郑州航空工业管理学院 机电工程学院 2011年12月
初始条件： 一个机器人抓取装置的位置控制系统为一单位负反馈控制系统，其传递函数为()()() 15.013 0++=s s s s G ，设计一个滞后校正装置，使系统的相角裕 度?=45γ。 设计内容： 1.先手绘系统校正前的bode 图，然后再用MATLAB 做出校正前系统的bode 图，根据MATLAB 做出的bode 图求出系统的相角裕量。 2.求出校正装置的传递函数 3. 用MATLAB 做出校正后的系统的bode 图，并求出系统的相角裕量。 4.在matlab 下，用simulink 进行动态仿真，在计算机上对人工设计系统进行仿真调试，确使满足技术要求。 5.对系统的稳定性及校正后的性能说明 6.心得体会。
1频率法的串联滞后校正特性及方法 特性：当一个系统的动态特性是满足要求的，为改善稳态性能，而又不影响其动态响应时，可采用此方法。具体就是增加一对靠的很近并且靠近坐标原点的零、极点，使系统的开环放大倍数提高β倍，而不影响开环对数频率特性的中、高频段特性。 该方法的步骤主要有： ()1绘制出未校正系统的bode 图，求出相角裕量0γ，幅值裕量g K 。 ()2在bode 图上求出未校正系统的相角裕量εγγ +=期望处的频率2c ω,2 c ω作为校正后系统的剪切频率，ε用来补偿滞后校正网络2c ω处的相角滞后，通常取??=15~5ε。 ()3令未校正系统在2c ω的幅值为βlg 20，由此确定滞后网络的β值。 ()4为保证滞后校正网络对系统在2c ω处的相频特性基本不受影响，可按 10 ~ 2 1 2 2 2c c ωωτ ω= = 求得第二个转折频率。 ()5校正装置的传递函数为()1 1 ++= s s s G C βττ ()6画出校正后系统的bode 图，并校验性能指标 2确定未校正前系统的相角裕度 先绘制系统的bode 图如下：
新型机器人室内定位技术 XXX软件研究所有限公司 一,技术背景 机器人六十年代,自第一台机器人装置诞生以来,机器人得发展经历了一个从低级到高级得发展过程。第一代机器人为示教再现型机器人,就是通过计算机来控制多自主得机械装置,通过示教存储程序把信息读取出来并发出指令,也可以根据人示教得结果再现动作,它对于外界得环境没有感知能力。在20世纪70年代后期人们开始研究第二代机器人:带感觉得机器人。这种机器人有类似人类得力觉、触觉、听觉、视觉等。第三代机器人就是智能机器人,它就是当今机器人发展得热点与重点,机器人通过各种传感器获取环境信息,利用人工智能识别、理解、推理并进行判断与决策来完成一定得任务。因此智能机器人除了具有感知环境与简单得适应环境能力外,还具有较强得识别理解能力与决策规划能力。80年代中期,技术革命得第三次浪潮冲击着全世界,机器人总数每年以30%以上得速度增长。1986年国家把智能机器人课题列为高技术发展计划,进入90年代,在国内市场经济发展得推动下,确定了机器人及其应用工程并重、以应用带动关键技术与基础研究得发展方针,实现了高技术发展与国民经济主战场得密切衔接,研制出有自主支持产权得工业机器人系列产品,并小批量试产,完成了一批机器人应用工程,建立了9个机器人产业化基地与7 个科研基地。通过多年得努力,取得了举世瞩目得硕果。本公司得智能移动机器人具备超声、红外等多传感器融合得导航系统,可以在一定得室内环境中自由行走,实现定位与自动避障等功能,在国内处于先进水平,具有一定影响力。 随着机器人技术得发展,具有移动行走功能、环境感知能力以及自主规划能力智能移动机器人得到了各国研究人员得普遍重视,特别就是在20世纪八、九十年代,随着计算机技术、微电子技术、网络技术等得快速发展,机器人技术得发展突飞猛进。本公司得智能移动机器人得重要特点在于它得自主性与适应性。自主性就是指它可以在一定得环境中,不依赖外部控制,完全自主地执行一定得任务;适应性就是指它可以实时识别与测量周围得物体,并根据环境变化,调节自身参数、动作策略以及处理紧急情况。 随着智能移动机器人技术得发展,其在军事、医疗、商业等领域发挥着重要得作用,人们对智能移动机器人得需求与期望也越来越高,越来越迫切,移动机器人研究从而进入了崭新得发展阶段。定位技术就是智能移动机器人得研究核心,同时也就是其实现完全自动化得关键技术。机器人只有准确知道自身位置,工作空间中障碍物得位置以及障碍物得运动情况等信息,才能安全有效地进行移动,由此可见,自主定位与环境分析就是移动机器人最重要得能力之一。
机器视觉引导与定位 视觉引导与定位是工业机器人应用领域中广泛存在的问题。对于工作在自动化生产线上的工业机器人来说，其完成最多的一类操作是“抓取－放置”动作。为了完成这类操作，对被操作物体定位信息的获取是必要的，首先机器人必须知道物体被操作前的位姿，以保证机器人准确地抓取；其次是必须知道物体被操作后的目标位姿，以保证机器人准确地完成任务。在大部分的工业机器人应用场合，机器人只是按照固定的程序进行操作，物体的初始位姿和终止位姿是事先规定的，作业任务完成的质量由生产线的定位精度来保证。为了高质量作业，就要求生产线相对固定，定位精度高，这样的结果是生产柔性下降，成本却大大增加，此时生产线的柔性和产品质量是矛盾的。 视觉引导与定位是解决上述矛盾的理想工具。工业机器人可以通过视觉系统实时地了解工作环境的变化，相应调整动作，保证任务的正确完成。这种情况下，即使生产线的调整或定位有较大的误差也不会对机器人准确作业造成多大影响，视觉系统实际上提供了外部闭环控制机制，保证机器人自动补偿由于环境变化而产生的误差。 理想的视觉引导与定位应当是基于视觉伺服的。首先观察物体的大致方位，然后机械手一边运动一边观察机械手和物体之间的偏差，根据这个偏差调整机械手的运动方向，直到机械手和物体准确接触为止。但是这种定位方式在实现上存在诸多困难。 直接视觉引导与定位是一次性地对在机器人环境中物体的空间位姿进行详细描述，引导机器人直接地完成动作。与基于视觉伺服的方法相比，直接视觉引导的运算量大大减少，为实际应用创造了条件，但这必须基于一个前提：视觉系统能够在机器人空间中（基坐标系中）精确测定物体的三维位姿信息。 以上内容由深圳市科视创科技有限公司整理编辑，分享请注明出处
自动控制原理课程设计题目:机器人抓取装置位置控制系统校正装置设计 专业：电气工程及其自动化 姓名： 班级：学号： 指导老师：职称: 郑州航空工业管理学院 机电工程学院
2011年12月 初始条件： 一个机器人抓取装置的位置控制系统为一单位负反馈控制系统，其传 递函数为G。s = 3，设计一个滞后校正装置，使系统的相 s(s+1 (0.5S + 1 ) 角裕度吋-45。 设计内容： 1先手绘系统校正前的bode图，然后再用MATLAB做出校正前系统的bode图，根据MATLAB做出的bode图求出系统的相角裕量。 2.求出校正装置的传递函数 3.用MATLAB做出校正后的系统的bode图，并求出系统的相角裕量。4在matlab下，用simulink进行动态仿真，在计算机上对人工设计系统进行仿真调试，确使满足技术要求。 5对系统的稳定性及校正后的性能说明6.心得体会。
1频率法的串联滞后校正特性及方法 1.1特性：当一个系统的动态特性是满足要求的，为改善稳态性能，而又不影响其动态响应时，可采用此方法。具体就是增加一对靠的很近并且靠近坐标原点的零、极点，使系统的开环放大倍数提高 ［倍， 而不影响开环对数频率特性的中、高频段特性。 1.2该方法的步骤主要有： 1绘制出未校正系统的bode图，求出相角裕量°，幅值裕量久g。 2在bode图上求出未校正系统的相角裕量二期望」处的频率 ‘2,'2作为校正后系统的剪切频率，；用来补偿滞后校正网络,2处的相角滞后，通常取；=5?15。 3令未校正系统在^2的幅值为20lgi，由此确定滞后网络的［值。 4为保证滞后校正网络对系统在-c2处的相频特性基本不受影响，可按丄 二二?上求得第二个转折频率。 T 2 10 5校正装置的传递函数为Gc s = - S 1 削s +1 6画出校正后系统的bode图，并校验性能指标 2确定未校正前系统的相角裕度 2.1先绘制系统的bode图如下：
机器人视觉系统 在现代工业自动化生产中，涉及到各种各样的检验、生产监视及零件识别应用，例如零配件批量加工的尺寸检查，自动装配的完整性检查，电子装配线的元件自动定位，IC上的字符识别等。通常人眼无法连续、稳定地完成这些带有高度重复性和智能性的工作，其它物理量传感器也难有用武之地。由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。 一个成功的机器视觉系统是一个经过细致工程处理来满足一系列明确要求的系统。当这些要求完全确定后，这个系统就设计并建立来满足这些精确的要求。机器视觉的优点包括以下几点： ■精度高 作为一个精确的测量仪器，设计优秀的视觉系统能够对一千个或更多部件的一个进行空间测量。因为此种测量不需要接触，所以对脆弱部件没有磨损和危险。 ■连续性 视觉系统可以使人们免受疲劳之苦。因为没有人工操作者，也就没有了人为造成的操作变化。多个系统可以设定单独运行。 ■成本效率高 随着计算机处理器价格的急剧下降，机器视觉系统成本效率也变得越来越高。一个价值10000美元的视觉系统可以轻松取代三个人工探测者，而每个探测者每年需要20000美元的工资。另外，视觉系统的操作和维持费用非常低。 ■灵活性 视觉系统能够进行各种不同的测量。当应用变化以后，只需软件做相应变化或者升级以适应新的需求即可。 许多应用满意过程控制（SPC）的公司正在考虑应用机器视觉系统来传递持续的、协调的和精确的测量SPC 命令。在SPC中，制造参数是被持续监控的。整个过程的控制就是要保证这些参数在一定的围。这使制造者在生产过程失去控制或出现坏部件时能够调节过程参数。 机器视觉系统比光学或机器传感器有更好的可适应性。它们使自动机器具有了多样性、灵活性和可重组性。当需要改变生产过程时，对机器视觉来说“工具更换”仅仅是软件的变换而不是更换昂贵的硬件。当生产线重组后，视觉系统往往可以重复使用 机器视觉系统的构成 机器视觉技术用计算机来分析一个图像，并根据分析得出结论。现今机器视觉有两种应用。机器视觉系统可以探测部件，在此光学器件允许处理器更精确的观察目标并对哪些部件可以通过哪些需要废弃做出有效的决定；机器视觉也可以用来创造一个部件，即运用复杂光学器件和软件相结合直接指导制造过程。
机器人定位抓取 ---视觉部分设置手册 机器人定位抓取视觉部分设置步骤如下： 一、调整相机到适当的位置 1、将相机连接到PC； 2、打开In-Sight软件； 3、将相机添加到In-Sight网络； 若相机与PC机本地连接在相同的网段（IP地址的前三段 相同、最后一段不同，例如：PC机IP为192.168.3.11， 相机IP为192.168.3.9），则在In-Sight网络里可直接找到 相机，如下图所示： 若在In-Sight网络里找不到相机，则需要通过修改相机IP 地址的方式将相机添加进来，方法如下： 1）在In-Sight网络里右键单击“In-Sight传感器”，选择 “添加传感器/设备”
2）在出现的界面中左键单击左侧区域出现的相机，在右侧区域选择“使用下列网络设置”，将相机IP地 址前三段及子网掩码修改为与PC机一致（当IP地 址前三段或子网掩码与PC机不一致时，右侧会出 现红色叹号），
3）相机IP地址及子网掩码修改好之后，点击“应用”，会出现如下对话框 点击“确定”，出现 同时，In-Sight网络里会出现相机。 点击“确定”，然后关闭设置页面。 4、连接相机 双击In-Sight网络里出现的相机。 5、查看右下角相机状态
若右下角显示，则单击上面工具栏中的“联 机/脱机”图标，使相机处于脱机状态 6、点击工具栏中的“实时”图标，使相机处于实时状态 7、调整相机高度，使相机的视野范围（图像可见范围）满足 检测需求（下图中的视野范围为18.5*13.875） 8、固定相机高度 二、调整图像 1、将检测物放置在相机视野范围内； 2、调节镜头上的“光圈”，使图像亮度适中（此操作说明中 没有使用光源，所以只需要调节光圈；若使用光源，应先
三菱工业机器人视觉标定的实现 郭方营电子电气工程学院 摘要：本文介绍了三菱工业机器人视觉标定实现的方法。在工业相机分辨率为640*480像素范围内设置9个标定圆，利用工业机器人2D标定软件获取9个标定点图像坐标和世界坐标，求得投影矩阵，写入机器人控制器，通过调用PVSCAL函数实现相机坐标系与世界坐标系的坐标转换，从而实现工业机器人视觉的标定，基于该方法结合视觉匹配和PLC可以实现工业机器人的运动控制。 关键词：工业机器人工业相机视觉标定坐标变换 1引言 《中国制造2025》和“十三五”发展中，工业机器人的需求逐渐增多，工业机器人要完成搬运、码垛、装配等各种工作都离不开坐标点，对于静态物体抓取、精度要求不高、坐标位置不多的场合，往往采用坐标位置示教的方法，利用示教器获得机器人特定点的位置（X.Y.Z）和姿态（A.B.C）坐标信息，然后按照要求以关节插补、直线插补、圆弧插补等方式完成运动。但在抓取运动的物体时，受外界因素影响，特别是质量轻的物体，位置点会产生偏移，示教的坐标点将不准确，同时随着坐标点数量的增加，示教工作量将会增大。针对固定点坐标示教的缺点，可以利用机器人的视觉控制来弥补，工业机器人的视觉犹如人的“眼睛”，即用工业相机来测出手爪和目标的相对位置，将目标位置的坐标经过转换成世界坐标系，实现“眼睛”看，用爪手抓取的过程，工业机器人的运动轨迹不需要提前示教，提高了编程和生产效率及加工精度。实现视觉控制的一种重要的问题之一就是视觉标定，目前常用的方法有线性标定方法、非线性标定方法、Tsai的经典两步法、张正友的标定方法等[1]，以上方法都需要编写坐标变换求解算法，必须具备线性代数的数学基础，难度较大。本文结合三菱工业机器人2D标定软件提供的功能和DALSA工业相机的特点利用9个标定圆，通过调用PVSCAL函数完成坐标转换，实现工业机器人视觉的标定。 2 硬件构成 工业相机固定在六自由度机器人的J5轴上，如图1（见附件）所示，采用蓝色光源作为背景光，采用吸盘式爪手，标定时在抓手中心处安装一个针尖便于示教坐
基于机器视觉的工业机器人定位系统 廖万辉 李琳 （华南理工大学机械与汽车工程学院机器人研究室，广州，510640） 【摘 要】建立了一个主动机器视觉定位系统，用于工业机器人对零件工位的精确定位。 采用基于区域的匹配和形状特征识别相结合的图像处理方法，该方法经过阈值和形状判据，识别出物体特征。经实验验证，该方法能够快速准确地得到物体的边界和质心，进行数据识别和计算，再结合机器人运动学原理控制机器人实时运动以消除此误差，满足工业机器人自定位的要求。 【关键词】工业机器人；机器视觉；图像识别；定位 Stereo Vision for Tracking and Location System Working on Industrial Robot Liao Wanhui and Li Lin （Robotics Research Laboratory, School of mechanic and auto engineering, South China University of Technology, China, 510640） Abstract: An active stereo vision for tracking and location system is built to work on industrial robot. A method combines area-based matching and the object’s shape to recognize object is proposed. It recognizes based on shape and segmentation. Test result showed that this method can correctly and quickly work out the boundary and centroid of object, the robot then moved to reduce the disparity as soon as possible based on the robot kinematics. It can achieve high rates of tracking and locating. Key words: Industrial robot；Stereo vision；Imaging recognition；Locating 文献标识码：B 中图分类号：TP24 1.引言 目前工业机器人仅能在严格定义的结构化环境中执行预定指令动作，缺乏对环境的感知与应变能力，这极大地限制了机器人的应用。利用机器人的视觉控制，不需要预先对工业机器人的运动轨迹进行示教或离线编程，可节约大量的编程时间，提高生产效率和加工质量。 Hagger等人提出通过基于机器人末端与目标物体之间的误差进行视觉反馈的方法[1]；Mezouar等人提出通过图像空间的路径规划和基于图像的控制方法 [2]。国内这方面主要应用于焊接机器人对焊缝的跟踪。 本文利用基于位置的视觉伺服思想，以六自由度垂直关节型喷涂机器人为载体，提出一种基于机器视觉的工业机器人自定位控制方法，解决了机器人末端实际位置与期望位置相距较远的问题，改善了喷涂机器人的定位精度。 2.视觉定位系统的组成 机器人视觉定位系统构成如图1所示，在关节型机器人末端安装喷涂工具、单个摄像机，使工件能完全出现在摄像机的图像中。系统包括摄像机系统和控制系统： （1）摄像机系统：由单个摄像机和计算机（包括图像采集卡）组成，负责视觉图像的采集和机器视觉算法； （2）控制系统：由计算机和控制箱组成，用来控制机器人末端的实际位置； 经CCD摄像机对工作区进行拍摄，计算机通过本文使用的图像识别方法，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置误差值，最后控制高精度的末端执行机构，调整机器人的位姿。 项目名称：基于机器人化护理床的社区医护远程监护系统研发及产业化 基金颁发部门：广东省科技厅基金号：20054982304 基金申请人：张铁 项目经济效益：50万元