移动机器人的关键技术分为以下三种: (1)导航技术 导航技术是移动机器人的一项核心技术之一[3,4]"它是指移动机器人通过传感器感知环境信息和自身状态,实现在有障碍的环境中面向目标的自主运动"目前,移动机器人主要的导航方式包括:磁导航,惯性导航,视觉导航等"其中,视觉导航15一7]通过摄像头对障碍物和路标信息拍摄,获取图像信息,然后对图像信息进行探测和识别实现导航"它具有信号探测范围广,获取信息完整等优点,是移动机器人导航的一个主要发展方向,而基于非结构化环境视觉导航是移动机器人导航的研究重点。 (2)多传感器信息融合技术多传感器信息融合技术是移动机器人的关键技术之一,其研究始于20世纪80年代18,9]"信息融合是指将多个传感器所提供的环境信息进行集成处理,形成对外部环境的统一表示"它融合了信息的互补性,信息的冗余性,信息的实时性和信息的低成本性"因而能比较完整地,精确地反映环境特征,从而做出正确的判断和决策,保证了机器人系统快速性,准确性和稳定性"目前移动机器人的多传感器融合技术的研究方法主要有:加权平均法,卡尔曼滤波,贝叶斯估计,D-S证据理论推理,产生规则,模糊逻辑,人工神经网络等"例如文献[10]介绍了名为Xavier的机器人,在机器人上装有多种传感器,如激光探测器!声纳、车轮编码器和彩色摄像机等,该机器人具有很高的自主导航能力。 (3)机器人控制器作为机器人的核心部分,机器人控制器是影响机器人性能的关键部分之一"目前,国内外机器人小车的控制系统的核心处理器,己经由MCS-51、80C196等8位、16位微控制器为主,逐渐演变为DSP、高性能32位微控制器为核心构成"由于模块化系统具有良好的前景,开发具有开放式结构的模块化、标准化机器人控制器也成为当前机器人控制器的一个研究热点"近几年,日本!美国和欧洲一些国家都在开发具有开放式结构的机器人控制器,如日本安川公司基于PC开发的具有开放式结构!网络功能的机器人控制器"我国863计划智能机器人主题也已对这方面的研究立项 视觉导航技术分类 机器人视觉被认为是机器人重要的感觉能力，机器人视觉系统正如人的眼睛一样,是机器人感知局部环境的重要“器官”,同时依此感知的环境信息实现对机器人的导航。机器人视觉信息主要指二维彩色CCD摄像机信息,在有些系统中还包括三维激光雷达采集的信息。视觉信息能否正确、实时地处理直接关系到机器人行驶速度、路径跟踪以及对障碍物的避碰,对系统的实时性和鲁棒性具有决定性的作用。视觉信息处理技术是移动机器人研究中最为关键的技术之一。
基于深度视觉的室内移动机器人即时定位与建图研究 在无法获取GPS信号的室内场合,如何有效地解决移动机器人的室内定位与导航问题,已经成为机器人技术研究领域的难点与热点,而即时定位与地图构建(SLAM)方法为此提供了一个较为合适的解决方法。近些年,由于以Kinect为代表的深度相机具有同时获取场景的彩色信息与深度信息的特点,基于深度相机的视觉SLAM方法逐渐成为视觉SLAM研究的一个重要方向。 本文主要针对基于深度相机的室内移动机器人SLAM技术展开研究,先是利用TUM数据集完成视觉SLAM算法的测试,再在移动机器人平台上进行算法实验,结果能够较好地建立出室内环境的地图模型。本文的主要研究内容共分为以下几个部分:首先,对本课题研究中使用的深度相机的模型展开介绍,包括其中涉及的坐标系与坐标变换,以及深度相机的标定方法。 接着,分析机器人的视觉SLAM过程中涉及的相关系统变量,并对其运动方程和观测方程作出描述。同时,结合图模型,以位姿图的形式,表示移动机器人的即时定位与地图构建过程,为后续研究打下基础。 其次,详细研究基于深度相机的视觉SLAM算法的各个模块。考虑整体SLAM 算法的实时性能,在视觉SLAM的前端,采用计算速度极快的ORB特征,并利用汉明距离进行匹配,同时引入误匹配优化机制,提高特征匹配的准确率。 在估计相机运动时,利用深度相机的深度信息,使用3D-2D的方法估计两帧图像之间相机的运动。在后端处理部分,介绍回环检测方法,利用视觉词袋算法对机器人运动过程中的位姿进行回环,约束其位姿的估计误差。 然后,介绍基于位姿图的非线性优化方法,并利用g2o库求解相机运动轨迹,同时根据深度相机的数据,构建点云地图,展开算法的评价。再次,针对点云地图
移动机器人视觉导航。 0504311 19 刘天庆一、引言 智能自主移动机器人系统能够通过传感器感知外界环境和自身状态，实现在有障碍物环境中面向目标的自主运动，从而完成一定作业功能。其本身能够认识工作环境和工作对象，能够根据人给予的指令和“自身”认识外界来独立地工作，能够利用操作机构和移动机构完成复杂的操作任务。因此，要使智能移动机器人具有特定智能，其首先就须具有多种感知功能，进而进行复杂的逻辑推理、规划和决策，在作业环境中自主行动。机器人在行走过程中通常会碰到并且要解决如下三个问题：（1）我（机器人）现在何处？（2）我要往何处走？（3）我要如何到达该处？其中第一个问题是其导航系统中的定位及其跟踪问题，第二、三个是导航系统的路径规划问题。移动机器人导航与定位技术的任务就是解决上面的三个问题。移动机器人通过传感器感知环境和自身状态，进而实现在有障碍物的环境中面向目标自主运动，这就是通常所说的智能自主移动机器人的导航技术。而定位则是确定移动机器人在工作环境中相对于全局坐标的位置及其本身的姿态，是移动机器人导航的基本环节。 目前，应用于自主移动机器人的导航定位技术有很多，归纳起来主要有：安装CCD 摄像头的视觉导航定位、光反射导航定位、全球定位系统GPS(Global Positioning System)、声音导航定位以及电磁导航定位等。下面分别对这几种方法进行简单介绍和分析。 1、视觉导航定位 在视觉导航定位系统中，目前国内外应用较多的是基于局部视觉的在机器人中安装车载摄像机的导航方式。在这种导航方式中，控制设备和传感装置装载在机器人车体上，图像识别、路径规划等高层决策都由车载控制计算机完成。视觉导航定位系统主要包括：摄像机（或CCD 图像传感器）、视频信号数字化设备、基于DSP 的快速信号处理器、计算机及其外设等。现在有很多机器人系统采用CCD 图像传感器，其基本元件是一行硅成像元素，在一个衬底上配置光敏元件和电荷转移器件，通过电荷的依次转移，将多个象素的视频信号分时、顺序地取出来，如面阵CCD传感器采集的图像的分辨率可以从32×32 到1024×1024 像素等。视觉导航定位系统的工作原理简单说来就是对机器人周边的环境进行光学处理，先用摄像头进行图像信息采集，将采集的信息进行压缩，然后将它反馈到一个由神经网络和统计学方法构成的学习子系统，再由学习子系统将采集到的图像信息和机器人的实际位置联系起来，完成机器人的自主导航定位功能。 视觉导航定位中，图像处理计算量大，计算机实时处理的速度要达到576MOPS~5.76BOPS，这样的运算速度在一般计算机上难以实现，因此实时性差这一瓶颈问题有待解决； 另外，对于要求在黑暗环境中作业的机器人来说，这种导航定位方式因为受光线条件限制也不太适应。 当今国内外广泛研制的竞赛足球机器人通常都采用上面所说的视觉导航定位方式，在机器人小车子系统中安装摄像头，配置图像采集板等硬件设备和图像处理软件等组成机器人视觉系统。通过这个视觉系统，足球机器人就可以实现对球的监测，机器人自身的定位，作出相应动作和预测球的走向等功能
基于视觉导航的轮式移动机器人设计方案第一章移动机器人 §1.1移动机器人的研究历史 机器人是一种自动化的机器，所不同的是这种机器具备一些与人或生物相似的智能，如感知能力、规划能力、动作能力和协同能力，是一种具有高度灵活性的自动化机器)。1962年，美国Unimation公司的第一台机器人Unimate。在美国通用汽车公司(GM)投入使用，标志着第一代机器人的诞生。 智能移动机器人更加强调了机器人具有的移动能力，从而面临比固定式机器人更为复杂的不确定性环境，也增加了智能系统的设计复杂度。1968年到1972年间，美国斯坦福国际研究所(Stanford Research Institute, SRI)研制了移动式机器人Shaky,这是首台采用了人工智能学的移动机器人。Shaky具备一定人工智能，能够自主进行感知、环境建模、行为规划并执行任务(如寻找木箱并将其推到指定目的位置)。它装备了电视摄像机、三角法测距仪、碰撞传感器、驱动电机以及编码器，并通过无线通讯系统由二台计算机控制。当时计算机的体积庞大，但运算速度缓慢，导致Shaky往往需要数小时的时间来分析环境并规划行动路径。 1970年前联月球17号探测器把世界第一个无人驾驶的月球车送七月球，月球车行驶0.5公里，考察了8万平方米的月面。后来的月球车行驶37公里，向地球发回88幅月面全景图。在同一时代，美国喷气推进实验室也研制了月球车(Lunar rover),应用于行星探测的研究。采用了摄像机，激光测距仪以及触觉传感器。机器人能够把环境区分为可通行、不可通行以及未知等类型区域。 1973年到1979年，斯坦福大学人工智能实验室研制了CART移动机器人，CART可以自主地在办公室环境运行。CART每移动1米，就停下来通过摄像机的图片对环境进行分析，规划下一步的运行路径。由于当时计算机性能的限制，CART每一次规划都需要耗时约15分钟。CMU Rover由卡耐基梅隆大学机
基于图像的机器人视觉伺服系统研究 班级：自121 姓名：成佳宇 学号：3120413006
基于图像的机器人视觉伺服系统 摘要本文采用基于图像的眼在手（eye in hand）视觉伺服结构,通过计算图像雅克比矩阵实现机械手的定位任务。本文采用应用最广泛的机器人工具箱(Robotics Toolbox for Matlab)，在该工具箱的基础上,运用Sub-system实现Matlab和Simulink的有机结合，建立基于图像反馈的六自由度PUMA560机器人视觉伺服系统Simulink模型,仿真验证该模型的有效性。 关键字：puma560机器人；视觉伺服；图像的雅可比矩阵Abstract：In this paper,we use Image-based visual servoing control system, via image jacobin matrix function the positioning of the manipulator by calculation task. on the basis of Robotics Toolbox for Matlab, and using Sub - system to realize the organic combination of Matlab and Simulink, based on the image feedback Simulink model of six degrees of freedom PUMA560 robot visual servoing system, the simulation verify the validity of the model. Keyword：PUMA560robot；IBVS；Image jacobin 引言： 机器人视觉伺服己成为机器人领域重要的研究内容之一，但是机器人视觉伺服系统是一个十分复杂的非线性系统。视觉是一种复杂的感官,视觉信息中包含有大量的数据,要从 中提取特征信息,需要复杂的算法及耗费大量的运算时间,
第9卷 第7期2004年7月 中国图象图形学报Journal of Image and G raphics V ol.9,N o.7July 2004 基金项目:国家“863”计划资助项目(编号:2001AA422200)收稿日期:2004201213;改回日期:2004204206 基于路径识别的移动机器人视觉导航 张海波 原 魁 周庆瑞 (中国科学院自动化研究所高技术创新中心,北京 100080) 摘 要 跟随路径导引是自主式移动机器人广泛采用的一种导航方式,其中视觉导航具有其他传感器导航方式所无法比拟的优点,是移动机器人智能导航的主要发展方向。为了提高移动机器人视觉导航的实时性和准确性,提出了一个基于路径识别的视觉导航系统,其基本思想是首先用基于变分辨率的采样二值化和形态学去噪方法从原始场景图像中提取出目标支持点集,然后用一种改进的哈夫变化检测出场景中的路径,最后由路径跟踪模块分直行和转弯两种情况进行导航计算。实验结果表明,该视觉导航系统具有较好的实时性和准确性。关键词 自主式移动机器人 视觉导航 路径识别 中图法分类号:TP242.62 文献标识码:A 文章编号:100628961(2004)0720853205 Visual N avigation of a Mobile R obot B ased on P ath R ecognition ZH ANG Hai 2bo ,Y UAN K ui ,ZH OU Qing 2rui (Hi 2tech Innovation Centre ,Institute o f Automation ,Chinese Academy o f Sciences ,Beijing 100080) Abctract G uidance using path following is widely applied in the field of autonom ous m obile robots.C om pared with the navigation system without vision ,visual navigation has obvious advantages as rich in formation ,low cost ,quietness ,innocuity ,etc.This pa 2per describes a navigation system which uses the visual in formation provided by guide lines and color signs.In our approach ,the visual navigation is com posed of three main m odules :image 2preprocessing ,path 2recognition and path 2tracking.First ,image 2pre 2processing m odule formulates color m odels of all kinds of objects ,and establishes each object ’s support through adaptive subsam 2pling 2based binarization and mathematical m orphology.Second ,path 2recognition m odule detects the guide lines through an im 2proved H ough trans form alg orithm ,and the detected results including guide lines and color signs integrate the path in formation.Fi 2nally ,calling different functions according to the m ovement of straight 2g oing or turning ,path 2tracking m odule provides required in 2put parameters to m otor controller and steering controller.The experimental results dem onstrate the effectiveness and the robustness of our approach. K eyw ords com puter perception ,autonom ous m obile robot ,visual navigation ,path recognition 1 引 言 导航技术是移动机器人的一项核心技术,其难 度远远超出人们最初的设想,其主要原因有:一是环境的动态变化和不可预测;二是机器人感知手段的不完备,即很多情况下传感器给出的数据是不完全、不连续、不可靠的[1]。这些原因使得机器人系统在复杂度、成本和可靠性方面很难满足要求。 目前广泛应用的一种导航方式是“跟随路径导 引”,即机器人通过对能敏感到的某些外部的连续路 径参照线作出相应反应来进行导航[2]。这种方法和传统的“硬”自动化相比大大增加了系统的灵活性,其具有代表性的系统有:C ontrol Engineering 公司安装的导线引导系统,它是通过检测埋在地下的引导导线来控制行进方向,其线路分岔则通过在导线上加载不同频率的电流来实现[3];Egemin Automation 公司生产的Mailm obile 机器人则安装有主动式紫外光源,并通过3个光电探头来跟随由受激化学物质构成的发光引导路径[4];Macome 公司为自动驾驶车
机器人视觉伺服系统综述 摘要：对机器人视觉伺服系统进行阐述，介绍了机器人视觉伺服系统的概念、发展历程以及研究背景；并从不同的角度对机器人视觉伺服系统进行了分类。最后介绍了该领域的研究现状、所取得的成就，以及今后的发展趋势。 关键词：机器人；视觉伺服；综述 Survey of robot visual servoing system Abstract:: In this paper,the survey of robot visual servoing system are introduced.The paper reviews the concept and history background of robot visual servoing system.This article also classify the robot visual servo system from different aspects. Finally, it introduce the research status quo, achievements and future trends in the field. Key words:robot, visual servoing, summary 1．引言 随着先进科学技术的不断发展，机器人已经在生产和生活中起到了越来越重要的作用，因次人们不断对机器人技术提出更高的要求。为了使机器人能够完成更加复杂的工作，适应更加复杂的环境，机器人不仅需要更加完善的控制统，还需要能够更多的感知环境的变化。而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力，在人们为机器人添加各种外部传感器的过程中，机器人视觉以其信息大、信息完整成为最重要的机器人感知功能[1]。 机器人的视觉伺服系统是机器人的视觉和机器人控制的相结合的复杂系统。其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴交叉学科。随着摄像技术和计算机技术的发展，以及相关理论的日益完善和实践的不断检验，视觉伺服已具备了在实际中应用的条件；而随着机器人应用领域的不断扩展，重要性也不断提高，与其相关技术问题已经成为了当前的研究热点[2]。所以实现机器人视觉伺服控制有相当的难度，是机器人研究领域中具有挑战性的课题。 2．机器人视觉伺服系统 2．1机器人视觉伺服系统的定义
移动机器人视觉定位方法的研究 针对移动机器人的局部视觉定位问题进行了研究。首先通过移动机器人视觉定位与目标跟踪系统求出目标质心特征点的位置时间序列，然后在分析二次成像法获取目标深度信息的缺陷的基础上，提出了一种获取目标的空间位置和运动信息的方法。该方法利用序列图像和推广卡尔曼滤波，目标获取采用了HIS模型。在移动机器人满足一定机动的条件下，较精确地得到了目标的空间位置和运动信息。仿真结果验证了该方法的有效性和可行性。 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1.目标成像的几何模型 移动机器人视觉系统的坐标关系如图1所示。 其中O-XYZ为世界坐标系；Oc-XcYcZc为摄像机坐标系。其中Oc为摄像机的光心，X 轴、Y轴分别与Xc轴、Yc轴和图像的x，y轴平行，Zc为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O1为图像坐标系的原点。OcO1为摄像机的焦距f. 图1 移动机器人视觉系统的坐标关系
有约束的无标定模型预测控制 在视觉伺服控制器的设计中，图像雅可比矩阵是建立运动学模型的关键。经典的IBVS采用比例控制律，它利用图像雅可比矩阵的逆(或伪逆)。然而，比 例控制器可能存在局部极小问题。也就是说，如果视觉特征数大于3，则图像雅可比矩阵不是满秩的，图像误差可能存在于图像雅可比矩阵的逆(或伪逆)的零空间中，从而导致局部收敛，使得最终的图像特征远离期望的图像特征。另外，系统约束处理困难，尤其是可见性约束。当相机的初始位置和所需位置之间的距离较大时，图像特征将不可见。在视觉伺服控制过程中，可能会违反关节的物理限制和机器人的工作空间。此外，比例控制器的主要缺点是需要知道摄像机内参数、摄像机外参数和特征点的深度参数，而这些特征点的精确值很难获得。 为了避免使用图像雅可比矩阵中元素的精确值，人们对图像雅可比矩阵的数值估计进行了广泛的研究，如神经网络、迭代学习、拟牛顿方法和模糊控 制。文献提出了许多基于深度无关交互(或图像雅可比)矩阵的自适应 控制器，以克服深度限制问题。文献首次针对摄像机参数未知且深度随时间 变化的固定摄像机构型，提出了与深度无关的交互矩阵。文献提出了眼在手 和固定眼构型的自适应视觉跟踪控制的统一设计方法。然而，这些方案没有明确考虑系统约束，而这些约束对于视觉伺服控制器的设计是至关重要的。 已经提出了许多方法来处理有约束的视觉伺服任务。例如路径规划、非线性反馈等，但大多需要给定摄像机的外部参数，并且假定摄像机的内部参数和深度信息是已知的。在IBVS中，通常采用模型预测控制(Model Predictive Control，MPC)来处理系统约束，且MPC控制器具有在未知影响和模型误差的情况下对 系统进行控制的能力。因此，MPC算法可以用来设计无标定环境下的视觉伺服控制器。本章主要提出了一种新的基于MPC的IBVS设计方法，该方法明确地考虑了系统的约束条件，能够有效地处理未知的摄像机参数和深度参数。通过模型预测控制获得控制输入，通过参数估计算法在线更新预测模型的未知参数，完成视觉伺服任务。 有约束和无标定视觉伺服的预测模型 模型预测控制被用来处理未标定环境中眼在手上和眼在手外摄像机构型的IBVS系统的控制约束。在无标定的环境中，摄像机的内外参数和特征的三维坐标是未知的。为了通过MPC获得最优控制输入，需要找到一个预测模型来描述系统的动态行为。介绍了基于深度无关交互矩阵的预测模型。在透视投影模型下，特征点的图像坐标可以描述为： s m (t) c
视觉伺服控制算法优化综述 摘要：系统论述了视觉伺服控制的应用现状。重点介绍了针对不同的实际情况，提出优化的基于位置的视觉伺服系统和基于图像的视觉伺服系统的控制算法。优化后的算法效率高，具有很强的有效性和可行性。优化后的控制系统功能更强，更精确有效。 关键词：视觉伺服;优化;算法 Survey of Visual Servoing control algorithm Abstract:The application status of the visual servo control are reviewed . For different realities , we put fortward an improved position-based visual servo systems and image -based visual servo control algorithm of the system. High efficiency of the improved algorithm has strong effectiveness and feasibility. The improved control system functions stronger, and become more precise and effective. Keywords:Visual Servoing;improve;Algorithm
1 引言 随着科技的快速发展，在现代工业自动化生产过程中,机器视觉正成为一种提高生产效率和保证产品质量的关键技术,如机械零件的自动检测、智能机器人控制及生产线的自动监控等。 基于视觉的伺服策略是采用相机所观察的特征来控制机器人移动的一种灵活有效的方法。视觉伺服主要分为3种：基于位置的视觉伺服(PBVS)、基于图像的视觉伺服(IBVS)和混合控制视觉伺服。早期的研究主要是基于位置的视觉伺服研究，近年来主要是基于图像的视觉伺服研究。 PBVS的反馈偏差在3D笛卡尔空间进行计算，IBVS的反馈偏差在2D图像平面空间进行计算。PBVS 的控制方式直接在笛卡尔空间下进行位姿估计和运动控制，具有很好的直观性和简单有效性。IBVS的控制方式其期望给定值直接以图像特征信息表示，所以不需要将特征信息投影逆变换到工作空间的过程，因此基于图像的控制方式对标定误差和空间模型误差不敏感，具有更高地定位精度，为多数的视觉伺服系统所采用。 2 视觉伺服控制算法 在进行任何一个基于伺服控制的控制系统的分析、综合或设计时，首先应建立该系统的数学模型，确定其控制算法。它反映了系统输入、内部状态和输出之间的数量和逻辑关系，这些关系式为计算机进行运算处理提供了依据。控制算法的正确与否直接影响控制系统的品质，甚至决定整个系统的成败。 2.1 基于位置的视觉伺服算法的优化 对于不同的功能要求，采用传统的基于位置的视觉伺服控制算法，常常造成稳定性不够、精度不够、准确性不足等问题，我们需要对算法进行优化处理，来满足要求。 例如，针对家庭环境中服务机器人物品的抓取问题，提出一种改进的基于位置的视觉伺服抓取算法。该算法主要包括4个部分： 1.基于Naomark 标签的物体识别，根据Naomark的ID确定抓取方式，并利用世界单应分解算法对目标物位姿进行估计。 通过在具有不同形状和特征的各类物品上布置Naomark 标签的方式，可以实现被操作物的快速识别与定位，从而解决家庭环境中物品种类多、操作方式复杂带来的困难。 利用Hough 变换和边缘检测可以得到Naomark 的各特征点。 2.对NAO机器人的五自由度手臂进行运动学建模，计算出运动学正解和逆解。
机器人视觉伺服系统的控制结构
机器人视觉伺服系统的控制结构 1 前言 对机器人视觉伺服系统的研究是机器人领域中的重要内容之一，其研究成果可直接用于机器人手—眼系统、移动机器人的自动避障及对周围环境的自适应、轨线跟踪等问题中。通常所说的机器视觉是指：自动获取并分析图像，以得到一组可对景物描述的数据或控制某种动作的数据。而视觉伺服则不同于机器视觉，它利用机器视觉的原理对图像进行自动获取与分析，以实现对机器人的某项控制为目的。正是由于系统以实现某种控制为目的，所以视觉伺服系统中的图像处理过程必须快速准确。 视觉伺服系统采用视觉反馈环形成闭环，在视觉反馈环中抽取某种图像特征。图像特征可以是点、曲线、图像上的某一区域等，比如，它可以是点在图像平面的坐标位置，或投影面的形心及其惯量的高次幂。 2 视觉伺服系统的分类 视觉伺服的控制策略主要基于以下两个问题： 1）是否采用分层控制结构？即机器人是否需要闭环关节控制器？进一步说，就是系统的视觉反馈是为机器人的关节控制闭环提供输入量，还是由视觉控制器直接控制机器人各关节。 2）误差输入量是以机器人所在空间的三维坐标表示，还是以图像特征？ 按控制策略2）区分，视觉伺服系统分为两类：基于位置的控制系统（position－based control，又称3D视觉伺服，3Dvisualservoing），基于图像的控制系统（image－base control，或称2D视觉伺服，2Dvisualservoing）。由于基于位置和基于图像的视觉伺服各有其优缺点，于是近年有学者综合上述两类视觉伺服系统的优点，设计出2-1/2D视觉伺服系统。 按控制策略1）区分，视觉伺服系统可分为动态观察—移动系统和直接视觉伺服。前者采用机器人关节反馈内环稳定机械臂，由图像处理模块计算出摄像机应具有的速度或位置增量，反馈至机器人关节控制器；后者则由图像处理模块直接计算机械壁各关节运动的控制量。 3 视觉伺服系统的控制结构 3.1 基于位置的视觉伺服控制结构
移动机器人视觉定位设计方案 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3 个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1 目标成像的几何模型 移动机器人视觉系统的坐标关系如图1 所示。 其中O-X Y Z 为世界坐标系；O c - X cY cZ c 为摄像机坐标系。其中O c 为摄像机的光心，X 轴、Y 轴分别与X c 轴、Y c 轴和图像的x ，y 轴平行，Z c 为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O 1 为图像坐标系的原点。O cO 1 为摄像机的焦距f 。 图1 移动机器人视觉系统的坐标关系 不考虑透镜畸变，则由透视投影成像模型为：
式中，Z′= ［u，v ］T 为目标特征点P 在图像坐标系的二维坐标值；（X ，Y ，Z ）为P 点在世界坐标系的坐标；（X c0，Y c0，Z c0）为摄像机的光心在世界坐标系的坐标；dx ，dy 为摄像机的每一个像素分别在x 轴与y 轴方向采样的量化因子；u0，v 0 分别为摄像机的图像中心O 1 在x 轴与y 轴方向采样时的位置偏移量。通过式（1）即可实现点P 位置在图像坐标系和世界坐标系的变换。 2 图像目标识别与定位跟踪 2.1 目标获取 目标的获取即在摄像机采集的图像中搜索是否有特定目标，并提取目标区域，给出目标在图像中的位置特征点。 由于机器人控制实时性的需要，过于耗时的复杂算法是不适用的，因此以颜色信息为目标特征实现目标的获取。本文采用了HS I 模型， 3 个分量中，I 是受光照影响较大的分量。所以，在用颜色特征识别目标时，减少亮度特征I 的权值，主要以H 和S 作为判定的主要特征，从而可以提高颜色特征识别的鲁棒性。 考虑到连通性，本文利用捕获图像的像素及其八连通区域的平均HS 特征向量与目标像素的HS特征向量差的模是否满足一定的阈值条件来判别像素的相似性；同时采用中心连接区域增长法进行区域增长从而确定目标区域。图2 给出了目标区域分割的算法流程。
第32卷第4期2006年7月 光学技术 OPTICAL TECHN IQU E Vol.32No.4 J uly 2006 文章编号:1002-1582(2006)04-0591-03 一种基于单目视觉的移动机器人室内导航方法Ξ 付梦印,谭国悦,王美玲 (北京理工大学信息科学技术学院自动控制系,北京 100081) 摘 要:针对室内导航的环境特点,提出了一种简单快速的、以踢脚线为参考目标的移动机器人室内导航方法。该方法从图像中提取踢脚线作为参考直线,通过两条直线在图像中的成像特征,提取角度和横向偏离距离作为移动机器人的状态控制输入,从而实现移动机器人的横向运动控制。该方法无需进行摄像机的外部参数标定,大大简化了计算过程,提高了视觉导航的实时性。 关键词:视觉导航;直线提取;Hough变换;移动机器人;踢脚线 中图分类号:TP242.6+2;TP391 文献标识码:A An indoor navigation algorithm for mobile robot based on monocular vision FU Meng-yin,T AN G uo-yue,WANG Mei-ling (Department of Automatic Control,School of Information and Science Technolo gy, Beijing Institute of Technology,Beijing 100081,China) Abstract:Considered the features of indoor environment,a sim ple fast indoor navigation algorithm for vision-guide mobile robot was presented,which used skirting lines as the reference objects to locate the mobile robot.This algorithm detected skirt2 ing lines using monocular images and analyzed the lines’parameters to provide angle and distance of the robot as in puts of robot control.Without calibrating camera parameters,this algorithm greatly reduces computation time and improves the real-time a2 bility of vision navigation. K ey w ords:vision navigation;line detection;Hough transform;mobile robot;skirt line 1 引 言 近年来,机器视觉因其含有丰富的环境信息而受到普遍的关注。随着视觉传感器价格的不断下降,视觉导航已成为导航领域研究的热点。在室外进行视觉导航时,采用视觉传感器可获取车道信息,通过摄像机的标定来实现坐标转换,通过确定车辆当前的状态来实现导航。绝大部分智能车辆都是应用视觉来完成车道检测的[1,2],例如意大利的AR2 GO[3]项目就是通过使用逆投射投影的方法[4]来确定车辆状态的,并获得了良好的实验效果。在室内进行视觉导航时,利用视觉提取室内环境特征,例如一些预先设置的引导标志就是通过图像处理进行识别并理解这些标志来完成导航任务的[5,6]。这些都需要在图像中进行大量的搜索运算来提取标志,并通过一系列的图像理解算法来理解标志的信息,因而计算量很大。当然也可以通过视觉计算室内环境,例如通过走廊中的角点特征来获取状态信息[7],以此减少图像搜索时的计算量。但这些角点信息易受移动机器人运动的影响,会模糊角点信息,为了提高计算精度需要通过光流法对背景信息进行运动补偿,计算复杂,实时性不理想。 当移动机器人在实验室走廊环境下进行导航控制时,需要视觉传感器为其提供偏航角和横向偏离距离这两个参数。通过对单目视觉图像进行处理来获取这两个参数,完成移动机器人的横向运动控制。 2 摄像机成像模型与视觉系统 2.1 摄像机成像模型 使用视觉传感器首先要考虑的是其成像模型,它是指三维空间中场景到图像平面的投影关系,不同的视觉传感器有不同的成像模型。本文采用高分辨率CCD摄像机作为视觉传感器,其成像模型为针孔模型,空间中任意一点P在图像上的成像位置可以用针孔模型近似表示。如图1所示,P点投影位置为p,它是光心O同P点的连线O P与图像平面的交点,这种关系叫投射投影。图中标出的坐标系定义如下[8]: (1)图像坐标系I(u,v)是以图像平面的左上角为坐标原点所定义的直角坐标系,以像素为单位表示图像中点的位置。 (2)像平面坐标(x,y)指的是CCD成像靶面 195 Ξ收稿日期:2005-07-12 E-m ail:guoyuetan@https://www.doczj.com/doc/9310549797.html, 基金项目:国家自然科学基金资助项目(60453001) 作者简介:付梦印(1964-),男,北京理工大学信息科学技术学院自动控制系教授,博士,主要从事导航制导、控制组合导航及智能导航技术的研究。
机器人视觉伺服技术发展概况综述 目前，在全世界的制造业中，工业机器人已经在生产中起到了越来越重要的作用。为了使机器人能够胜任更复杂的工作，机器人不但要有更好的控制系统，还需要更多地感知环境的变化。其中机器人视觉以其信息量大、信息完整成为最重要的机器人感知功能。 机器人视觉伺服系统是机器视觉和机器人控制的有机结合，是一个非线性、强耦合的复杂系统，其内容涉及图象处理、机器人运动学和动力学、控制理论等研究领域。随着摄像设备性能价格比和计算机信息处理速度的提高，以及有关理论的日益完善，视觉伺服已具备实际应用的技术条件，相关的技术问题也成为当前研究的热点。 本文对机器人视觉伺服技术进行了综述，介绍了机器人视觉伺服系统的概念及发展历程和分类，重点介绍了基于位置的视觉伺服系统和基于图像的视觉伺服系统。对机器人视觉所涉及的前沿问题做了概括，并指出了目前研究中所存在的问题及今后发展方向。 机器人视觉伺服系统 视觉伺服的定义： 人类对于外部的信息获取大部分是通过眼睛获得的，千百年来人类一直梦想着能够制造出智能机器，这种智能机器首先具有人眼的功能，可以对外部世界进行认识和理解。人脑中有很多组织参与了视觉信息的处理，因而能够轻易的处理许多视觉问题，可是视觉认知作为一个过程，人类却知道的很少，从而造成了对智能机器的梦想一直难以实现。随着照相机技术的发展和计算机技术的出现，具有视觉功能的智能机器开始被人类制造出来，逐步形成了机器视觉学科和产业。所谓机器视觉，美国制造工程师协会(sme society of manufacturing engineers)机器视觉分会和美国机器人工业协会(ria robotic industries association) 的自动化视觉分会给出的定义是： “机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。”
基于图像视觉伺服的模糊比例积分微分控制系统 摘要：针对传统比例积分微分（PID）参数难整定、控制性能不理想等问题，将模糊控制理论与PID控制器相结合，构成模糊PID控制器。采用EyetoHand视觉模型，引入图像视觉伺服机制，通过图像获取误差信号来实现对PID控制器三个参数Kp、Ti和Td的实时在线自适应调整。最后在以PC机、CompactRIO、NI9401、互补金属氧化物半导体（CMOS）摄像头、电机驱动器及无刷直流（DC）电机组成的打孔机视觉伺服运动控制系统上完成了实验。结果表明，基于图像的视觉伺服模糊PID控制器相对于传统PID控制器响应速度提高了60%，超调量降低了80%，鲁棒性也更好；不仅能提高孔的定位精度，还能边加工边检测。 关键词：视觉伺服；模糊比例积分微分控制器；EyetoHand视觉模型；CompactRIO；CMOS摄像头；无刷直流电机 中图分类号：TP273.4 文献标志码：A Abstract：In view of the hard parameter tuning and unsatisfactory control performance，a fuzzyProportion Integration Differentiation （fuzzyPID）controller which
combined Proportion Integration Differentiation （PID）controller with the fuzzy control theory was proposed. The control system applied EyetoHand visual model，introduced visual servo mechanism，and realized realtime，online and adaptive adjustment for three parameters Kp，Ti and Td of the PID controller by getting errors in image. The experiment was performed on punching machine visual servo motion control system which composes of PC，compactRIO，NI9401，Complementary Metal Oxide Semiconductor （CMOS）camera，motor driver and brushless Direct Current （DC）motor. The results show that，compared with traditional PID controller，the speed of response of the fuzzyPID controller based on image visual servo is increased by 60%，the overshoot is reduced by 80%，and it has better robustness. It can not only improve the positioning accuracy of hole，but also process and detect holes nearly at the same time. 英文关键词Key words：visual servo；fuzzyProportion Integration Differentiation （fuzzyPID）controller；EyetoHand visual model；CompactRIO；Complementary Metal Oxide Semiconductor （CMOS）camera；brushless Direct Current （DC）motor 0 引言