工学硕士学位论文
基于视频序列的图像配准算法研究与应用
王帅
哈尔滨工业大学
2007年7月
国内图书分类号：TP391.4
国际图书分类号：681.39
工学硕士学位论文
基于视频序列的图像配准算法研究与应用
硕士研究生：王帅
导师：承恒达 教授
申请学位：工学硕士
学科、专业：计算机科学与技术
所在单位：计算机科学与技术学院
答辩日期：2007年7月
授予学位单位：哈尔滨工业大学
Classified Index: TP391.4
U.D.C: 681.39
Dissertation for the Master Degree in Engineering
RESEARCH AND APPLICATION
OF IMAGE REGISTRATION BASED
ON VIDEO SEQUENCE
Candidate：Wang Shuai
Supervisor：Prof. Cheng Hengda
Academic Degree Applied for：Master of Engineering
Specialty：Computer Science and Technology Affiliation：School of Computer Science and
Technology Date of Defence：July, 2007
Degree-Conferring-Institution：Harbin Institute of Technology
哈尔滨工业大学工学硕士学位论文
摘要
随着数字技术的不断发展，视频图像的分析与处理越来越受到人们的关注。数字化图像序列可以通过摄像机等光学设备获得，是真实世界在不同时间向成像平面的一系列投影。图像帧之间具有较大的相关性和信息冗余，找到并描述图像序列间的内在联系成为研究的关键所在。图像配准技术可以有效地解决这类问题。
图像配准问题是图像处理里的一个基本问题，是将不同时间、不同传感器、不同视角及不同拍摄条件下获取的图像对齐或匹配，消除存在的几何畸变。图像配准在计算机视觉、模式识别、医学图像处理和遥感信息处理方面有着广泛的应用。
本文提出了基于自适应聚类的特征匹配方法，满足大量图像配准的需求，提高匹配的速度，该方法基于正确匹配点对间形成矢量的一致性，对匹配点对进行自适应聚类，实验证明该方法在保证正确匹配不丢失的同时，可有效剔除绝大多数错误匹配，为进一步进行RANSAC匹配提供方便，且有效地提高了整个匹配过程的速度。
本文提出一种简单有效的图像合成方法。该方法针对摄像机固定位置，水平旋转拍摄的视频序列的特点，选取图像序列中部分帧，通过H矩阵确定重叠区域，再利用线性插值进行图像融合。实验证明在转角小于180 时，合成效果较好。
本文成功运用图像配准技术完成运动员滑行数据的测量，利用图像配准技术估计图像间摄像机运动，进而消除摄像机运动的影响，得到运动员的真实运动数据。根据这一原理，首先对冰场进行合理化建模，并确定相应的视频拍摄方案，设计了运动员冰场定位算法，利用帧间的H矩阵估计摄像机旋转角度，进而估计运动员的旋转角度完成滑行数据的测量。
关键词图像配准；特征点匹配；自适应聚类
- -I
哈尔滨工业大学工学硕士学位论文
- -
II Abstract
With the rapid advances in digital technology, the analysis and processing of video sequence has gained increasing attention in recent years. Digital image sequence can be obtained by optics device, such as camera, which is a series of projection from the real world to imaging plane at different times. Image frames have great correlation and information redundancy. The key of research is to find and describe the relationship between images. Image registration techniques can effectively solve such problem.
Image registration is a basic problem in image processing. It matches two or more images, at different times, from different sensors or from different view points, in order to remove of the potential geometrical distortion existed. Image registration is extensively applied to computer vision, pattern recognition, medical image processing and remote sensing information processing.
This paper presents a new method of image registration based on adaptive clustering, which satisfy vast image registration and work fast. The algorithm clusters the matching points adaptive, based on the vector consistency between correct matching points. The experimental results show that the adaptive clustering algorithm can work reliably, filter candidate matches well, prepare for RANSAC matching and increase the speed of match processing.
This paper presents a simple and effective method of image composition. For the image sequences which are obtained by fixed, horizontal panning camera, The method chooses some key frames from image sequences first, then find the overlap areas by homograghy matrix, composite the image by linear interpolation. If panning angle of camera is less than 180 , the method work well.
This paper measures the data of athlete successfully using image registration technology. We estimate the camera motion parameters, in order to remove of the influence of camera motion, then we can obtain real data of athlete. According to this principle, we establish a reasonable model for ice stadium, and give a corresponding method of camera shoot, design athlete location algorithm, estimate the camera panning angle by homograghy matrix of adjacent images,
哈尔滨工业大学工学硕士学位论文
- -
III then we can measure athlete data by estimating the rotation angle of athlete.
Keywords image registration ；feature points matching ；adaptive clustering
哈尔滨工业大学工学硕士学位论文
- -
IV 目 录
摘 要...................................................................................................................I Abstract...............................................................................................................II
第1章 绪论 (1)
1.1 课题研究的背景与意义 (1)
1.1.1 图像配准概述 (1)
1.1.2 图像配准技术的应用 (2)
1.2 图像配准技术研究现状 (2)
1.2.1 基于灰度信息的图像配准方法 (3)
1.2.2 基于变换域的图像配准方法 (4)
1.2.3 基于特征的图像配准 (4)
1.3 课题的主要研究内容 (7)
第2章 视觉几何基础 (9)
2.1 射影几何学基础 (9)
2.1.1 射影平面的引入 (9)
2.1.2 欧氏坐标与齐次坐标 (10)
2.1.3 射影几何空间的物理意义 (11)
2.2 平面图像变换模型 (11)
2.2.1 刚体变换 (12)
2.2.2 仿射变换 (12)
2.2.3 投影变换 (13)
2.2.4 非线性变换 (13)
2.3 摄像机成像原理 (13)
2.3.1 针孔相机模型与摄像机坐标系 (13)
2.3.2 世界坐标系与像平面坐标系 (14)
2.4 平面透视变换的应用 (17)
2.4.1 摄像机的运动与图像配准 (17)
2.4.2 透视变换模型的论证 (17)
2.5 极线几何约束 (19)
2.6 本章小结 (20)
哈尔滨工业大学工学硕士学位论文
- -
V 第3章 基于特征的图像配准 (21)
3.1 特征选择与提取 (21)
3.1.1 图像特征的选择 (22)
3.1.2 Harris 角点检测 (22)
3.2 特征匹配 (24)
3.2.1 基于多约束条件的灰度相关匹配 (24)
3.2.2 基于自适应聚类的特征点匹配 (26)
3.3 变换参数估计与优化 (29)
3.3.1 基于RANSAC 匹配的变换参数估计 (29)
3.3.2 基于两视角间参数估计的优化 (34)
3.4 匹配算法比较 (36)
3.5 本章小结 (38)
第4章 特定视频图像拼接与合成 (40)
4.1 投影变换参数确定 (40)
4.2 图像的融合 (42)
4.3 特定视频图像的拼接与合成 (45)
4.4 本章小结 (47)
第5章 基于图像配准的运动员数据测量 (48)
5.1 冰场建模与拍摄方案选定 (49)
5.1.1 冰场自然环境介绍 (49)
5.1.2 冰场建模与拍摄方案的选定 (49)
5.2 运动员的轨道定位算法 (52)
5.3 系统实现 (54)
5.4 本章小结 (57)
结论 (58)
参考文献 (59)
攻读学位期间发表的学术论文 (63)
哈尔滨工业大学硕士学位论文原创性声明 (64)
哈尔滨工业大学硕士学位论文使用授权书 (64)
哈尔滨工业大学硕士学位涉密论文管理 (64)
致谢 (65)
哈尔滨工业大学工学硕士学位论文
- -
1第1章 绪论
1.1 课题研究的背景与意义
随着数字技术的不断发展，视频图像的分析与处理越来越受到人们的关注。数字化图像序列可以通过摄像机等光学设备获得，是真实世界在不同时间向成像平面的一系列投影，图像帧之间具有较大的相关性和信息冗余，找到并描述图像序列间的内在联系成为研究的关键所在。图像配准技术可以有效地解决这类问题。
1.1.1 图像配准概述
图像配准(Image Registration )是图像处理的一个基本问题，它源自于多个领域的很多实际问题，如不同传感器获得信息的融合；不同时间、不同条件下获得的图像的差异监测；成像系统和物体场景变化情况下获得的图像的三维信息获取；图像中的目标识别；多媒体数据库的检索等等。
简单来说，图像配准就是将同一场景的不同图像“对齐”或进行广义的匹配，以消除存在的几何畸变。对同一场景使用相同或不同的传感器(成像设备)，在不同条件下(天候、照度、摄像位置和角度等)获取的两个或多个图像一般都会有差异。同一场景的多次成像的差别可以表现在：不同的分辨率、不同的灰度属性、不同的位置(平移和旋转)、不同的尺度、不同的非线性变形等等。多种成像模式产生的图像(称之为多模态图像)会表现出不同的分辨率、不同的灰度属性等等差异。图像配准的主要目的是消除几何上的差异，对于灰度信息的差异并不关心。当然，正是因为图像畸变中的灰度差异的存在，给几何校正增大了难度。
具体地说，图像配准问题可以定义为两幅图像象素坐标和灰度值上的双重映射。设图像分别为12,I I ，12(,),(,)I x y I x y 分别代表象素点(,)x y 的灰度值。则上述的映射关系可表示为：
21(,)(((,)))I x y g I f x y = (1-1)
其中f 为2D 空间几何变换，g 为灰度变换
配准问题就是要寻找最优的变换f 和g ，在此变换下将两幅图像最大程度的对齐，从而可以进一步处理图像。通常情况下灰度变换关系的校正并不
哈尔滨工业大学工学硕士学位论文
- -
2是必要的，寻找空间几何变换关系f 便成为图像配准的关键所在。公式(1-1)可改写成更为一般的表示方式：
21(,)((,))I x y I f x y = (1-2)
1.1.2 图像配准技术的应用
图像配准在众多领域有着广泛的应用，根据Brown [1]的总结，图像配准的应用可以粗略归为四类：
多模态配准(Multimodal Registration )是指由不同传感器获得同一场景上的图像的配准。该方法通常需要建立传感器模型和变换模型;由于灰度属性或对比度可能有很大的差异，需要灰度的预配准或利用手工设定的基准点可以简化问题。多模态配准可应用于医学图像领域，如SPECT,CT,MRI,PET 图像信息融合；也可应用于遥感图像领域，如多电磁波段图像信息融合；还可应用于场景分类，如分类建筑物,道路,车辆植被等。
模板配准是指在图像中寻找具有指定模板结构进行匹配。匹配通常基于模式，预先选定特征，物体属性，可用来定位和识别己知特征的目标物体，如飞机场、高速公路、车站、停车场等，也可用于字符识别，签名认证，波形分析等。
视角配准是指对从不同观察视角获得的图像进行配准。该方法主要因运用视觉几何的知识，根据具体满足的变换模型与假设条件指导配准。可应用于运动跟踪，视频序列分析，三维重建等。
时间序列配准是指对同一场景上不同时间或不同条件下获得的图像的配准，主要用来检测和监视图像内容变化。该方法需要容忍图像中部分内容的差异和形变对配准造成的影响，有时需要建立传感噪声和视点变换的模型。具体应用于 医学图像处理，注射造影剂前后的图像配准。
本课题来源于哈尔滨工业大学模式识别及智能控制研究中心及国家体育总局冬季运动管理中心联合开发的《大道速滑数据测量与分析系统》。本课题属于第三类应用范畴，主要解决的是该系统中场景重构部分，通过对比赛视频的分析与处理，可以帮助解决计算运动员的全程有效速度与滑行距离，并对运动员的跟踪、运动员轨迹的描绘提供帮助。
1.2 图像配准技术研究现状
根据图像配准中所利用的图像信息的不同，可以将图像配准方法分为三
哈尔滨工业大学工学硕士学位论文
个主要类别：基于灰度信息的方法、基于变换域的方法和基于特征的方法，其中基于特征的方法作为图像配准的最常见方法，本身又可以分为若干类别，本小节将简要介绍前两种方法，重点介绍基于特征的图像配准方法和特征点匹配技术。
1.2.1基于灰度信息的图像配准方法
此类方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有的灰度统计信息来度量图像的相似程度。其主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。
1982 年 Rosenfeld[2]提出的交叉相关是最基本的基于灰度统计的图像配准方法。它通常被用来进行模板匹配和模式识别。它是一种匹配度量，给出了一幅图像和一个模板的相似程度。还有一种类似的度量方式，有时候可能更为优越，就是相关系数[3]。另一类比传统的交叉相关更容易实现的算法，称为序贯相似检测算法(Sequential Similarity Detection Algorithms, SSDA)。它是由 Barnea 等人[4]提出来的。SSDA 方法最主要的特点是处理速度快。还有一种类似的准则称为整合平方误差(Integrated Square Difference)[5]，也称为残差(Residue)，它的不同之处是用误差的平方来求累加和。以上的相似准则方法都是比较传统的基于直接灰度信息的相关运算类或误差运算类方法。这些方法尽管各自具有一定的优点，但总的来说有着共同的不足之处，那就是对于噪声的影响和不同灰度属性或对比度差异的影响缺乏鲁棒性。
1995年，出现一个新的解决图像配准问题的方向，那就是基于信息理论的交互信息相似性准则。交互信息概念最早可追溯到 1948 年 Shannon[6]的工作。从此之后，交互信息在很多领域得到应用，例如统计、通信理论、复变分析等等。1995 年，Viola 等人[7]和 Collignon 等人[8,9]分别独立地把交互信息引入图像配准领域，初衷是为了解决多模态医学配准问题。互信息图像配准方法一经提出，在图像配准领域尤其是医学图像配准领域，引起了人们一定的研究兴趣，有不少基于此类的研究出现。比如，Pluim 等人[10]提出将交互信息和图像的梯度信息结合起来以改善其极值性能；Thevenaz 等人[11]采用一种多分辨率图像金字塔方法以提高最大化交互信息的优化速度；Skouson 等人[12]则推导出两幅图像交互信息的上界，从而为交互信息的属性给出更深的认识，并提出在一些情况下交互信息不一定能够得到最优
- -3
哈尔滨工业大学工学硕士学位论文
化的结果。交互信息是在概率密度估计的基础上建立的，有时需要建立参数化的概率密度模型，它要求的计算量很大，而且要求图像之间有较大的重叠区域。此外，函数可能出现病态，且面临大量局部极值。
1.2.2基于变换域的图像配准方法
最主要的变换域方法就是傅氏变换方法[13,14]。该方法利用了傅立叶变换的良好性质，即函数平移，旋转和缩放在频率域都有其对称性。对于图像的平移，计算两幅图像功率谱的傅立叶变换可得一个脉冲函数，该函数仅在平移量处不为零。对于旋转，可使用极坐标方式表示，使图像的旋转转化为图像的平移，再用相同的方法计算图像间的旋转角度。假如图像之间不仅有平移变换还有旋转变换，则我们分两步进行计算：先计算旋转变换后计算平移变换。该方法对于小平移量和旋转及缩放的图像配准非常适合。同时，它具有硬件支持和快速算法，因此计算速度快，同时能克服相关性噪声和依赖频率噪声，可适合多传感器和光源变化采集的图像。
傅氏变换对于图像配准是非常有用的，但它也有相当的局限性。那就是，傅氏变换方法只能用来配准灰度属性有线性正相关的图像，图像之间也必须是严格满足定义好的变换关系。
1.2.3基于特征的图像配准
基于特征的图像配准是配准中最常见的方法，对于不同特性的图像，选择图像中容易提取并能够在一定程度上代表待配准图像相似性的特征作为配准依据。它可以克服利用图像灰度信息进行图像配准的缺点，主要体现在以下三个方面：
1.图像特征点比图像像素点要少很多，大大减少匹配过程的计算量。
2.特征点的匹配度量值对位置变化比较敏感，大大提高匹配精度。
3.特征点提取过程可以减少噪声影响，对灰度变化和图像形变以及遮挡等都有较好的适应能力[15]。
因此，基于特征的图像配准方法是实现高精度、快速有效和适用性广的配准算法的最佳选择。
根据特征选择和特征匹配方法的不同所衍生出的具体配准方法是多种多样的，但这类方法的共同之处是首先要对待配准图像进行预处理，也就是特征提取的过程，在利用提取的特征完成两幅图像特征之间的匹配，通过特征
- -4
哈尔滨工业大学工学硕士学位论文
的匹配关系、建立图像之间的配准映射变换。其基本步骤和方法是一致的，即包括[16]：
1.图像预处理
图像预处理是用来消除或减小待匹配图像之间的灰度偏差和几何变
形，使图像匹配过程能够顺利的进行。
2.特征选择
在参考图像和待配准图像上，选择边界、线状物交叉点、区域轮廓线
等明显的特征，或利用特征提取算子自动提取特征。
3.特征匹配
采用一定的配准算法，实现两幅图像上对应的明显特征点的匹配，将
匹配后的特征点作为控制点或同名点。“控制点”的选择应注意以下
几个方面：一是分布尽量均匀；二是在相应的图像上有明显的识别标
志；三是要有一定的数量保证。
4.空间变换参数估计
根据控制点的图像坐标，建立图像间的映射关系。
5.图像投影变换
对一幅图像进行空间,灰度的双重映射，变换到另一图像坐标系下。
在众多基于特征的图像配准方法中，常用到的图像特征有：特征点（包括角点、高曲率点等）、直线段、边缘、轮廓、闭合区域特征结构以及统计特征如矩不变量、重心等等。
点特征是配准中常用到的图像特征之一。其中主要应用的是图像中的特征点，在计算机视觉、模式识别以及图像配准领域都有非常广泛的应用。因而针对特征点检测的算法也有很多研究[17~22]。基于特征点的图像配准方法的主要思路是：首先在两幅图像中分别提取特征点，再以不同的方法建立两幅图像中特征点的相互关联，从而确立匹配特征点，最后以匹配点对确定图像之间的配准变换。由于特征点的提取已经有了比较成熟的方法，因此基于特征点配准方法的难题就是两幅图像之间的特征点匹配问题。
国内外的学者对特征点的匹配算法进行了大量的研究，主要方法如下：
1.基于极线几何的特征匹配方法
从双目视觉的极线几何模型出发，在匹配过程中引入基础矩阵的鲁棒估计方法，使用极线约束指导特征匹配过程。Torr[23]在初始灰度相关匹配后，使用 RANSAC 随机优化算法计算基础矩阵并剔除大多数错误匹配。Zhang[24]在得到图像灰度相关匹配结果后，使用局部视差梯度约束松弛迭代
- -5
哈尔滨工业大学工学硕士学位论文
估计每个候选匹配的支持，然后使用 LM 鲁棒估计方法得到较准确的基础矩阵估计。这类方法本质上是随机优化过程，其效率和正确性在很大程度上依赖于最初候选匹配的正确率，容易陷入局部最优。
2.基于灰度相关系数的加权方法
该方法使用高斯函数将两组点集中的每两点的距离加权获得近似矩阵，随后通过奇异值分解的方法获得匹配关系。使用灰度相关系数对近似矩阵加权得到更好的匹配效果。但当图像间较大旋转变换时该方法缺乏鲁棒性。
3.确定性退火方法
Gold[25]等人在统计物理学的启发下，首先确定最小代价函数，然后使用确定性退火方法最小化匹配代价函数，最终得到近似最优匹配结果和两组点集间的仿射变换估计。但是他们没有给出更具一般意义的双目透视投影成像模型下的解决方法，同时由于他们随机选择初始匹配关系，导致整个迭代算法收敛较慢。
4.基于遗传算法（GA）的点模式匹配方法
基于遗传算法的点模式匹配方法[26]，是近年来特征优化技术中采用的一种新方法。它以仿射变换的匹配结果为初始代价，从极线几何约束出发构造相似性度量，然后利用遗传算法实现了透视变换下的点模式匹配问题。
5.基于局部最大熵的特征匹配方法
传统的基于灰度匹配算法抗噪声能力和抗局部几何变形能力较差，通过图像熵变换，一些学者提出一种新颖的基于局部最大熵特征匹配算法[27]；通过局部特征点所在区域的相关匹配；获得具有最大可信度的匹配结果。由于匹配只是在特征点之间进行,且在匹配过程中引入外极线和一致性约束条件,从而大大降低了计算消耗和错误匹配率,获得了比较理想的效果。
Yang 等人[28]利用角点集的凸包概念(Convex Hull)来解决仿射变换下的图像配准和场景识别问题。该方法为图像中抽取的离散点集（包括角点、顶点、交叉点）的凸包定义了一组仿射不变量。凸包上四个连续的不共线顶点之间通过连线可以得到四个三角形，仿射不变量就是通过这些三角形的面积关系建立的。由于这些不变量是由局部点集得到的，因此该方法可解决有一定程度遮挡的目标辨认问题。这些不变量用来建立两幅图像中分别提取的凸包的顶点对应问题，从而最终达到图像配准或场景辨识的目的。应该说，该方法为离散角点的对应匹配提出了一个新的思路，但其局限性仍然限制了它在图像配准领域的应用。它只适合易于提取特征轮廓的简单场景，且要求点集的凸包能够反映目标物的轮廓特征，这对于普遍意义的图像配准问题显然
- -6
哈尔滨工业大学工学硕士学位论文
是不现实的。
直线段是图像中另一个易于提取的特征。Stockman[29]等人和 Medioni[30]等人都曾用通过匹配图像中提取的直线段来配准图像。Hough 变换[31,32]是提取图像中直线的有效方法。Hough 变换可以将原始图像中给定形状的曲线或直线变换到变换空间的一个点位置。它使得原始图像中给定形状的曲线或直线上所有的点都集中到变换域上的某一个点位置从而形成峰值。这样，原图像中的直线或曲线的检测问题就变成寻找变换空间中的峰点问题。正确地建立两幅图像中分别提取的直线段的对应关系依然是该方法的重点和难点。综合考虑直线段的斜率和端点的位置关系，可以构造一个这些信息指标的直方图，并通过寻找直方图的聚集束达到直线段的匹配。
近十几年来，随着图像分割、边缘检测等技术的发展，基于边缘、轮廓和区域的图像配准方法逐渐成为配准领域的研究热点。分割和边缘检测技术是这类方法的基础，目前已报道的有很多图像分割方法可以用来做图像配准需要的边缘轮廓和区域的检测，比如 Canny 边缘提取算子[33]，拉普拉斯-高斯算子 LOG[34]，动态阈值技术[35]，区域增长[36]等等。尽管方法很多且各具特点，但并没有任何一种方法能对所有种类的图像都能获得最佳效果，大多数的分割技术都依赖于图像本身[37]。
通过对各类图像配准方法的研究，我们可以看到图像配准方法是强依赖于图像本身的。也就是说，往往不同的图像配准方法都是针对不同类型的图像的配准问题的。到目前为止，尚不存在任何一种图像配准方法能适用于各种图像配准问题。毕竟图像配准的应用领域就很广泛。面对的不同类型的图像也千差万别。因此，图像配准方法研究的两个重要的目标是：一方面提高其有效性、准确性和快速性；另一方面也力求能扩展其适用性和应用领域。
1.3课题的主要研究内容
本文对图像配准算法进行研究，提出改进方案，并结合视频序列的特点，将图像配准技术成功应用于运动员滑行数据的测量，取得了较好效果。
本文主要的工作如下：
1.提出一种特征匹配的新方法，并将其应用于原图像配准的框架中，增
强了匹配算法的鲁棒性，提高了匹配的速度。
2.针对具体视频序列特点，给出一种简单有效的图像合成方法。
3.将图像配准技术应用于到运动员滑行数据测量中，首先对冰场进行合
- -7
哈尔滨工业大学工学硕士学位论文
理化建模，并确定相应的视频拍摄方案，设计了运动员冰场定位算法，完成运动员定位及滑行数据的测量。
全文共分为五章，各章节内容安排如下：
第一章为绪论，阐述了图像配准技术的背景与意义，介绍了图像配准技术定义与分类，并概述了图像配准技术的应用领域与国内外研究现状，最后给出本课题的主要研究内容。
第二章简要介绍了本课题的数学理论基础——射影几何学，给出齐次坐标的概念与应用，阐述了摄像机的几何成像原理，并论证了在摄像机无平移运动条件下得到的图像序列满足平面透视变换模型。
第三章介绍两幅图像间基于特征的图像配准方法，根据基于特征的图像配准的基本框架的各步骤分别展开论述，其中特征匹配方法的改进是本章的论述重点。
第四章针对视频序列满足平面透视变换的特点，选择平面进行合成图像，首先介绍了基于特征块的全局校正H算法，完成了图像向参考平面的投影变换，接着介绍了合成图像融合过程像素选择与加权的不同方法，解决合成图像重叠区域模糊，拼接处出现接缝的问题。最后针对摄像机固定位置，水平旋转获得的视频序列，提出一种简单有效的合成方法，为下一章基于图像配准的具体应用提供有力支持。
第五章完整地描述了图像配准技术的具体应用实例——场景重构系统。为消除摄像机运动对运动员滑行数据的影响，使用图像配准技术对图像序列进行帧间摄像机运动参数估计。综合考虑冰场环境，拍摄可行性，图像配准对视频序列的要求，对冰场进行建模，并分析建模过程中所作假设，近似的合理性，并给出在该模型下求解运动员速度的算法。接着给出具体系统实现及性能分析。
- -8
哈尔滨工业大学工学硕士学位论文
- -
9第2章 视觉几何基础
本章将阐述视觉几何的基础知识，包括射影几何学基础，图像变换模型，摄像机成像几何原理，极线几何约束，并论证特定的拍摄条件下，图像变换模型可以简化。
2.1 射影几何学基础
我们以直观的平面坐标系为例，在通常使用的欧氏平面基础上，引入射影平面。分析两者的联系与区别，推广到N 维空间中，给出同一点在不同几何空间中对应的欧氏坐标与齐次坐标表示，并说明引入射影几何空间的实际意义。
2.1.1 射影平面的引入
我们通常使用的坐标平面叫做欧氏平面，如图2-1 a)，,'l l 为欧氏平面内相异两直线，m 直线与,'l l 都相交，过l 上任一点P 作直线p ，则p 必与'l 相交于'P ，则P 当遍历直线l 时，对应的'P 也遍历了直线'l ，这个由P 得到'P 的过程叫做关于m ，直线l 到'l 的平行射影，其中P 是'P 的原像点，'P 是P 的像点，P 在'l 上有唯一的像点'P ，'P 在l 上有唯一的原像点P ，因此平行射影使l 和'l 上的所有点构成一一对应关系。欧氏平面满足平行射影的性质。如图2-1 b)，,'l l 为欧氏平面内两条相交于点A 的直线，O 为两条直线外一点，P 为直线上l 任一点，连接直线OP 交'l 于'P ，这个由P 得到'P 的过程叫做以点O 为射影中心的中心射影，其中P 是'P 的原像点，'P 是P 的像点，P 在'l 上有唯一的像点，'P 在l 上有唯一的原像点，但中心射影不能使l 和'l 上的所有点构成一一对应关系，存在过O 点的直线b 平行于l 且交'l 于'B ，'B 没有对应的原像点，过O 点的直线c 平行于l 且交'l 于C ，C 没有对应的像点。为使,'l l 的点关于中心射影存在一一对应关系，必须对欧氏平面引入无穷远元素，即认为平行的直线,b l 在无穷远处交于点B ∞，直线,'c l 在无穷远处交于点C ∞。引入了无穷远元素的欧氏平面就是射影平面。
哈尔滨工业大学工学硕士学位论文
- -
10 a) b)
图2-1 平行射影与中心射影
Figure 2-1 Parallel projection and central projection
2.1.2 欧氏坐标与齐次坐标
欧氏平面的任一点P 有唯一的坐标(,)x y ，现对欧氏平面引入无穷远元素构成射影平面。考虑两条欧氏直线方程：
11232123:0:0
l a x a y a l b x b y b ++=++= (2-1) 其中12,a a 不同时为零，12,b b 不同时为零 令233112123233112
,,a a a a a a x x x b b b b b b === 当30x ≠时，,'l l 的交点的坐标(,)x y 可表示为123//1/x x y x x ==这里我们约定若12,x x 为零，,x y 也为零，且123,x ,x x 不全为零。因此我们可以用(,,1)x y 或123(,,)x x x 表示交点坐标，若30x =，则,'l l 平行，12(,,0)x x 表示扩展后的射影平面中的无穷远点。因此射影平面的点可以用不全为零的有序3实数组123(,,)x x x 表示，当30x ≠时，123(,,)x x x 为欧氏平面上的点(,)x y ，若30x =，123(,,)x x x 为无穷远点，123(,,)x x x 与123(,,)0x x x ρρρρ≠表示同一点，具有齐次特征，称为齐次坐标。推广到多维空间，欧式几何空间n R 中任一点可表示为12[,,...,]T n x x x ，其对应射影几何空间中齐次坐标表示为
12[,,...,,1]T n x x x ，而12[,,...,,0]T n x x x 则表示射影几何空间中的无穷远点，没有与其对应的欧氏空间点。
本文在阐述原理，算法时需要引用大量的几何公式，为保证全文论述的
哈尔滨工业大学工学硕士学位论文
- -
11统一，前后不发生歧义，特对坐标表示作如下规定：用正体(形如x,y,X )表示点的齐次坐标向量，用斜体(形如,,x y X )表示点的欧氏坐标各维的值。以二维图像点为例：
111222x [,,1],x [,,1]T T x y x y == (2-2)
其中12x ,x 为图像点的齐次坐标向量表示，1122,,,x y x y 则为各维具体的标量值。无特殊说明，本文将沿用上述表示法。
2.1.3 射影几何空间的物理意义
欧氏几何空间中引入无穷远元素构成射影几何空间，具有深刻的物理意义。射影几何空间满足中心射影，与点光源成像原理相一致，如图2-2 a)。而距离地球遥远的恒星，可以看成无穷远点，而其发出的光线到达地球时，可以认为是相互平行的，这与平行直线交于无穷远处的理论相符合。以薄透镜成像为例，如图2-2 b)，光轴上无穷远点通过透镜成像于焦点F ，焦点'F 的点光源成像于无穷远点。摄像机成像原理同样满足中心射影，因此引入射影几何与齐次坐标表示是必要的。
a) b)
图2-2点光源成像与薄透镜成像
Figure 2-2 Point source and thin lenses imaging
2.2 平面图像变换模型
平面图像变换是两幅二维图像间坐标的映射关系，变换目的是找到两幅图像中同一目标区域的坐标对应关系。常用的变换模型[38]有刚体(rigid )变换,仿射(affine)变换,投影(projection)变换和非线性(curved)变换。除非线性变换外，图像点坐标均采用齐次坐标表示，变换模型通过33×矩阵构建。
哈尔滨工业大学工学硕士学位论文
- -
12
图2-3 四种基本图像变换
Figure 2-3 Four basic transforms of image
2.2.1 刚体变换
如果一幅图像中的两点间的距离变换到另一幅图像中后仍保持不变,则这种变换称为刚体变换。刚体变换只局限于平移、旋转和反转(镜像)情况。变换公式为：
21x 212121cos sin t cos sin sin cos sin cos 10011x y y x t x x x y t y t y y θθθθθθθθ??????????????????????==+??????????????????????
????????????或 (2-3) 其中,x y t t 为平移量，θ为旋转角度
2.2.2 仿射变换
如果一幅图像上的直线经过变换后映射到第二幅图像仍为直线,并且保持平衡关系,这样的变换称为仿射变换。仿射变换可以分解为线性变换和平移变换。变换公式为：
图像配准定义为：对从不同传感器、不同时相、不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程[2]。图像配准需要分析各分量图像上的几何畸变，然后采用一种几何变换将图像归化到统一的坐标系统中。在配准过程中，通常取其中的一幅图像作为配准的标准，称之为参考图像；另一幅图像作为配准图像。 图1-1 图像配准的基本流程 图1-2 图像配准方法分类
根据配准使用的特征，图像配准的方法大致可分为三类： (1)基于图像灰度的配准算法。首先从参考图像中提取目标区作为配准的模板，然后用该模板在待配准图像中滑动，通过相似性度量(如相关系数法、差的平方和法、差的绝对值法、协方差法)来寻找最佳匹配点。 (2)基于图像特征的配准算法。该算法是以图像中某些显著特征(点、线、区域)为配准基元，算法过程分为两步：特征提取和特征匹配。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。对于非特征像素点利用插值等方法作处理推算出对应匹配关系，从而实现两幅图像之间逐像素的配准。 (3)基于对图像的理解和解释的配准算法。这种配准算法不仅能自动识别相应像点，而且还可以由计算机自动识别各种目标的性质和相互关系，具有极高的可靠性和精度。这种基于理解和解释的图像配准涉及到诸如计算机视觉、模式识别、人工智能等许多领域。不仅依赖于这些领域中理论上的突破，而且有待于高速度并行处理计算机的研制。 从自动化角度来看，可以将配准过程分为自动、半自动和手动配准。 存在问题：如何提高图像的配准速度将是大范围遥感图像自动配准问题的要点；选取何种自动配准方案以保证图像的配准精度将是大范围遥感图像自动配准问题的另一要点。 2(,)[1((, f x y g f h x y 其中，h表示二维空间坐标变换。g表示灰度或辐射变换，描述因传感器类型的不同以及成像时气候等环境的影响所带来的图像灰度的变换。配准问题的实质就是要找到最优的空域变换h和灰度变换g，使得上述的等式成立，从而找到配准变换的参数 特征空间的选择通常要考虑以下几个因素：相似性；空间分布；唯一性。 在自动图像配准中对特征的理解可以分为两类。(1)基于灰度的方法：基于灰度的方法将重点放在特征匹配上，在其过程中并没有真正提取特征。一般所说的模板匹配法就是这种方法的代表。这种方法实际上将图像的灰度分布直接作为特征而构成匹配的基础。(2)基于特征的方法：基于特征的方法需要在图像中提取显著的特征：区域(森林、湖泊、农田等)、线(区域的边界、道路等)和点(区域的角
２００８年４月张素等：基于形状匹配的快速图像配准 ２实验结果与分析 为检验本文算法的有效性，取一幅分辨率为５１２×５１２的腹部ｃＴ图像（图３（ａ）），依次进行伸缩、旋转、平移变换，再加入高斯噪声，得到另一幅图像（图３（ｂ））．变换公式为 ［≥］＝ｊ［一：；兰０］［二］＋［芝］（１８）式中：（Ｊ，ｙ）为参考图像上的点；（ｔ），’）为变换之后的点；Ｊ为伸缩比例；ｐ为参考图像的旋转角度，分别用Ｐｏｗｅｕ搜索算法和本文算法进行配准，配准参数的精度为０．００１．实验在一台ＣＰＵ为Ｃｅｌｅｒｏｎ、主频为２．８ＧＨｚ、内存为５１２Ｍ的计算机上进行．图３为算法流程中，轮廓提取、标记点自动提取以及形状匹配的结果．表１列出了一部分代表性的比较结果（其中丁为配准全过程所耗费的时间）． 图３轮廓提取、标记点自动提取以及形状匹配的结果 Ｆ１９３ Ｒｅ蛐№ｏｆｒｅｇｉ佃ｅ砷撇惦ｏｎ＇ａｕｔｏｍ雠ｌａｌＩ山ｍｒｂｄｅｔｅ甜仙姐ｄｓｈｐｅ删ｎｃ址啤 衷１本文算法与ＰｏｗｅⅡ算法结果的比较 Ｔ｜山．１Ｃ岫ｐａｒａ６ｖｅｒ器ＩＩｌｔｓｂｅｔｗ咖ｔｈｅｐｒｏ肼ｌｓｅｄｍ劬ｏｄ ａⅡｄＰｏｗｅｕａＩｇｏｒｉｔｈｍ 变换及配 旷无量纲占／（ｏ）厶ｘ｜缸ｌ ｒ，ｓ 准参数像素像素 变换参数０５００６０肿０２０ＤｏＯ３ⅢＤ００＿—— ＰｏｗｅＵ法０５０２６０Ｄ５２１９Ｊ０５５２８五５８５６０ 初始参数０４９７６０．０４０１９３１７３１５０ｌ＿—— 本文算法０５００６０．２９４１９．８８４２９．８２３２５变换参数ｌｏ∞４０肿０ｌＯ姗５０Ｄ００。—— ＰｏｗｅＵ法ｌＯ∞４０舶ｌ９．１１５５０ｊ０２ｌ１９０ 初始参数ｌ－０００４０．ｏｌＯ１０Ｊ昕３４９．９２ｌ●—— 本文算法１０００钧０９５９．９５２５００的３０ 变换参数１５∞１０Ｄｏｏ２０ＤＯＯ３０．０００＿——ｐｏｗｅＵ法１姗１０Ｄ０７２０３９９２９＿９９４６８０初始参数１５０２９．９９７１９３７２２９２１７＿—— 本文算法１５００１０ＪＤ４９２０．０５０３０２８３４２ 变换参数１５００３０加０４０肿０ＩＯ．０００ Ｐｏｖ岭Ｕ法１０４６２８鹏５．４８５７１．４３．６８７’ｌ２３０初始参数１５０５２９．９５５３９Ｄ０６７．９∥ 本文算法１５０１３０Ｊ０２２３９５１４ｌＯＪ昕３２７ 变换参数２肿Ｏ１０．ａＤＯ１５加Ｏ２０．０００●—— ＰｏｗｅＵ法１．９１９３９ｊ９２ｌ１５矗６４２３２７２‘ｌｌ∞ 初始参数２肿６１０．０１８ １３剃１７．盯５．●——本文算法２Ｄ００ｌＯ．１２６１６＿０１３２０ＪＤ２２５３注：用上标＃表示的数据稍偏离变换参数；用上标?表示的部分数据为错误结果． 由表１的结果可以看出，用Ｐｏｗｅｕ算法直接进行搜索，计算时间较长，且有时因收敛到局部极值而产生错误结果，如表中用卑号标出的数据．而采用本文的算法完全达到了预期目的，大大减少了计算量，精度达到了“亚像素”级水平，有效地避免了收敛于局部极值．观察表ｌ中用ＳＶＤ法求得的初始参数，可以看出，这些参数实质上已经非常接近最终的配准参数，这是因为形状信息本身就是比较精确的特征量；其中有几个数据稍偏离配准参数，这是因为较大的变换参数（主要是缩放参数ｓ）会使形状匹配过程中产生相对较大的误差．计算过程中，特征提取、形状匹配、ＳＶＤ法求初始参数等步骤所耗费的计算量均比较小，而Ｐｏｗｅｌｌ算法一旦得到了与变换参数较接近的初始参数，就会很快地收敛到正确结果，这是由ＰｏｗｅＵ算法本身的性质所决定的．本实验中，在绝大多数情况下，只需要计算一个循环即可收敛．因此，ＰｏｗｅＵ算法的作用其实相当于对ＳＶＤ法所得的参数进行修正． ３结语 本文将形状特征和互信息搜索相结合，有效地提
第１４卷第６期２００７年１２月 电光与控制 ＥＵ￡ＣＴＲＯＮＩＣＳＯＰＴＩＣＳ＆ＣＯＮＴＲＯＬ Ｖ０１．１４№．６ Ｄｅｅ．２００７ 文章编号：１６７１—６３７Ｘ（２００７）０６—００９９—０７ 图像配准技术研究进展 刘松涛，杨绍清 （海军大连舰艇学院信息与通信工程系，辽宁大连１１６０１８） 摘要：图像配堆是解决图像融合、图像镶嵌和变化检测等问题的必要前提。其应用遍及军事、遥感、医学和计算机视觉等多个领域。筒要回顾了图像配准技术的发展史和研究现状．重点阐述了当前的技术热点和应用趋势，最后展望了进一步的研究方向。 关键词：图像配准；信息论；非刚性配准；虚拟结构 中图分类号：Ｖ２４３．６文献标识码：Ａ Ｐｒｏｇｒｅｓｓｉｎｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓ ＬＩＵＳｏｎｇ—ｔａａ，ＹＡＮＧＳｈａｏ—ｑｉｎｇ （Ｏｅｐｔ．ｏｆＩｎｆｏｒｍａｔｉｏｎ＆ＣｏｍｍｔｍｉｃｄｉｏｎＥｔ，ｇ泌ｒｉｔ，．ｇ，ＤａｆｉａｎＮａｖａｌＡｃａｄｅｍｙ，Ｄａｌｉａｎ１１６０１８，舀白Ⅺ） Ａｂｓｔｒａｃｔ：Ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｉｓｅｓｓｅｎｔｉａｌｆｏｒａｌｌｉｍａｇｅａｎａｌｙｓｉｓｔａｓｋｓｌｉｋｅｉｍａｇｅｆｕｓｉｏｎ，ｉｍａｇｅｍｏｓａｉｃａｎｄｃｈａｎｇｅｄｅｔｅｃｔｉｏｎ．Ｉｔｉｓｕｓｅｄｗｉｄｅｌｙｉｎｍｉｌｉｔａｒｙｓｙｓｔｅｍ，ｍｅｄｉｃａｌｉｍａｇｉｎｇ，ｒｅｍｏｔｅｓｅｎｓｉｎｇ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｅｔｃ．Ｔｈｅｈｉｓｔｏｒｙａｎｄｃｕｒｒｅｎｔｅｔａｔｕｓｏｆｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓｆｉｒｅｒｅｖｉｅｗｅｄｋｅｆｌｙｗｉｔｈｅｍｐｈａｓｉｓｏｎｉｔｓｃｕｒｒｅｎｔｔｅｃｈｎｉｃａｌｈｏｔｓｐｏｔｓａｎｄａｐｐｌｉｃａｔｉｏｎｔｒｅｎｄｓ．Ｓｏｍｅｉｎｔｅｒｅｓｔｉｎｇａｓｐｅｃｔｓｆｏｒｆｕｒｔｈｅｒｓｔｕｄｙａ”ｐｏｉｎｔｅｄｏｕｔｉｎｔｈｅｅｎｄ． Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ；ｉｎｆｏｒｍａｔｉｏｎｔｈｅｏｒｙ；１１０ｎ—ｒｉｇｉｄｒｅｇｉｓｔｒａｔｉｏｎ；ｖｉｒｔｕａｌｓｔｒｕｃｔＵｒｅ ０引言 图像配准是许多应用问题必须的预处理步骤，比如：时序图像的变化检测或多模图像融合，这些问题遍及军事、遥感、医学、计算机视觉等多个领域。许多领域都需要图像配准，实际应用过程可能会有所不同，但其中关键的因素是类似的。概括地说，图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两橱或多幅图像进行最佳匹配的过程，包括像素灰度匹配和空间位置对齐。 配准方法的分类可以依据不同的准则。Ｂｒｏ．ｗｎ…依据变换模型的复杂程度对配准方法进行分类，并归纳了配准技术的实现步骤：特征空问、相似度测量、搜索空间和策略。Ｍａｉｎｔｚ”１等则提出了９ 收稿日期：２００６—０３—０９修回Ｅｔ期：２００６—０５—１５ 基金项目：国防预研基金资助项目（５１４０３０３０６０４ＪＢｌ４０Ｉ）；国家自然科学基金资助项目（６０５７２１６０） 一 作者简介：荆松涛（１９７８一），男，河南孟津人，博士，主要研究方向为图像融合、耳标识别、成像跟踪、ＤＳＰ开发 等。条分类准则，依次为：图像维数、配准特征的来源、变换模型、坐标变换域、交互性、优化策略、成像模式、配准对象、配准目标的特点等。作者参考Ｂｒｏｗｎ和Ｍａｉｎｌｚ的分类方法，将配准技术概括为８个方面，包括：配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估，并考虑每项内容的技术特性进行细分，然后依据某一算法的创新点进行分类。囊括所有方法的分类准则是不存在的，所提方法侧重于从总体上对配准方法进行考察，是一种相对能反映配准方法本质特征的分类方法。依据新的分类准则，作者已对图像配准技术的８个子方向进行了系统研究ｕＪ。 １发展史和研究现状 国外从２０世纪６０年代就开始在图像配准领域进行研究“】，但直到１９８０年代才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式和领域的复杂性．仍需密切关注。国际上对图像配准技术曾做过调查”】，其结论是１９９０年代初技术文献明显增加。而
图像配准技术方法研究 摘要随着信息技术的迅猛发展，图像配准技术已经在军事、遥感、医学、计算机视觉等多个领域得到了广泛的应用。图像配准技术是图像处理的一个基本问题，它是将不同时间、传感器或视角下获取的相同场景的多幅图像进行匹配的图像处理的过程。三类图像配准的方法大致如下：基于灰度的图像配准方法。基于变换域的图像配准方法。基于特征的图像配准方法。本文将应用这三种方法对图像配准进行研究。并重点研究基于特征的图像配准方法。 关键词图像配准，特征点匹配，灰度插值，控制点的提取 Abstract The technology of image registration is being widely used in the military, remote sensing , medical, computer, visual and any other fields with the rapid development of information technology. The technology of image registration is a kind of process to match different pictures getting from different periods and different cameras but a same scene, it is a basic point to handle the pictures. There are three kinds of ways to do the image registration:According to the level of the color of gray getting from the pictures.According to transforming domains.According to the features The three kinds of ways will be used to discuss the image registration in the thesis, and the way according to the features will be discussed more in the thesis.
图像配准的方法 迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准 研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围 的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位 系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其 所采用的算法称之为图像相关等等。 图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择 多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统 是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来 进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文 主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射 关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制点(RCP)。目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别：基于灰度信 息法、变换域法和基于特征法[25]，其中基于特征法又可以根据所用的特征属 性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的 各种图像配准方法和原理。 1基于灰度信息的图像配准方法 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而 是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是 实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变 换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多 基于灰度信息的图像配准方法，大致可以分为三类：互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法。 (1)互相关法
医学图像配准技术 A Survey of Medical Image Registration 张剑戈综述，潘家普审校 （上海第二医科大学生物医学工程教研室，上海 200025） 利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息，为临床诊断和治疗提供了可靠的依据。不同成像模式具有高度的特异性，例如CT通过从多角度的方向上检测X线经过人体后的衰减量，用数学的方法重建出身体的断层图像，清楚地显示出体内脏器、骨骼的解剖结构，但不能显示功能信息。PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术，是对活机体的生物化学显象，反映了机体的功能信息，但是图像模糊，不能清楚地反映形态结构。将不同模式的图像，通过空间变换映射到同一坐标系中，使相应器官的影像在空间中的位置一致，可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准，也是一个多参数优化过程。图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。 图像配准算法 可以从不同的角度对图像配准算法进行分类[1]：同/异模式图像配准，2D/3D图像配准，刚体/非刚体配准。本文根据算法的出发点，将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。 基于特征的配准算法 这类算法利用从待配准图像中提取的特征，计算出空间变换参数。根据特征由人体自身结构中提取或是由外部引入，分为内部特征(internal feature)和外部特征(external feature)。
【作者简介】张剑戈（1972-），男，山东济南人，讲师，硕士 1. 外部特征 在物体表面人为地放置一些可以显像的标记物（外标记，external marker）作为基准，根据同一标记在不同图像空间中的坐标，通过矩阵运算求解出空间变换参数。外标记分为植入性和非植入性[2]：立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。Andre G[3]等将该方法用于机器人辅助手术，对于股骨移植，位移误差小于1.5mm，角度误差小于3°，由于计算量小，可以实现实时配准。但是标记物必须事先被固定好，不能用于回顾性配准，而且该方法只适用刚体配准。 2. 内部特征 从医学影像中可以提取出点、线和面：血管的交点、血管、胸腹之间的横膈膜等，这些特征作为内标记点(internal marker) ，利用其空间位置同样可以求解出空间变换参数。Hill DL[4]用11个形态点对脑部配准，误差<1mm，方差为1.73mm。Meyer CR[5]除了血管树的交点，还使用了左右脑之间的间隔等特征。Maurer CR[6,7]赋予点、线、面等几何特征不同的权重(weighted geometrical features, WGF)，进一步改进了算法。内标记点配准是一种交互性的方法，将3D图像配准简化为点、线和面的匹配，可以进行回顾性研究，不会造成患者的不适。但是医生对特征位置的判断影响到配准精度，为了克服人为误差，需要多次重复操作，以平均值作为最终结果。 表面匹配算法也利用了内部特征[8]：进行图像分割，提取出轮廓曲线、物体表面等内部特征，使2D/3D图像配准简化为2D曲线和3D曲面的匹配，不再考虑物体内部像素。典型的应用是刚体配准的“头帽”算法[9]，从头部的3D图像中分割出表面轮廓，分别作为头模型和帽模型。配准的目标函数是头表面和帽表面之间的均方距离，该距离是空间变换参数的函数。表面匹配算法是一种自动算法，在物体表面轮廓相似并且清晰的情况下，配准效果很好。其不足之处在于：准确地进行图像分割很困难；不同模式的图像，如CT/PET图像，由于器官的轮廓差异较大，难于精确地匹配。 3. 在非刚体配准中的应用 进行非刚体配准前要确定物理模型，常见有弹性模型、粘稠液体模型、生物力学模型。通过在感兴趣区域中提取参考点、2D或是3D轮廓线，使待配准图像
多模图像配准融合
浅析多模态医学图像的配准与融合技术 来源：本站原创作者：朱俊林发布时间：2009-06-07 1 医学图像的配准技术简介 医学图像的配准技术是90年代才发展起来的医学图像处理一个重要分支, 并且日益受到了医学界和工程界的重视。医学图像的配准是指对于一幅医学图 像寻求一种或者是一系列的空间变换,使两幅图像的对应点达到空间位置和解 剖结构的一致，这种一致是指人体上的同一解剖点在两张匹配的图像上有相同 的空间位置。简单地说医学图像配准就是解决两幅图像的严格对齐问题。配准 的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的解剖点及 手术感兴趣的点都达到匹配。 医学图像的配准按图像来源分为：单模态(mono-modality)与多模态配准(multi-modality)。单模态配准是指对来自同一成像设备的不同时刻或不同角 度的图像进行配准。但在实际临床应用中，单一模态的图像往往不能提供医生 所需要的足够信息，通常需要将不同模态的图像融合在一起得到更丰富的信息 量，从而作出准确的诊断，制订出合适的治疗方案。所谓多模态配准，是将来 自不同形式的医学图像进行空间上的对准，将对应的相同解剖位置标记出来以 实现图像融合和进一步后期处理。多模态图像之间的配准使用最频繁,主要应用在诊断方面,可分为解剖—解剖的配准和解剖—功能的配准两大类,前者将显示组织形态学不同方面的两幅图像混合,后者将组织的新陈代谢与它相对于解剖 结构的空间位置联系起来。目前，主要的研究工作重点是进行CT、MRI以及PET、fMRI等图像的配准。 2 医学图像融合技术简介 医学图像的融合是指将两幅(或两幅以上)来自不同成像设备或不同时刻获 取的已配准图像，采用某种算法，把各个图像的优点或互补性有机结合起来， 获得信息量更为丰富的新图像的技术。医学诊断往往要综合许多不同信息进行， 传统的方法是，临床医生利用灯箱分别观看这些胶片，综合对比，得到结果。 如果能够把这些互补信息以某种方式综合在一起作为一个整体作为医学诊断的 依据，使得临床医生只要在一张综合图像上就能看到不同原始图像的信息，那 么就能提供全方位的信息细节。 3 医学图像配准及融合的关系及意义 医学图像的配准和融合有着非常密切的关系，特别是对于多模态图像而 言，配准和融合是密不可分的。配准是融合的前提，也是决定图像融合技术发 展的关键技术，若事先不对待融合图像进行空间上的对准，那么融合后的图像 也是毫无意义的。融合是配准的目的，通过来自不同影像设备的图像融合，可 以得到更多的信息，提高影像数据的利用率。在多模态医学图像信息融合中， 是要把相对应的组织结构融合在一起，而待融合的图像往往来自不同的成像设 备，它们的成像方位、角度和分辨率等因素都是不同的，所以这些图像中相应 组织的位置、大小等都是有差异的，必须先进行配准处理，才能实现准确地融 合。
图像匹配的主要方法分析 在我国的图像处理中，有很多的关键技术正在不断的发展和创新之中。这些相关技术的发展在很大程度上推动了我国图像处理事业的发展。作为图像处理过程中的关键技术，图像匹配技术正在受到越来越多的关注。文章针对图像匹配的主要方法进行详细的论述，希望通过文章的阐述和分析能够为我国的图像匹配技术的发展和创新贡献微薄力量，同时也为我国图像处理技术的发展贡献力量。 标签：图像处理；图像匹配；特征匹配；方法 在我国的图像处理技术中，图像的匹配技术不仅仅是其中的重要组成部分，同时还是很多图像技术的发展创新的技术基础。例如图像技术中的立体视觉技术；图像技术中的运动分析技术以及图像技术中的数据融合技术等。通过上述内容可以看出，在我国的图像技术中，图像匹配技术具有非常广泛的应用。随着我国的相关技术不断的创新和发展，对于图像匹配技术的要求也是越来越高。这样就要求我国的图像匹配技术有更深层次的研究和发展。我国现阶段的研究主要是针对图像匹配过程中的匹配算法进行研究，希望借助研究能够更加有效的提升在实际的工作应用中的图像质量，同时也能够在很大程度上提升图像处理的图像分别率。文章的主要陈述点是通过图像匹配技术的具体方法进行优点和缺点的分析，通过分析优点和缺点来论述我国图像处理技术中的图像匹配技术的发展方向以及改进措施。近些年出现了很多的图像匹配方法，针对现阶段的新方法以及新的研究思路我们在实际的应用过程中要有一个非常清醒的选择。文章针对这一问题主要有三个内容的阐述。第一个是图像匹配技术的算法融合；第二个是图像匹配技术中的局部特征算法；最后一个是图像匹配技术中的模型匹配具体算法。 1 现阶段在世界范围内较为经典的图像匹配技术的算法 关于现阶段在世界范围内的较为经典的图像匹配技术的算法的阐述，文章主要从两个方面进行分析。第一个方面是ABS图像匹配算法。第二个方面是归一化相互关图像匹配算法。下面进行详细的论述和分析。 （1）算法一：ABS图像匹配算法。ABS图像匹配算法最主要的原理就是要使用模板的图像以及相应的匹配图像的搜索用窗口之间的转换差别来显示两者之间的关联性。图像匹配的大小在数值上等同于模板图像的窗口滑动顺序。窗口的每一次滑动都会引起模板图像的匹配计算。现阶段ABS的算法主要有三个，如下： 在选择上述三种计算方法的过程中要根据实际情况社情相应的阀值，否则会出现很高的失误率。上述的三种算法使用范围较狭窄。只使用与等待匹配的图像在模板影像的计算。 （2）算法二：归一化相互关图像匹配算法。归一化相互关的图像匹配算法在现阶段是较为经典的算法。通常专业的称法为NC算法。此计算方法主要是采
图像配准是对取自不同时间，不同传感器或者不同视角的同一区域的两幅或者多幅图像进行匹配叠加的过程。随着技术手段的不断发展，人们对图像配准的要求也越来越离。包括配准方法的鲁棒性、算法的难易程度、算法的自主性等都是考量算法的指标。图像配准的方法中，有人提出过被广泛认同的四个巧骤： a．特征空间的选择 特征空间是指将运用到配准中元素的集合。特征空间包括很多方面，比如像素值，比如点、线，或者平面甚至是曲面。 b．搜索空间 搜索策略是指一系列配准变换操作的集合。搜索空间是建立在几何形变基础上的。而几何形变一般包括全局的和局部的几何形变。典型的全局变形包括平移，缩放，扭曲等变形以及它们的组合。而局部形变，对变换参数要求比较苛刻，因为某一套变换参数只能作用在局部形变区域，而其余区域需采用插值技术补充。然而，另外的变形区域则需要另外的变换参数去表述。在一般的处理中，我们将变换模型看成是一种先验知识。不然则需要考量所有的变换模型。 c．搜索策略 搜索策略是实施变换的依据。它的存在是为了找寻变换模型的最优解。常用的搜索策略有松弛模型法、牛顿法和共扼梯度法。 d．相似性度量 相似性度量是对采用的变换模型的评价。相似性度量主要是采用参考图像和配准图像之间的共有的特征之间的差异比较的方法来评价配准的情况。这其中的差异可以包括点位的误差，或者是灰度值相关的差异，还可以是在变换域之间的差异值等等。最常见的相似性度量是检测特征的欧氏距离。 上述的几个步骤构成了图像配准的基本框架。许许多多的算法充斥其中产生了种类繁多的配准方法。下面主要介绍下几种典型的配准算法。目前典型的配准算法中大致可分成基于灰度、基于特征和基于模型的方法。 基于灰度的配准算法 基于灰度的算法中，重点是对图像配准的过程上，而不是特征集的选择
第1章绪论 1.1研究背景及意义 数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。 数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。 图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。 图像配准的方法迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。 目前主要图像配准方法有基于互信息的配准方法，基于相关性的配准方法和基于梯度的配准方法。其中基于梯度的方法基本很少单独使用，而作为一个辅助
function [TR, TT] = icp(model,data,max_iter,min_iter,fitting,thres,init_flag,tes_flag,refpn t) % ICP Iterative Closest Point Algorithm. Takes use of % Delaunay tesselation of points in model. % % Ordinary usage: % % [R, T] = icp(model,data) % % ICP fit points in data to the points in model. % Fit with respect to minimize the sum of square % errors with the closest model points and data points. % % INPUT: % % model - matrix with model points, [Pm_1 Pm_2 ... Pm_nmod] % data - matrix with data points, [Pd_1 Pd_2 ... Pd_ndat] % % OUTPUT: % % R - rotation matrix and % T - translation vector accordingly so % % newdata = R*data + T . % % newdata are transformed data points to fit model % % % Special usage: % % icp(model) or icp(model,tes_flag) % % ICP creates a Delaunay tessellation of points in % model and save it as global variable Tes. ICP also % saves two global variables ir and jc for tes_flag=1 (default) or % Tesind and Tesver for tes_flag=2, which % makes it easy to find in the tesselation. To use the global variables % in icp, put tes_flag to 0. % % % Other usage: % % [R, T] = icp(model,data,max_iter,min_iter,... % fitting,thres,init_flag,tes_flag) % % INPUT: % % max_iter - maximum number of iterations. Default=104 % % min_iter - minimum number of iterations. Default=4 % % fitting - =2 Fit with respect to minimize the sum of square errors. (default) % alt. =[2,w], where w is a weight vector corresponding to data. % w is a vector of same length as data.
杭州电子科技大学 毕业设计（论文）文献综述 毕业设计题目SIFT特征研究及应用 文献综述题目图像配准算法综述学院生命信息及仪器工程学院 专业电子信息技术及仪器 姓名 班级 学号 指导教师
图像配准算法综述 一．前言 图像配准是指找出场景中同一物体表面的结构点在不同图像上的投影像素点之间的对应关系，是图像信息处理领域中一项非常重要的技术，同时也是其它一些图像分析技术，如立体视觉、运动分析、数据融合等的基础。 目前图像配准广泛应用于虚拟现实、视频压缩、图像复原、图像数据库检索等技术中。图像配准的研究是计算机视觉中最困难也是最重要的任务之一。不同的图像配准方法总是对应于某种适用的图像变换模型，其核心问题是提高配准的速度、精度和算法的稳健度。 随着科学技术的发展现在约40%的机器视觉应用中都会使用图像匹配技术，所涉及的领域有：工业检测，导弹的地形匹配，光学和雷达的图像跟踪，交通管理，工业流水线的自动监控、工业仪表的自动监控，医疗诊断，资源分析，气象预报，文字识别以及图像检索等。 图像匹配研究按其处理步骤可以分为样本采集、样本预处理、样本分割、样本的特征提取等，并且与计算机视觉、多维信号处理和数值计算方法等紧密结合。它也是其它一些图像分析技术，如立休视觉、运动分析、数据融合等的基础。正因为其应用的广泛性，新的应用和新的要求逐步产生，使得匹配算法的研究逐步走向深入，出现了快速、稳定、鲁棒性好的匹配算法。因此，研究图像的匹配算法对于如何提高实际工程中的图像处理质量和识别精度具有非常重要的意义。 本文主要分析图像匹配常用方法的优点和不足之处，讨论了图像匹配中需要进一步研究和解决的问题。 二．图像配准算法的研究现状 图像配准是立体视觉、运动分析、数掘融合等实用技术的基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域有重要的应用价值。国内外学者针对不同的图像配准应用问题进行了大量的研究工作，早在1992年英国剑桥大学的Lisa Gottesfeld Brown在文献[1]习中就总结了图像配准的主要理论及图像配准在各个领域的应用。当时他讨论的图像配准技术主要还是著眼于医学图像处理、遥感图像处理等传统应用领域。图像配准是图像镶嵌技术的核心问题。 微软研究院的Richard Szeliski在1996年SIGGRAPH上提出了基于运动模型的全景图拼接算法[7]。Szeliski采用了非线性优化的方法来最小化像素两幅图像的亮度差以确定变换参数。该方法使用了全部像素进行优化处理，所以配准精度较高，但是计算速度较慢，且稳健性不佳。 国内的赵向阳。杜立民在2004年提出了一种基于特征点匹配的图像自动拼接算法[2]，其中使用了Harris算法[3]提取角点并进行匹配。赵的算法采用了鲁棒变换估计技术，在一定程度上提高配准算法的稳健性，但是计算速度依然较慢，且无法配准重
诚信声明 本人声明： 我所呈交的本科毕业设计论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致中所罗列的容以外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了意。本人完全意识到本声明的法律结果由本人承担。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期：2010 年05 月20日
毕业设计（论文）任务书 设计（论文）题目： 学院：专业：班级： 学生指导教师（含职称）：专业负责人： 1．设计（论文）的主要任务及目标 (1) 了解图象匹配技术的发展和应用情况，尤其是基于特征的图象匹配技术的发展和应用。 (2) 学习并掌握图像匹配方法，按要求完成算法 2．设计（论文）的基本要求和容 （1）查阅相关中、英文文献，完成5000汉字的与设计容有关的英文资料的翻译。（2）查阅15篇以上参考文献，其中至少5篇为外文文献，对目前国外图象匹配技术的发展和应用进行全面综述。 （3）学习图象匹配算法，尤其是基于特征的图象匹配算法。 （4）实现并分析至少两种基于特征的图象匹配算法，并分析算法性能。 3．主要参考文献 [1]谭磊, 桦, 薛彦斌．一种基于特征点的图像匹配算法[J]．天津理工大学报，2006， 22(6)，66-69． [2]甘进，王晓丹，权文．基于特征点的快速匹配算法[J]．电光与控制，2009，16(2)， 65-66． [3]王军，明柱．图像匹配算法的研究进展[J]．大气与环境光学学报，2007，2(1)， 12-15．
4
工学硕士学位论文 基于视频序列的图像配准算法研究与应用 王帅 哈尔滨工业大学 2007年7月
国内图书分类号：TP391.4 国际图书分类号：681.39 工学硕士学位论文 基于视频序列的图像配准算法研究与应用 硕士研究生：王帅 导师：承恒达 教授 申请学位：工学硕士 学科、专业：计算机科学与技术 所在单位：计算机科学与技术学院 答辩日期：2007年7月 授予学位单位：哈尔滨工业大学
Classified Index: TP391.4 U.D.C: 681.39 Dissertation for the Master Degree in Engineering RESEARCH AND APPLICATION OF IMAGE REGISTRATION BASED ON VIDEO SEQUENCE Candidate：Wang Shuai Supervisor：Prof. Cheng Hengda Academic Degree Applied for：Master of Engineering Specialty：Computer Science and Technology Affiliation：School of Computer Science and Technology Date of Defence：July, 2007 Degree-Conferring-Institution：Harbin Institute of Technology
哈尔滨工业大学工学硕士学位论文 摘要 随着数字技术的不断发展，视频图像的分析与处理越来越受到人们的关注。数字化图像序列可以通过摄像机等光学设备获得，是真实世界在不同时间向成像平面的一系列投影。图像帧之间具有较大的相关性和信息冗余，找到并描述图像序列间的内在联系成为研究的关键所在。图像配准技术可以有效地解决这类问题。 图像配准问题是图像处理里的一个基本问题，是将不同时间、不同传感器、不同视角及不同拍摄条件下获取的图像对齐或匹配，消除存在的几何畸变。图像配准在计算机视觉、模式识别、医学图像处理和遥感信息处理方面有着广泛的应用。 本文提出了基于自适应聚类的特征匹配方法，满足大量图像配准的需求，提高匹配的速度，该方法基于正确匹配点对间形成矢量的一致性，对匹配点对进行自适应聚类，实验证明该方法在保证正确匹配不丢失的同时，可有效剔除绝大多数错误匹配，为进一步进行RANSAC匹配提供方便，且有效地提高了整个匹配过程的速度。 本文提出一种简单有效的图像合成方法。该方法针对摄像机固定位置，水平旋转拍摄的视频序列的特点，选取图像序列中部分帧，通过H矩阵确定重叠区域，再利用线性插值进行图像融合。实验证明在转角小于180 时，合成效果较好。 本文成功运用图像配准技术完成运动员滑行数据的测量，利用图像配准技术估计图像间摄像机运动，进而消除摄像机运动的影响，得到运动员的真实运动数据。根据这一原理，首先对冰场进行合理化建模，并确定相应的视频拍摄方案，设计了运动员冰场定位算法，利用帧间的H矩阵估计摄像机旋转角度，进而估计运动员的旋转角度完成滑行数据的测量。 关键词图像配准；特征点匹配；自适应聚类 - -I
关于图像匹配的综述 1.图像匹配的背景及定义 1.1图像匹配的背景及意义 图像匹配技术广泛的应用于日常生活中的诸多领域，如医疗诊断中各种医学图片的分析与识别、遥感图片识别、天气预报中的卫星云图识别、指纹识别、人脸识别等。图像匹配技术主要指通过计算机，采用数学技术方法，对获取的图像按照特定目的进行相应的处理。图像匹配技术是人工智能的一个重要分支和应用，随着计算机技术及人工智能技术的发展，图像识别技术逐渐成为人工智能的基础技术之一。它涉及的技术领域相当的广泛，也越来越深入，其基本分析方法也随着数学工具的不断进步而不断发展。现在，图像识别技术的应用范围己经不仅仅局限于视觉的范围，也体现在机器智能和数字技术等方面。 1.2图像匹配的定义 所谓图像匹配是指在一幅(或一批)图像中寻找与给定目标图像相似的图像或者图像区域(子图像)的过程。通常将已知目标图像称为模板图像，而将待搜索图像中可能与它对应的子图称作该模板的待匹配的目标图像。图像匹配是在来自不同时间或者不同视角的同一场景的两幅或多幅图像之间寻找对应关系，该技术隶属于计算机视觉哺领域。图像匹配的具 体应用包括目标或场景识别、在多幅图像中求解3D结构、立体对应和运动跟踪等。由于拍摄时间、拍摄角度、自然环境的变化，多种传感器的使用、传感器本身的缺陷及噪声等影响，拍摄的图像会存在灰度失真和几何畸变。同时，图像预处理过程会引入的误差，这都是导致模板图像与待匹配的目标图像之间通常存在着一定程度上的差异。在这种情况下，如何使匹配算法精度高、正确匹配率高、速度快和抗干扰性强成为人们关心的问题。 2.图像匹配算法的分类 图像匹配算法的选取对图像匹配结果的影响很大。实用的匹配算法不仅要求计算量小，还必须具有良好的抗噪能力和抗几何形变的能力。通常情况下，图像匹配算法可以分为以下两大类：基于灰度相关的匹配算法、基于特征的图像匹配算法。 1) 基于灰度分布的相关匹配算法，也称为基于区域的匹配方法。常见的基于图像灰度的匹配方法有：（1）归一化灰度相关匹配、（2）最小二乘影像匹配、和（3）序贯相似性检测法匹配等。该类算法直接利用整幅图像的灰度信息，建立两幅图像之间的相似性度量，然后采用某种搜索方法，寻找使相似性度量值最大或最小的变换模型的参数值。在灰度及几何畸变
角点检测算法综述 范娜，俞利，徐伯夏 （中国航天科工集团第三研究院8357所天津300308） 摘要：角点作为图像的一个重要特征，它保留了图像绝大部分的特征信息。角点在三维场景重建、运动估计、目标跟踪以及图像配准与图像匹配等计算机视觉领域有着重要的作用。本文对角点检测算法的类别进行总结，对各类算法进行了详细介绍，并对近几年来各类算法发展与改进进行了总结。 关键词：特征信息；计算机视觉；角点检测 Survey of Corner Detection Algorithms FAN Na, YU Li, and XU Bo-xia (The 8357 Research Institute of the Third Research Academy of CASIC Tianjin 300308) Abstract：As a more important feature of image, corner contains voluminous information of image features.In the domain of computer vision, such as three-dimensional reconstruction, motion estimation, object tracking, image registration and image matching, corner of image play an important role.this paper attempt to summarize and detailedly introduce corner detection algorithms, and summarize the developments of these algorithms in recent years. Key words: Feature Information；Computer Vision；Corner Detection 1 引言 角点并没有明确的定义，一般将图像中亮度变化剧烈的点或图像边缘上曲率取极大值的点认为是角点。从形态上来说，角点包括L、T、Y、X和箭头型角点等。角点作为图像的重要特征，保留了图像的绝大部分的特征信息，又有效地减少了信息的数据量，从而有效地提高了运算速度以及匹配的可靠性。总结现有的角点检测算子的评价方法，总体上有以下几个标准[1]： (1)稳定性：即同一场景图像在亮度、对比度等因素变化的情况下，检测出的角点数目及位置应当稳定 (2)可靠性：即在算子的可变参数改变情况下，不影响生成的角点的质量，只改变检测出角点的数目；检测到的角点具有平移、旋转、伸缩不变性 (3)鲁棒性：即算法的抗噪性能，在一定的噪声干扰下，算子仍然具有很强的角点检测能力 (4)准确性：主要指不发生误检测以及角点位置定位准确 (5)高效性：是指算法的计算速度快慢，算法速度必须足够快以满足图像处理系统的要求 经过几十年的研究与探索，产生了许多检测角点的方法，但大致可以分为四类：基于灰度图像的角点检测算法、基于二值图像的角点检测算法、基于边缘特征的角点检测算法以及支持矢量机角点检测算法。本文中