图像配准是对取自不同时间，不同传感器或者不同视角的同一区域的两幅或者多幅图像进行匹配叠加的过程。随着技术手段的不断发展，人们对图像配准的要求也越来越离。包括配准方法的鲁棒性、算法的难易程度、算法的自主性等都是考量算法的指标。图像配准的方法中，有人提出过被广泛认同的四个巧骤：
a．特征空间的选择
特征空间是指将运用到配准中元素的集合。特征空间包括很多方面，比如像素值，比如点、线，或者平面甚至是曲面。
b．搜索空间
搜索策略是指一系列配准变换操作的集合。搜索空间是建立在几何形变基础上的。而几何形变一般包括全局的和局部的几何形变。典型的全局变形包括平移，缩放，扭曲等变形以及它们的组合。而局部形变，对变换参数要求比较苛刻，因为某一套变换参数只能作用在局部形变区域，而其余区域需采用插值技术补充。然而，另外的变形区域则需要另外的变换参数去表述。在一般的处理中，我们将变换模型看成是一种先验知识。不然则需要考量所有的变换模型。
c．搜索策略
搜索策略是实施变换的依据。它的存在是为了找寻变换模型的最优解。常用的搜索策略有松弛模型法、牛顿法和共扼梯度法。
d．相似性度量
相似性度量是对采用的变换模型的评价。相似性度量主要是采用参考图像和配准图像之间的共有的特征之间的差异比较的方法来评价配准的情况。这其中的差异可以包括点位的误差，或者是灰度值相关的差异，还可以是在变换域之间的差异值等等。最常见的相似性度量是检测特征的欧氏距离。
上述的几个步骤构成了图像配准的基本框架。许许多多的算法充斥其中产生了种类繁多的配准方法。下面主要介绍下几种典型的配准算法。目前典型的配准算法中大致可分成基于灰度、基于特征和基于模型的方法。
基于灰度的配准算法
基于灰度的算法中，重点是对图像配准的过程上，而不是特征集的选择
上。很多时候基于灰度的方法都会采用矩形窗口在图像上遍历。根据窗口的设计，去选取变换的模型，因此如果图像中有比较复杂的变换，则这种方法的适用性就很小了，而且当图像在灰度上的表现比较平滑，那么误配准的情况就会很大。
经典的灰度区域的特征匹配方法主要包括相关系数法、傅里叶变换法、互信息法、最小二乘法以及核线相关法。
（1）相关系数法
相关系数是标准化的协方差函数，协方差函数除以两信号的方差便可求得相关系数。
其具体操作过程为：在参考影像上的某点，为了找到他的同名点，这个
?的区域序列，当然，一般来说n的取值为奇数。并点为中心，周围选择n n
且根据所选取的这个点，大致估计出配准影像上点的位置。并在配准影像上取等大的配准窗口，这个窗口称为相关窗口。再用下文将提到的公式计算相关系数。若相关系数接近１或者-１时就表示二者区域的相关程度非常高。也就是被认为是同名点。当相关系数为１是表示完全正相关，当相关系数为-１时，表示二者完全负相关。
其配准过程可以分为几个步骤：
?的区域作为目标a．首先在参考图像选取以目标点为中心，大小为m n
区域T1，并且最好可以确保目标区域的中心处于特征点或者特征地物上。然后确定搜索区域S1，使得S1中必须要完整的包含一个模板T1，其位置确定可以是采用大致估计，或者粗加工处理后的坐标相对误差来确定。
b．移动模板，模板遍历搜索区域，取相关系数最大的位置，其中心位置被认为是同名点。其中在找同名点的过程中，可以设定一个阀值，当所求得的相关系数值，不满足阀值，则可表示这个区域内找到的同名点失效。
c．选取下一个区域，照１，２步骤继续选取。选择足够的同名点作为点集。
d．当点集数量足够的时候便可以进行图像配准了。配准的方法有很多，比如可以选择多项式拟合等。
该方法最大的优点就是简明易懂，但是这个方法的计算量相对比较大。
而且对点集的选择有要求。点集不能选择过于集中，最好是可以均匀的分布整个图幅。虽然这个方法能精确的配准具有平行关系的图像。但是不适用于图像的尺度和旋转变化大的情况。而且该方法直接作用在图像强度上，并没有对图像进行结构分析。所以对图像的强度变化、噪声、明暗变化甚至传感器的类型都很敏感。
（2）互信息法
互信息法是最近研究比较多的方法，尤其是在多模态图像配准领域。互信息法以信息论为基础，用信息熵去衡量两个区域的相似程度。这个方法可以避免特征点的选取，它可以根据像素的灰度值直接计算相似性度量函数。或者说是直接用熵来衡量，熵的形式有多种。其中Shannon 熵的相似性度量是目前运用比较广的。在信息论中，熵表示的是不确定性的量度，互信息是基于熵的一个概念，两幅图像A ,B 的熵，以及A ,B 的联合熵分别定义为：
()()lg ()
a H A p a p a =-∑ (5-1)
()()lg ()
b H B p b p b =-∑ (5-2)
,(,)(,)lg (,)a b
H A B p a b p a b =-∑ (5-3) 其中ａ，ｂ表示图像的灰度值，()p a ，()p b 分别表示像素出现的概率。
而互信息是基于摘的概念，它表征两个随机变量的相关性大小。在图像范畴则可以看成是两幅图像之间相互包含的程度。对于两幅图像互信息的定义为：
(,)()()()()MI X Y H Y H Y X H X H X Y =-=- (5-4)
其中，()(lg(()))H Y Ex P X =-代表随机变量的熵，()P X 为X 的分布概率。互信息的重要思想是虽然同一个景物不同传感器成像后，灰度值上会有差异，但是在灰度值的变化率或者灰度值的分布上却是基本一致的。它认为配准图像和参考图像会在配准位置上表现出分布的方差最小。该表达式可表示为：
a ()()()()
a b B A b B A n n a b PIU N a N b σσμμ=+∑∑ (5-5)
其中N 表示全部像素的数目；a n ，b n 分别表示图像A ,B 重叠区域灰度值为a ，b 的像素数目。
其中：
1
()()a B A a
u a B x n Ω=∑ (5-6) 1
()()b A B b u b A x n Ω=
∑ (5-7) []21
()()()a B A B a
a B x a n σμΩ=-∑ (5-8) []21
()()()b A B A b b A x b n σμΩ=-∑ (5-9)
式中()a
A B x Ω∑表示图像A 中灰度值为a 的像素在图像B 中对应位置的像素灰度值之和。()b
B A x Ω∑表示图像B 中灰度值为b 的像素在图像A 中对应位置的像素灰度值之和。
根据图像的Shannon 熵的定义：
lg i i i H p p =-∑，其中i i N p N
= (5-10) 图像的联合熵为：
(,)lg ij ij ij H A B p p =-?∑，其中ij ij N p N
= (5-11) 用()H A ，()H B 表示图像A ，B 的熵，归一化后互信息表示为：
(,)()()(,)I A B H A H B H A B =+- (5-12)
()()(,)
H A H B NMI H A B += (5-13) 联合熵表达了两幅图像联合分布和独立分布之间的距离。取值的大小表达两幅图像相关性的大小。当图像配准时，那么这两个灰度的联合熵取得最大值。同上文介绍的相关系数方法一样，信息熵和相关系数定义了一个配准点集的相似程度。然后根据两者的相关性或者重叠信息最大的原理进行图像
配准。同时，这两种方法在本质上是一致的，Roche(1998)也证明了送两种方法在统计框架下只是不同参数的最大似然估计。
（3）傅里叶变换方法
傅里叶变换方法的主要思想是将图像转换为频域范围内进行考量。将图像的平移、旋转等变换在频域范围内表达出来。图像的平移的傅里叶表达为：
1112(,)(,)I X X Y Y I X Y ++= (5-14)
11()''(,)(,)x y i w X w Y x y x y I w w e I w w += (5-15)
很多时候傅里叶方法是和相位相关技术相结合。相位相关技术是一种基于频域范围的非线性的相关技术。根据求解频率的相位相关系数可以快速的找到配准点位置。
（4）高精度最小二乘法
高精度最小二乘法的主要思想是利用参考影像和配准影像之间的灰度差的均方根最小，为了抵偿两个窗口之间的差异，引入一些变换参数，并且将这些参数纳入到最小二乘的线性化误差方程，进行逐步迭代。算法步骤可大致分为以下几步。
在参考影像和配准影像上选取对应点。根据其坐标关系，表达为：
201121201121,x a a x a y y b b x b y =++=++ (5-16)
a ．根据上述方程可以确定６个待定参数。首先选取初始值，一般取00a =，11a =，20a =，00
b =，10b =，21b =。
b ．重采样。对初始迭代的结果影像采取双三次内插采样，或者双线性内插采样。
c ．辐射畸变校正。根据量影像的灰度关系，通过下式进行畸变校正。
2011(,)g h h g x y =+ (5-17)
其中2g ，1g 分别是两影像的灰度值，一般都选取00h =，11h =为迭代初值．
d ．计算两影像之间的相关系数。
e．利用最小均方根误差原则求畸变参数的改正值。
f．计算其余待定参数。再从步骤１开始计算。
g．计算最佳配准点位置，以灰度值的重心为目标点利用所求的参数对影像校正。便可得到配准影像的匹配位置。若相关系数大于１则跳出。
该算法是在几何上探合了相关系数法和最小二乘法，经过逐步迭代的过程找到两影像间均方根误差最小的位置。这种算法由于采用了重访迭代过程所以可以获取比较高的精度，但正因为如此，也给该方法带来了比较大的计算量。
基于特征的图像配准算法
相对于基于灰度的配准方法而言，基于特征的方法不看重图像上的灰度值，而是从参考影像和配准影像上提取特征元素。再根据特征元素的对应关系求解变换模型的参数来达到配准的目的。正是因为如此，所以该方法中，对传感器的种类要求和摄影瞬间光照位置的差异不是很敏感。同样该方法也包含了特征元素的选择、特征匹配、相似性度量等。
特征元素包括点元素、线元素和面元素。其中点元素主要是指图像的边缘点、角点甚至线的交点。线元素则包括线的长度，方向，甚至线的方向作为参数。面特征通常是采用分割方法得到。
特征匹配是根据参考图像和待配准影像中提化的特征信息以及它的属性，求出两图像之间的几个变换的模型参数。
相似性测度是用来度量参考图像和配准图像之间的待征集的相似性。他是反映特征匹配中所求参数的准确程度。同时相似性选择集也是决定配准结果好坏的重要因素。目前相似性测度主要采用配准基元的两个方面的属性信息：一种是在变换模型约束的条件下参考影像和基准影像之间的空间关系。一种是两种基元之间的不变描述。
本节主要介绍了基于角点检测和基于图像描述符的配准方法。
角点是指图像边缘曲线上的曲率局部极大值，或者是先设定某个闽值，当曲率大于设定的这个值的时候便认为是角点。相较于一般图像而言，遥感图像一般具备比较多的色彩差异和区域轮廓。实际上，角点就是图像上灰度和边缘变化剧烈的点。目前角点检测算法主要分成基于图像边缘角点检测和
基于图像灰度的角点检测。基于边缘的角点检测方法的主要思想是，先检测出图像的边缘，然后再分辨边缘上突变的点作为角点。而这类算法比较依赖边缘的选择。基于灰度的角点检测方法，这类方法主要通过计算图像的曲率以及梯度来检测，同样，当灰度在梯度方向上的变化比较大，这认为该点就为边缘点，同样，曲率点的原理是一样的。更理想的是，这种方法无需进行特征提取，所以自动化的程度比较高，应用比较广泛。目前比较通用的图像灰度角点检测主要有Harris 算法和Susan 算法。
（1）Harris 算法
该算法是Stephens 于1988年提出的，主要是受信号处理自相关函数的启发，该算法的主要思想是给出自相关函数的联系矩阵M ，其矩阵的特征值是自相关函数的一阶曲率，如果这两个曲率的值都比较高的话，那么就认为这个点就为特征点。矩阵M 的定义为：
2222
x x y x x y x y x x y x I I I I I I M G I I I I I I ???? ? ?=?= ? ?????
(5-18) 其中x I 为图像在x 方向上的梯度，y I 为图像在y 方向上的梯度，G 为高
斯模板；表示模板与函数的卷积运算。
22x x I G I =? (5-19)
角点响应函数的计算方法：
角点响应函数是定义在矩阵M 的一种确定角点的方法。其中Harris 算法的角点响应函数定义为：
2det()trace ()C M k M =-? (5-20)
其中det 为行列式的值，trace 为矩阵的迹，k 为常数，一般取值0.04。当上式中函数局部极大值便可认为该点为角点。
若上式取得局部极小值则认为该点为角点。Harris 算法是目前运用比较多的角点提取方法。该算法在亮度变化和刚体变化中有很高的重复性。但是这种方法对噪声非常敏感，随着分辨率的变化，角点容易产生漂移。而且该方法只限制在尺度不变的情况下。因为，随着尺度的改变，新的特征便可能
出现，同样原来的角点便可能消失。因此根据设定阈值来确定局部极大值。同样阈值的选定并非是一个绝对理性的过程。虽然算法采用的高斯平滑函数窗口大小是可以调节的，但是在实际操作中配准窗口的大小的选择是不容易选择恰当的，因为假如窗口过大则可能造成角点的漂移；如果窗口较小的话，则又大大增加了计算量。
（2）SUSAN 算法
SUSAN （smallest univalue segment assimilating nucleus ）算法作用于低层次的图像处理的最小核值相似区域的算法。它直接对图像的灰度进行操作，思想简单，无需梯度运算，对于多个区域的节点也可以精确检测，而且对噪声不敏感。
用一个圆形模板遍历图像，如果模板内任意位置的灰度值都和模板的中心处的灰度值的差异小于某个阈值则认为这个点与中心像素有相似的灰度信息，许多送样的点构成的集合便为USAN 。
当圆形模板完全处于暗区时，USAN 面积最大，当模板移向目掠边缘时，
USAN 区域逐渐变小当模板中心处于角点时，USAN 面积最小。因此可以通过计算每个像素的USAN 值并与设置的阈值进行比较，如果该像素值小于设定的阈值，则就可以认为这个点为角点。
如下式：
1, ()(,)0, ()if a b t C a b if a b t ->?=?-≤?
(5-21) 其中(,)C a b 为判别函数，a 为模板的任意像素的灰度值，b 为中心像素的灰度值，t 为选择的阀值。SUSAN 算法有一个突出的优点，即对噪声不敏感，它不依赖于分割运算也避免了梯度运算。检测算子能提供不依赖于模板尺寸的边缘精度，因为USAN 区域的选择和模板的选择无关。而且该算法控制参数的选择很简单，且任意性小，容易实现自动化选取。
（3）基于图像描述符的配准算法
描述符是指用某一种特定的符号来描述某一地物。例如在遥感影像中，有许多检测到的特征不是十分容易识别或者匹配，这样便可以采用描述符将他们转化成易于识别的模型，这样便可以在新的模型下进行匹配。但是在使
用描述符的过程中必须满足描述符的不变性、唯一性和稳定性。常用的描述符算法包括Scale Invariant Feature transform （SIFT ）算法和Speed Up Robust Features （SURF ）算法。
SIFT 算法
SIFT 算法是Lowe 在2004年总结了基于不变量和特征总结上提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法。它是目前特征匹配领域比较稳定的一种算法。该算法能提取比较稳定的特征，可以处理两幅图像间发生的平移、旋转、仿射变化、视角变换、光照变换情况下的匹配问题，甚至可以解决在任意角度上的拍摄问题也可以解决，因此实现差异较大的图像之间的特征匹配。
SIFT 算法中主要可以分成两个步骤一个是SIFT 特征的生成，另外一部分是SIFT 向量的匹配。SIFT 特征是指从多幅待匹配的图像中提取对尺度的缩放、旋转、亮度变化不变的特征向量。
下面主要从图像尺度空间和降采样图像生成、尺度空间极致点检测、极致点位置确定、特征点主方向的提取、特征点描述符生成这几个方面详细阐述SIFT 算法。
a ．图像的尺度空间和降采样图像生成
尺度空间理论的目的是为了模拟图像的多尺度的特征，高斯卷积核是实现尺度转换的唯一空间线性核，二维图像的尺度空间定义为：
(,,)(,,)(,)L x y G x y I x y σσ=? (5-22)
式中(,,)G x y σ是尺度可变的高斯函数，(,)x y 是图像的空间坐标，σ是尺度因子。高斯函数的表达式为：
222221
(,,)2x y G x y e σσπσ+-= (5-23)
为了在尺度空间上检测到稳定的恃征点，需要采用高斯差分尺度空间DOG ，将不同尺度的高斯差分核和图像进行卷积。根据卷积定理可得下面式子。
(,,)[(,,)(,,)](,)(,,)(,,)D x y G x y k G x y I x y L x y k L x y σσσσσ=-?=-(5-24)
b ．尺度空间的极值点检测
若要进行尺度空间的极值点寻找，就需要把每个采样点和它周围的每个邻域点进行比较。也就是判断该点是所有邻域里的最大值或者最小值。邻域的选择不仅仅是当前尺度中的８个像素，而且还包括相邻尺度中的９个相邻像素。一共２６个像素点的比较。
在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了３幅图像，高斯金字塔有每组3S +层图像。DOG 金字塔每组有2S +层图像。
c. 极值点位置的精确定位
在经过DOG 算子运算后，会产生比较强的边缘效应和对比度比较低的特征点，用来实现稳定的匹配和比较强的抗干扰能力，以达到亚像素级别的定位。采用三维二次函数拟合图像。
空间尺度函数表达为：
21(,,)(,,)2T T D D D x y D x y x x x x x
σσ??=++?? (5-25) 对上式求导，并且令导数等于0，可求取其精确位置：
21D D x x x
-??=-?? (5-26) 接下来便可以进行特征点的剔除，这样便可以剔除对比度比较低的点和不稳定的匹配。主要是设定一个阈值，将上面两个式子融合，可得：
max 1()2T
D D X D x
?=+? (5-27) 假设设定的阀值为a ，当max ()D X a >时的特征点符合要求。反之，则剔除。
而边缘响应可根据曲率来提出，根据高斯差分算子在横跨边缘的时候有比较大的曲率，在垂直边缘的时候有比较小的主曲率，而主曲率可以用海森矩阵求出。海森矩阵定义为：
xx xy xy yy D D H D D ??= ? ???
(5-28) ()xx yy Tr H D D αβ=+=+ (5-29)
2()xx yy xy Det H D D D αβ=-= (5-30)
令/r αβ=，则：
222
()()(1)()Tr H r Det H r
αβαβ++== (5-31) 因此可封根据r 值的选择有效的剔除边缘效应比较明显的点。
d ．特征点主方向的提取
利用特征点周围图像的梯度方向分布统计来确定特征点的特征主方向，经过这样的处理后每个特征点便有特定的方向性，可以让特征点具有旋转不变特性。可采用特征点为中心进行图像采样，根据直方图统计窗口图像内所有像素的梯度方向，直方图的峰值就代表了该点的梯度主方向。而且还可以设立一个梯度副方向，若直方图中存在另外一个梯度峰值，并且峰值达到了主峰值的80%左右，便可以认为这个梯度为副梯度方向。这个参数可以作为主峰值的参考量。梯度的模和方向可根据如下两个公式求得：
22(,)((1,)(1,))((,1)(,1))m x y L x y L x y L x y L x y =+--++-- (5-32) (,)tan 2(((,1)(,1))((1,)(1,)))x y a L x y L x y L x y L x y θ=+--+-- (5-33) 其中L 为所选择图像的尺度，(,)x y 为图像的坐标。
梯度直方图的范围是0~360度，其中每10度一个柱，总共36个柱。随着距中心点越远的领域其对直方图的贡献也相应减小。
一般情况下，提取图像信息中有三个要素：位置信息，尺度信息和主方向信息。
e ．特征点描述符的生成
为了使得上述特征点具有旋转不变特性，需要将图像的坐标轴旋转到特征点的主方向。然后再以特征点为中心取一定大小的窗口图像。
图5-1 特征描述符生成
图左部分的中央为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算。图中蓝色的圈代表高斯加权的范围，越靠近关键点的像素梯度方向信息贡献越大。然后在每44
?的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图右部分示。此图中一个关键点由22
?共４个种子点组成，每个种子点有８个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。
为了进一步增加特征匹配的鲁棒性，可以对每个特征点使用44
?个种子
??=维特征向量，处理到现点进行特征描述，每个特征点可以产生448128
在就已经除去了图像的尺度、旋转等几何变形，再对特征向量进行归一化处理，就可以去除图像光照等因素的影响。
在两幅图像在配准过程中，先对图像进行特征提取后，可采用欧式距离作为两幅图像中关键点的相似性判定度量。取参考影像中的某个关键点，并找出配准影像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。
SURF 算法
SURF 算法对SIFT 算法进行了改进，尺度不变性相对于Harris 较好，时间复杂度相对SIFT 较低，并且对图像亮度变化鲁棒性较强。SURF 算法包括两个主要部分：特征点检测定位和生成特征点描述算子。
a. 特征点检测与定位
Hessian 矩阵(,)H x σ是SURF 算法的核心，在数学中，
Hessian 矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。SURF 检测特征点之前，首先要计算积分图像I ，利用I 的 Hessian 矩阵完成特征点的选取与尺度变换，图像I 中任意一个像素点(,)p x y =处的值为原图像左上角到任意点p 相应的矩形区域的灰度值的总和，其数学公式如下所示：
1()(,)j y
i x i j I p I i j ≤≤==∑∑ (5-34)
在尺度σ上，点p 的Hessian 矩阵(,)H x σ定义下所示:
(,) (,)(,)(,) (,)xx xy xy yy L x L x H x L x L x σσσσσ??=??????
(5-35) (,)H x σ中x 表示特征点坐标，σ表示尺度，(,)xx L x σ，
(,)xy L x σ，(,)yy L x σ是图像I 在点p 与高斯二阶偏导数22()g x
σ??的卷积，()g σ为如下所示的高斯函数:
222221
()2x y g e σσπσ+-= (5-36)
为简化计算，SURF 算法以盒子滤波器来近似替代二阶高斯滤波器。在保证性能的同时，又提高了速度。以99?盒子滤波器为例，取尺度 1.2σ=，则高斯二阶偏导可近似如图x1所示。
图5-2 特征描述符生成
假设图像与上述盒子滤波器卷积后得到的Hessian 矩阵中参数分别为xx D ，xy D ，yy D ，则Hessian 矩阵可近似表示为：
2()()xx yy xy Det Hessian D D wD =- (5-37)
式中w 为盒子滤波器权重系数，当 1.2σ=时，w 可近似为 0.9。建立尺度空间，在尺度空间中一个333??的领域内取每个点的()Det Hessian 值与当前尺度相邻位置和相邻尺度周围26个领域比较，得到局部极大值点，通过插值计算，可以求得在连续空间中最终的特征点。
b. 生成特征点描述算子
为了保证特征点的旋转不变性，需要为特征点赋予一个主方向，这是生成特征点描述算子第一步。方法是在以该特征点为中心，6倍尺度为半径的圆形区域内，计算各点的x 和y 方向上Haar 小波响应。然后对这些响应赋予高斯权重，将每60?的扇形区域 w 内的水平响应x d 和垂直响应y d 相加得到局部方向矢量(,)w w m θ，如下所示：
w w w
m dx dy =+∑∑ (5-38) arctan()w w w dx
dy θ=∑∑ (5-39)
其中，w m 为w 扇形区域内所有点的水平、垂直Haar 小波特征总和，
w θ为w 扇形区域内Haar 小波特征局部方向角，比较所有局部方向矢量(,)w w m θ，将最长矢量θ作为该特征点的主方向，如下所示：
{}max()w w m θθ= (5-40)
生成特征点描述算子第二步是为特征点建立特征描述符。在获得特征点主方向后，以该主方向为x 轴，在特征点周围的邻域内选取2020s s ?的矩形区域，将该矩形区域等分为44?的16个子域，计算每个子域内像素点的Haar 小波响应值，分别统计出x d ∑，x d ∑，y d ∑，y d ∑，形成特征矢量(,,,)x y x y d d d d ν=∑∑∑∑，每个特征矢量是4维，共16个子域，所以最
后得到一个64维的特征点描述算子。
第１４卷第６期２００７年１２月 电光与控制 ＥＵ￡ＣＴＲＯＮＩＣＳＯＰＴＩＣＳ＆ＣＯＮＴＲＯＬ Ｖ０１．１４№．６ Ｄｅｅ．２００７ 文章编号：１６７１—６３７Ｘ（２００７）０６—００９９—０７ 图像配准技术研究进展 刘松涛，杨绍清 （海军大连舰艇学院信息与通信工程系，辽宁大连１１６０１８） 摘要：图像配堆是解决图像融合、图像镶嵌和变化检测等问题的必要前提。其应用遍及军事、遥感、医学和计算机视觉等多个领域。筒要回顾了图像配准技术的发展史和研究现状．重点阐述了当前的技术热点和应用趋势，最后展望了进一步的研究方向。 关键词：图像配准；信息论；非刚性配准；虚拟结构 中图分类号：Ｖ２４３．６文献标识码：Ａ Ｐｒｏｇｒｅｓｓｉｎｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓ ＬＩＵＳｏｎｇ—ｔａａ，ＹＡＮＧＳｈａｏ—ｑｉｎｇ （Ｏｅｐｔ．ｏｆＩｎｆｏｒｍａｔｉｏｎ＆ＣｏｍｍｔｍｉｃｄｉｏｎＥｔ，ｇ泌ｒｉｔ，．ｇ，ＤａｆｉａｎＮａｖａｌＡｃａｄｅｍｙ，Ｄａｌｉａｎ１１６０１８，舀白Ⅺ） Ａｂｓｔｒａｃｔ：Ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｉｓｅｓｓｅｎｔｉａｌｆｏｒａｌｌｉｍａｇｅａｎａｌｙｓｉｓｔａｓｋｓｌｉｋｅｉｍａｇｅｆｕｓｉｏｎ，ｉｍａｇｅｍｏｓａｉｃａｎｄｃｈａｎｇｅｄｅｔｅｃｔｉｏｎ．Ｉｔｉｓｕｓｅｄｗｉｄｅｌｙｉｎｍｉｌｉｔａｒｙｓｙｓｔｅｍ，ｍｅｄｉｃａｌｉｍａｇｉｎｇ，ｒｅｍｏｔｅｓｅｎｓｉｎｇ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｅｔｃ．Ｔｈｅｈｉｓｔｏｒｙａｎｄｃｕｒｒｅｎｔｅｔａｔｕｓｏｆｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓｆｉｒｅｒｅｖｉｅｗｅｄｋｅｆｌｙｗｉｔｈｅｍｐｈａｓｉｓｏｎｉｔｓｃｕｒｒｅｎｔｔｅｃｈｎｉｃａｌｈｏｔｓｐｏｔｓａｎｄａｐｐｌｉｃａｔｉｏｎｔｒｅｎｄｓ．Ｓｏｍｅｉｎｔｅｒｅｓｔｉｎｇａｓｐｅｃｔｓｆｏｒｆｕｒｔｈｅｒｓｔｕｄｙａ”ｐｏｉｎｔｅｄｏｕｔｉｎｔｈｅｅｎｄ． Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ；ｉｎｆｏｒｍａｔｉｏｎｔｈｅｏｒｙ；１１０ｎ—ｒｉｇｉｄｒｅｇｉｓｔｒａｔｉｏｎ；ｖｉｒｔｕａｌｓｔｒｕｃｔＵｒｅ ０引言 图像配准是许多应用问题必须的预处理步骤，比如：时序图像的变化检测或多模图像融合，这些问题遍及军事、遥感、医学、计算机视觉等多个领域。许多领域都需要图像配准，实际应用过程可能会有所不同，但其中关键的因素是类似的。概括地说，图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两橱或多幅图像进行最佳匹配的过程，包括像素灰度匹配和空间位置对齐。 配准方法的分类可以依据不同的准则。Ｂｒｏ．ｗｎ…依据变换模型的复杂程度对配准方法进行分类，并归纳了配准技术的实现步骤：特征空问、相似度测量、搜索空间和策略。Ｍａｉｎｔｚ”１等则提出了９ 收稿日期：２００６—０３—０９修回Ｅｔ期：２００６—０５—１５ 基金项目：国防预研基金资助项目（５１４０３０３０６０４ＪＢｌ４０Ｉ）；国家自然科学基金资助项目（６０５７２１６０） 一 作者简介：荆松涛（１９７８一），男，河南孟津人，博士，主要研究方向为图像融合、耳标识别、成像跟踪、ＤＳＰ开发 等。条分类准则，依次为：图像维数、配准特征的来源、变换模型、坐标变换域、交互性、优化策略、成像模式、配准对象、配准目标的特点等。作者参考Ｂｒｏｗｎ和Ｍａｉｎｌｚ的分类方法，将配准技术概括为８个方面，包括：配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估，并考虑每项内容的技术特性进行细分，然后依据某一算法的创新点进行分类。囊括所有方法的分类准则是不存在的，所提方法侧重于从总体上对配准方法进行考察，是一种相对能反映配准方法本质特征的分类方法。依据新的分类准则，作者已对图像配准技术的８个子方向进行了系统研究ｕＪ。 １发展史和研究现状 国外从２０世纪６０年代就开始在图像配准领域进行研究“】，但直到１９８０年代才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式和领域的复杂性．仍需密切关注。国际上对图像配准技术曾做过调查”】，其结论是１９９０年代初技术文献明显增加。而
医学图像处理综述 墨南-初夏2010-07-24 23:51:56 医学图像处理的对象是各种不同成像机理的医学影像。广泛使用的医学成像模式主要分为X射线成像(X—CT) ，核磁共振成像(MRI)，核医学成像(NMI)和超声波成像(UI) 这四类。 （1）x射线成像：传统x射线成像基于人体不同器官和组织密度不同。对x射线的吸收衰减不同形成x射线影像。（例如人体中骨组织密度最大，在图像上呈白影，肺是软组织并且含有气体，密度最低，在照片上的图像通常是黑影。）常用于对人体骨骼和内脏器官的疾病或损伤进行诊断和定位。现代的x射线断层成像(x—cT) 发明于20世纪70年代，是传统影像技术中最为成熟的成像模式之一，其速度已经快到可以对心脏实现动态成像。其缺点是医生要在病人接收剂量和片厚之间进行折衷选择，空间分辨率和对比度的还需进一步提高。 （2）核磁共振成像(MIR) 发展于20世纪70年代，到80年代才进入市场，这种成像设备具有在任意方向上的多切片成像、多参数和多核素成像、可实现整个空问的真三维数据采集、结构和功能成像，无放射性等优点。目前MRI的功能成像(fMRI) 是MIR设备应用的前沿领域，广泛应用于大脑功能性疾病的诊断,并为肿瘤等占位性病变提供功能信息。MRI 受到世人的广泛重视，其技术尚在迅速发展
过程中。 （3）核医学成像(NMI ) ，目前以单光子计算机断层成像(SPECT) 和正电子断层成像(PET) 为主，其基本原理是向人体注射放射性核素示踪剂，使带有放射性核素的示踪原子进入人体内要成像的脏器或组织通过测量其在人体内的分布来成像。NMI不仅可以提供静态图像，而且可提供动态图像。 （4）超声波成像(Ultrasonic Imaging ) ，属于非电离辐射的成像模态，以二维平面成像的功能为主，加上血液流动的彩色杜普勒超声成像功能在内，在市场上已经广泛使用。超声成像的缺点是图像对比度差、信噪比不好、图像的重复性依赖于操作人员。但是，它的动态实时成像能力是别的成像模式不可代替的 在目前的影像医疗诊断中，主要是通过观察一组二维切片图象去发现病变体．这往往需要借助医生的经验来判定。至于准确地确定病变体的空间位置、大小、几何形状及与周围 生物组织的空间关系，仅通过观察二维切片图象是很难实现的。因此，利用计算机图像处理技术对二维切片图象进行分析和处理。实现对人体器官，软组织和病变体的分割提取，三维重建和三维显示，可以辅助医生对病变体及其它感兴趣的区域进行定性甚至定量的分
《数字医学图像》报告 内容：图像配准专题 专业： 2012级信息管理与信息系统班级：信管一班 小组成员： 20120701020 韩望欣 20120701008 毕卓帅 20120701005 胡庆 指导老师：彭瑜 完成日期： 2015 年 10月 25日
图像配准专题 简介：图像配准是对取自不同时间，不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像配准广泛用于多模态图像分析，是医学图像处理的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域中的关键技术之一，也是图像融合中要预处理的问题，待融合图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就是将这些图像变换到同一坐标系下，以供融合使用。 一：图像配准方法国内外进展情况 图像配准最早在美国七十年代的飞行器辅助导航系统、武器投射系统的末端制导以及寻地等应用研究中提出,并得到军方的大力支持与赞助。经过长达二十多年的研究,最终成功地用于中程导弹及战斧式巡航导弹上,使其弹着点平均圆误差半径不超过十几米,从而大大提高了导弹的命中率。八十年代后,在很多领域都有大量配准技术的应用,如遥感领域,模式识别,自动导航,医学诊断,计算机视觉等。各个领域的配准技术都是对各自具体的应用背景结合实际情况量身订制的技术。但是不同领域的配准技术之间在理论方法上又具有很大的相似性,从而使得在某领域的配准技术很容易移植到其它相关领域。目前国内外研究图像配准技术比较多的应用领域有红外图像处理、遥感图像处理、数字地图定位和医学图像处理等领域。 二、图像配准在医学领域的应用 20世纪以来随着计算机技术的不断发展,医学成像技术得到了快速的发展。尖端的新型医疗影像设备层出不穷,如计算机线摄影、数字减影等等,这些已经成为现代医学诊断必不可少的医学数字成像手段。由于这些医学数字成像设备有不同的灵敏度和分辨率,它们有各自的使用范围和局限性。多种模式图像的结合能充分利用图像自身的特点并做到信息互补。近几十年以来,图像配准在医学上的应用日益受到医学界和工程界的重视,己在世界范围广泛展开,在相关文献中己经提出了很多种医学图像配准的方法,这些研究成果广泛地运用到医学领域中。图像配准在医学中的应用领域主要有以下几方面: ?组织切片图像的处理与显微结构三维重建 ?疾病诊断及其发展和消退的过程检测 ?神经外科手术可视化、神经外科手术一计划及术前评估 ?感觉运动和认知过程的神经功能解剖学研究 ?神经解剖变异性的形态测量分析学 ?放射治疗和立体定向放射外科治疗计划 三、图像配准的定义 对于二维图像配准可定义为两幅图像在空间和灰度上的映射，如果给定尺寸的二维矩阵F 1和F2代表两幅图像F1（X，Y）和F2（X，Y）分别表示相应位置（X，Y）上的灰度值。则图像间的映射可表示为：F （X，Y）=G（F （H（X，Y））），式中H表示一个二维空间坐标变换，即（X’，Y’）=H（X，Y），且G是一维灰度变换。 四、图像配准方法的分类 1、维数 主要是根据待配准图像的空间维数及时间维数来划分的。图像仅含空间维数或者是图像的时间序列中带有空间数，其配准可根据图像的空间维数分2D/2D，2D/3D，3D/3D，4D/4D
医学图像配准技术 A Survey of Medical Image Registration 张剑戈综述，潘家普审校 （上海第二医科大学生物医学工程教研室，上海 200025） 利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息，为临床诊断和治疗提供了可靠的依据。不同成像模式具有高度的特异性，例如CT通过从多角度的方向上检测X线经过人体后的衰减量，用数学的方法重建出身体的断层图像，清楚地显示出体内脏器、骨骼的解剖结构，但不能显示功能信息。PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术，是对活机体的生物化学显象，反映了机体的功能信息，但是图像模糊，不能清楚地反映形态结构。将不同模式的图像，通过空间变换映射到同一坐标系中，使相应器官的影像在空间中的位置一致，可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准，也是一个多参数优化过程。图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。 图像配准算法 可以从不同的角度对图像配准算法进行分类[1]：同/异模式图像配准，2D/3D图像配准，刚体/非刚体配准。本文根据算法的出发点，将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。 基于特征的配准算法 这类算法利用从待配准图像中提取的特征，计算出空间变换参数。根据特征由人体自身结构中提取或是由外部引入，分为内部特征(internal feature)和外部特征(external feature)。
【作者简介】张剑戈（1972-），男，山东济南人，讲师，硕士 1. 外部特征 在物体表面人为地放置一些可以显像的标记物（外标记，external marker）作为基准，根据同一标记在不同图像空间中的坐标，通过矩阵运算求解出空间变换参数。外标记分为植入性和非植入性[2]：立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。Andre G[3]等将该方法用于机器人辅助手术，对于股骨移植，位移误差小于1.5mm，角度误差小于3°，由于计算量小，可以实现实时配准。但是标记物必须事先被固定好，不能用于回顾性配准，而且该方法只适用刚体配准。 2. 内部特征 从医学影像中可以提取出点、线和面：血管的交点、血管、胸腹之间的横膈膜等，这些特征作为内标记点(internal marker) ，利用其空间位置同样可以求解出空间变换参数。Hill DL[4]用11个形态点对脑部配准，误差<1mm，方差为1.73mm。Meyer CR[5]除了血管树的交点，还使用了左右脑之间的间隔等特征。Maurer CR[6,7]赋予点、线、面等几何特征不同的权重(weighted geometrical features, WGF)，进一步改进了算法。内标记点配准是一种交互性的方法，将3D图像配准简化为点、线和面的匹配，可以进行回顾性研究，不会造成患者的不适。但是医生对特征位置的判断影响到配准精度，为了克服人为误差，需要多次重复操作，以平均值作为最终结果。 表面匹配算法也利用了内部特征[8]：进行图像分割，提取出轮廓曲线、物体表面等内部特征，使2D/3D图像配准简化为2D曲线和3D曲面的匹配，不再考虑物体内部像素。典型的应用是刚体配准的“头帽”算法[9]，从头部的3D图像中分割出表面轮廓，分别作为头模型和帽模型。配准的目标函数是头表面和帽表面之间的均方距离，该距离是空间变换参数的函数。表面匹配算法是一种自动算法，在物体表面轮廓相似并且清晰的情况下，配准效果很好。其不足之处在于：准确地进行图像分割很困难；不同模式的图像，如CT/PET图像，由于器官的轮廓差异较大，难于精确地匹配。 3. 在非刚体配准中的应用 进行非刚体配准前要确定物理模型，常见有弹性模型、粘稠液体模型、生物力学模型。通过在感兴趣区域中提取参考点、2D或是3D轮廓线，使待配准图像
中国科学技术大学 硕士学位论文
University of Science and Technology of China A dissertation for master’s degree
中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文,是本人在导师指导下进行研究工作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确的说明。 作者签名：___________ 签字日期：_______________ 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 □公开 □保密（____年） 作者签名：_______________ 导师签名：_______________ 签字日期：_______________ 签字日期：_______________
摘 要 医学影像处理是一个具有很强应用前景的研究领域，在医学诊断、临床治疗等方面起着重要的作用。其研究内容是对所采集获取的医学数据（包括CT、MRI、PET及组织切片图像）进行分析、变换、显示等操作，以使人们能清楚地认识蕴涵在数据中的复杂结构。 由于制片和图像采集等原因，序列数字切片图像的每两层间都会存在错位现象，即平移和旋转等变换。基于切片数据的建模分析，其第一步就要对上下相邻层切片图像进行配准，即通过图像的几何变换来完成校准。本文将从图像边缘曲线匹配的角度来处理医学切片数据（人体躯干部位）相邻层之间的配准校正问题。 本文首先综述两种基本的医学图像配准方法：基于点的刚体变换配准算法、最大互信息法。在此基础上，我们给出一种新的医学切片图像数据匹配方法。第一步，计算图像的加权质心，求得图像的PCA坐标轴，并将配准图与参考图坐标轴重合，从而给出图像的全局粗匹配。第二步，在配准图像边缘取采样点，确定其在参考图中的最近点并计算过该点的切线和法向量，并由采样点到参考图的切向距离极小化(TDM)模型求出相应几何变换，通过迭代获得局部精细配准。 数值实验表明，本文所提的匹配方法能很好地实现医学切片数据相邻层之间的高精度配准，而且相对于其它方法（如最大互信息法）可较大程度地减少计算量。
图像配准是对取自不同时间，不同传感器或者不同视角的同一区域的两幅或者多幅图像进行匹配叠加的过程。随着技术手段的不断发展，人们对图像配准的要求也越来越离。包括配准方法的鲁棒性、算法的难易程度、算法的自主性等都是考量算法的指标。图像配准的方法中，有人提出过被广泛认同的四个巧骤： a．特征空间的选择 特征空间是指将运用到配准中元素的集合。特征空间包括很多方面，比如像素值，比如点、线，或者平面甚至是曲面。 b．搜索空间 搜索策略是指一系列配准变换操作的集合。搜索空间是建立在几何形变基础上的。而几何形变一般包括全局的和局部的几何形变。典型的全局变形包括平移，缩放，扭曲等变形以及它们的组合。而局部形变，对变换参数要求比较苛刻，因为某一套变换参数只能作用在局部形变区域，而其余区域需采用插值技术补充。然而，另外的变形区域则需要另外的变换参数去表述。在一般的处理中，我们将变换模型看成是一种先验知识。不然则需要考量所有的变换模型。 c．搜索策略 搜索策略是实施变换的依据。它的存在是为了找寻变换模型的最优解。常用的搜索策略有松弛模型法、牛顿法和共扼梯度法。 d．相似性度量 相似性度量是对采用的变换模型的评价。相似性度量主要是采用参考图像和配准图像之间的共有的特征之间的差异比较的方法来评价配准的情况。这其中的差异可以包括点位的误差，或者是灰度值相关的差异，还可以是在变换域之间的差异值等等。最常见的相似性度量是检测特征的欧氏距离。 上述的几个步骤构成了图像配准的基本框架。许许多多的算法充斥其中产生了种类繁多的配准方法。下面主要介绍下几种典型的配准算法。目前典型的配准算法中大致可分成基于灰度、基于特征和基于模型的方法。 基于灰度的配准算法 基于灰度的算法中，重点是对图像配准的过程上，而不是特征集的选择
关于图像匹配的综述 1.图像匹配的背景及定义 1.1图像匹配的背景及意义 图像匹配技术广泛的应用于日常生活中的诸多领域，如医疗诊断中各种医学图片的分析与识别、遥感图片识别、天气预报中的卫星云图识别、指纹识别、人脸识别等。图像匹配技术主要指通过计算机，采用数学技术方法，对获取的图像按照特定目的进行相应的处理。图像匹配技术是人工智能的一个重要分支和应用，随着计算机技术及人工智能技术的发展，图像识别技术逐渐成为人工智能的基础技术之一。它涉及的技术领域相当的广泛，也越来越深入，其基本分析方法也随着数学工具的不断进步而不断发展。现在，图像识别技术的应用范围己经不仅仅局限于视觉的范围，也体现在机器智能和数字技术等方面。 1.2图像匹配的定义 所谓图像匹配是指在一幅(或一批)图像中寻找与给定目标图像相似的图像或者图像区域(子图像)的过程。通常将已知目标图像称为模板图像，而将待搜索图像中可能与它对应的子图称作该模板的待匹配的目标图像。图像匹配是在来自不同时间或者不同视角的同一场景的两幅或多幅图像之间寻找对应关系，该技术隶属于计算机视觉哺领域。图像匹配的具 体应用包括目标或场景识别、在多幅图像中求解3D结构、立体对应和运动跟踪等。由于拍摄时间、拍摄角度、自然环境的变化，多种传感器的使用、传感器本身的缺陷及噪声等影响，拍摄的图像会存在灰度失真和几何畸变。同时，图像预处理过程会引入的误差，这都是导致模板图像与待匹配的目标图像之间通常存在着一定程度上的差异。在这种情况下，如何使匹配算法精度高、正确匹配率高、速度快和抗干扰性强成为人们关心的问题。 2.图像匹配算法的分类 图像匹配算法的选取对图像匹配结果的影响很大。实用的匹配算法不仅要求计算量小，还必须具有良好的抗噪能力和抗几何形变的能力。通常情况下，图像匹配算法可以分为以下两大类：基于灰度相关的匹配算法、基于特征的图像匹配算法。 1) 基于灰度分布的相关匹配算法，也称为基于区域的匹配方法。常见的基于图像灰度的匹配方法有：（1）归一化灰度相关匹配、（2）最小二乘影像匹配、和（3）序贯相似性检测法匹配等。该类算法直接利用整幅图像的灰度信息，建立两幅图像之间的相似性度量，然后采用某种搜索方法，寻找使相似性度量值最大或最小的变换模型的参数值。在灰度及几何畸变
第22卷 第12期2009年12月 传感技术学报 CHIN ES E JO URN AL O F SENS ORS AND ACTUATO RS Vol.22 No.12D ec.2009 项目来源:国家自然科学基金资助(60802084)收稿日期:2009 07 20 修改日期:2009 08 06 Remote Sensing Image Registration Algorithm Based on SIFT * DEN G Chuanbin 1,G UO L ei 1*,L I Wei 2 1.Dep ar tmetn of Au tomation,N orthw este rn P olytechnical Univ er sity ,X i an,710129China; 2.Dep ar tmetn of Electronic s and Inf or mation E ngineer ing ,X i an T ec hnological Univ ersity ,X i an 710032,China Abstract:To reso lve m ulti sensor remo te sensing image registration,an method based on scale invariant fea tures tr ansfor m(SIFT )is proposed.First,the local invariant features of images are ex tracted,Ratio of the first and the second near est neig hbor distance w ith m utual corr espo ndence co nstr aint is used to setup the initial co rrespondences.T hen,Random Sample Concensus alg orithm is used to rem ove the mism atched fea ture points.Experiments demonstrate automatic registration of multi senso r remote sensing images and im ag es w ith different resolutions can be achiv ed. Key words:im age registr ation;scale inv ar iant features transform;mutual correspond dence constraint;Ran dom Sam ple Co ncensus EEACC :7230G 基于SIFT 的遥感图像配准方法 * 邓传斌1,郭 雷1*,李 维2 1.西北工业大学自动化学院,西安710129; 2.西安工业大学电子信息工程学院,西安710032 摘 要:针对多传感器遥感图像配准问题,改进了一种基于SIF T 的图像自动配准方法。首先提取图像中适应尺度变化的局 部不变特征点,提出了利用最近邻特征点距离与次近邻特征点距离之比的互对应约束得到初始匹配点对,然后利用R A NSA C (Rando m Sample Co ncensus)算法删除误匹配特征点对。试验结果表明:该方法能够实现多传感器遥感图像和不同分辨率图像的自动配准。 关键词:图像配准;SIFT ;互对应约束;RA NSA C 中图分类号:TP391 4 文献标识码:A 文章编号:1004 1699(2009)12 1742 06 图像配准是同一场景的两幅或多幅图像在空间上的对准。它在医学,遥感图像分析、图像融合、图像检索、目标识别等领域得到广泛的应用。同时它 也是多传感器图像融合、遥感图像镶嵌、目标变化检测、三维重建等领域中提高精度和有效性的瓶颈,是必需的前期工作。图像配准方法分为基于图像灰度和基于图像特征的配准。基于图像灰度的配准方法实现简单,但配准速度比较慢。基于图像特征的配准方法有效地消除了由于背景或局部环境、光照等造成的局部辐射失真引起的误匹配,对图像的旋转、缩放和光照强度变化等不敏感,对含有一定噪声和 轻微扭曲的图像可以进行配准,配准的速度较快。缺点是算法复杂,而且往往由于特征提取的不完全,导致匹配率较低 [1] 。目前,对于同一传感器、不同时 段、视角变化不大的卫星遥感图像的匹配技术已经比较成熟,提取了一些经典特征提取算法。比如:Susan 算子、H arris 算子等[2] 。对于不同分辨率、多 传感器图像之间的配准是目前研究的热点和难 点 [3] 。目前提出的方法大多是基于多尺度H arris 角点检测特征提取算法的图像匹配技术[4]。 本文采用尺度不变特征点来配准多传感器图像和不同分辨率图像。配准过程包括:不变特征点的
诚信声明 本人声明： 我所呈交的本科毕业设计论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致中所罗列的容以外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了意。本人完全意识到本声明的法律结果由本人承担。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期：2010 年05 月20日
毕业设计（论文）任务书 设计（论文）题目： 学院：专业：班级： 学生指导教师（含职称）：专业负责人： 1．设计（论文）的主要任务及目标 (1) 了解图象匹配技术的发展和应用情况，尤其是基于特征的图象匹配技术的发展和应用。 (2) 学习并掌握图像匹配方法，按要求完成算法 2．设计（论文）的基本要求和容 （1）查阅相关中、英文文献，完成5000汉字的与设计容有关的英文资料的翻译。（2）查阅15篇以上参考文献，其中至少5篇为外文文献，对目前国外图象匹配技术的发展和应用进行全面综述。 （3）学习图象匹配算法，尤其是基于特征的图象匹配算法。 （4）实现并分析至少两种基于特征的图象匹配算法，并分析算法性能。 3．主要参考文献 [1]谭磊, 桦, 薛彦斌．一种基于特征点的图像匹配算法[J]．天津理工大学报，2006， 22(6)，66-69． [2]甘进，王晓丹，权文．基于特征点的快速匹配算法[J]．电光与控制，2009，16(2)， 65-66． [3]王军，明柱．图像匹配算法的研究进展[J]．大气与环境光学学报，2007，2(1)， 12-15．
4
图像匹配综述
图像匹配综述 摘要：主要从图像匹配技术的概念、一般性描述及图像匹配技术的技术分类对图像匹配进行描述，在图像匹配技术的分类中，对各个方法的优缺点进行了详细的说明。 关键词：图像匹配；一般性描述；分类 随着科学的飞跃发展，近年来图像匹配技术在许多方面有着非常重要的应用，尤其是在医学方面、运动物体的跟踪、计算机视觉、天气预报以及各种资源分析等方面运用非常广泛。本文对图像匹配进行综述，以便读者对其有个粗略的了解。 一、图像匹配的概念 图像匹配的概念：在两幅图像中，从一幅图像中寻找与另一幅具有相同或相似的过程。 二、图像匹配的一般性描述 图像匹配可以描述为：假设给定大小分别为m×m和n ×n像素图像h1（x，y）及h2（x，y），它们的映射关系为： h2（x，y）=g（h1（a（x，y）），（2-1） 式（2-1）中，符号a是二维或者多维的几位变换（x′，y′）=a（x，y），符号g为一维或者多维图像的亮度变换。匹配图像问题的实质是寻找两幅图像的最佳几何变
换a和亮度变换，最终的目的是使预先定义的那种测度为最小值或者达到最大值，以达到两幅待匹配图像的匹配。匹配图像的关键主要是下列因素选择的一个组合：待匹配图像的特征空间、相似度、几何变换类型和参数的搜索策略。 下表2-1给出了待匹配图像的特征空间、相似度及搜索策略的几个主要要素及它们对应的内容。 表2-1 待图像匹配的三个关键因素 三、图像匹配技术的分类 图像匹配技术算法分类很多，但都遵守这样的基本原则：（1）算法必须是有效的。（2）算法必须是稳定的，当待匹配的图像发生旋转、尺度伸缩及被遮挡时，此种算法仍能使用。（3）算法必须是快速的。 1.基于图像灰度相关的匹配方法 基于图像灰度匹配算法是利用整幅图像的灰度信息进行匹配的方法。 几种常见的算法有平均绝对差算法、归一化积相关算法、互信息匹配算法、傅立叶相关算法等。下面简要介绍以下这几种算法： （1）平均绝对差算法 平均绝对差算法是这样定义的： d（x，y）= s（i+x，j+y）-T（i，j）（3-1）
杭州电子科技大学 毕业设计（论文）文献综述 毕业设计题目SIFT特征研究及应用 文献综述题目图像配准算法综述学院生命信息及仪器工程学院 专业电子信息技术及仪器 姓名 班级 学号 指导教师
图像配准算法综述 一．前言 图像配准是指找出场景中同一物体表面的结构点在不同图像上的投影像素点之间的对应关系，是图像信息处理领域中一项非常重要的技术，同时也是其它一些图像分析技术，如立体视觉、运动分析、数据融合等的基础。 目前图像配准广泛应用于虚拟现实、视频压缩、图像复原、图像数据库检索等技术中。图像配准的研究是计算机视觉中最困难也是最重要的任务之一。不同的图像配准方法总是对应于某种适用的图像变换模型，其核心问题是提高配准的速度、精度和算法的稳健度。 随着科学技术的发展现在约40%的机器视觉应用中都会使用图像匹配技术，所涉及的领域有：工业检测，导弹的地形匹配，光学和雷达的图像跟踪，交通管理，工业流水线的自动监控、工业仪表的自动监控，医疗诊断，资源分析，气象预报，文字识别以及图像检索等。 图像匹配研究按其处理步骤可以分为样本采集、样本预处理、样本分割、样本的特征提取等，并且与计算机视觉、多维信号处理和数值计算方法等紧密结合。它也是其它一些图像分析技术，如立休视觉、运动分析、数据融合等的基础。正因为其应用的广泛性，新的应用和新的要求逐步产生，使得匹配算法的研究逐步走向深入，出现了快速、稳定、鲁棒性好的匹配算法。因此，研究图像的匹配算法对于如何提高实际工程中的图像处理质量和识别精度具有非常重要的意义。 本文主要分析图像匹配常用方法的优点和不足之处，讨论了图像匹配中需要进一步研究和解决的问题。 二．图像配准算法的研究现状 图像配准是立体视觉、运动分析、数掘融合等实用技术的基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域有重要的应用价值。国内外学者针对不同的图像配准应用问题进行了大量的研究工作，早在1992年英国剑桥大学的Lisa Gottesfeld Brown在文献[1]习中就总结了图像配准的主要理论及图像配准在各个领域的应用。当时他讨论的图像配准技术主要还是著眼于医学图像处理、遥感图像处理等传统应用领域。图像配准是图像镶嵌技术的核心问题。 微软研究院的Richard Szeliski在1996年SIGGRAPH上提出了基于运动模型的全景图拼接算法[7]。Szeliski采用了非线性优化的方法来最小化像素两幅图像的亮度差以确定变换参数。该方法使用了全部像素进行优化处理，所以配准精度较高，但是计算速度较慢，且稳健性不佳。 国内的赵向阳。杜立民在2004年提出了一种基于特征点匹配的图像自动拼接算法[2]，其中使用了Harris算法[3]提取角点并进行匹配。赵的算法采用了鲁棒变换估计技术，在一定程度上提高配准算法的稳健性，但是计算速度依然较慢，且无法配准重
本科生毕业设计（论文）任务书 医学图像（脑部）配准方法研究 题目名称 学院 专业班级 姓名 学号 指导老师 一、毕业设计（论文）的内容与要求 （课题内容应明确、详细，难度适中、工作量饱满；强调通过文献研究，找出多个解决方案并进行多方案对比；强调解决复杂工程问题；强调对现代工具的使用及局限性分析，强调对实验结果分析等；明确应用工程管理原理和经济决策方法，分析和评价解决方案对社会、健康、安全、法律以及文化的影响） 图像配准是指：将两张以上图像进行匹配，比如不同时间、不同仪器、不同位置拍摄的两张图像。医学图像配准是指：找一种几何变换方式，使两张医学图像的空间点达到相同。通俗地说，图像配准就是将两幅不同的图像进行一个“对齐”、“匹配”的操作，只有如此，将两幅图像对比才具有实际意义。 图像配准也是许多后续图像处理的预处理步骤，比如图像分割、图像融合，这两种处理方法必须建立在两幅图像已经配准的基础上。这足以说明图像配准方面的研究在临床上具有重要意义。 按空间变换类型对图像配准方法进行归纳，其主要有：刚性配准、相似变换配准、仿射变换配准、投影变换配准、可变形配准。此外还有基于灰度的配准方法，基于图像特征点的配准方法等。 在医学研究和临床治疗中，往往需要将不同模态的图像进行配准融合。我们依据配准过程中涉及到的图像模态，可以将图像配准分为单模态医学图像配准和多模态医学图像配准。当配准图像的模态都为同一模态时（比如CT与CT配准），我们称之为单模态医学图像配准；而配准图像为两种或多种模态时（比如CT与MRI配准），我们称之为多模态医学图像配准。在临床治疗和医学研究中经常会
同时使用多种模态的图像，因此多模态医学图像配准使用较为广泛，也是医学图像配准的主要研究方向。 本课题设计旨在通过大量文献调研，掌握医学图像配准的实验方法，对医学图像配准技术进行研究。从多角度对比各种配准方法的异同点，最后对配准算法进行总结归类，并对实验中的配准算法进行优缺点比较。具体任务为： 1、了解本课题研究背景、目的和意义；分析目前医学图像配准面临的主要技术问题，综述当前医学图像配准技术的研究现状；制定本课题的研究工作内容以及假设实验达到的预期结果。 2、研究掌握配准流程中各个步骤的实现方法、以及现有的各种配准算法的原理、特点。 3、制定实验流程，搭建实验编程环境及平台，目前的医学图像配准开发平台主要有ITK、Elastix、MATLAB等。收集同一部位的多组医学图像数据（如CT、MRI等）， 注：脑部医学图像数据资源较多。 4、对医学图像进行单模态配准（如：CT-CT、MRI-MRI），配准方式：刚性配准和弹性（非刚性）配准。根据实验条件，采用适合的刚性配准算法和非刚性配准算法对图像进行配准操作。对配准实验结果进行比较分析（配准算法比较、配准方式比较） 5、在第4步的实验基础上，对医学图像进行多模态非刚性配准（CT-MRI），并实现较好的配准结果。 注：在第4、5步中，需要利用可视化软件查看配准结果。 6、对上述实验得出的结果，进行讨论分析。 7、对课题进行总结与技术展望。
角点检测算法综述 范娜，俞利，徐伯夏 （中国航天科工集团第三研究院8357所天津300308） 摘要：角点作为图像的一个重要特征，它保留了图像绝大部分的特征信息。角点在三维场景重建、运动估计、目标跟踪以及图像配准与图像匹配等计算机视觉领域有着重要的作用。本文对角点检测算法的类别进行总结，对各类算法进行了详细介绍，并对近几年来各类算法发展与改进进行了总结。 关键词：特征信息；计算机视觉；角点检测 Survey of Corner Detection Algorithms FAN Na, YU Li, and XU Bo-xia (The 8357 Research Institute of the Third Research Academy of CASIC Tianjin 300308) Abstract：As a more important feature of image, corner contains voluminous information of image features.In the domain of computer vision, such as three-dimensional reconstruction, motion estimation, object tracking, image registration and image matching, corner of image play an important role.this paper attempt to summarize and detailedly introduce corner detection algorithms, and summarize the developments of these algorithms in recent years. Key words: Feature Information；Computer Vision；Corner Detection 1 引言 角点并没有明确的定义，一般将图像中亮度变化剧烈的点或图像边缘上曲率取极大值的点认为是角点。从形态上来说，角点包括L、T、Y、X和箭头型角点等。角点作为图像的重要特征，保留了图像的绝大部分的特征信息，又有效地减少了信息的数据量，从而有效地提高了运算速度以及匹配的可靠性。总结现有的角点检测算子的评价方法，总体上有以下几个标准[1]： (1)稳定性：即同一场景图像在亮度、对比度等因素变化的情况下，检测出的角点数目及位置应当稳定 (2)可靠性：即在算子的可变参数改变情况下，不影响生成的角点的质量，只改变检测出角点的数目；检测到的角点具有平移、旋转、伸缩不变性 (3)鲁棒性：即算法的抗噪性能，在一定的噪声干扰下，算子仍然具有很强的角点检测能力 (4)准确性：主要指不发生误检测以及角点位置定位准确 (5)高效性：是指算法的计算速度快慢，算法速度必须足够快以满足图像处理系统的要求 经过几十年的研究与探索，产生了许多检测角点的方法，但大致可以分为四类：基于灰度图像的角点检测算法、基于二值图像的角点检测算法、基于边缘特征的角点检测算法以及支持矢量机角点检测算法。本文中
科技信息2010年第7期 SCIENCE&TECHNOLOGY INFORMATION 遥感是目前为止能够提供全球范围的动态对地观测数据的惟一 手段,其成像模式多种多样。多源传感器影像的数据融合,可以产生 出比单一信息源更精确、更完整、更可靠的影像信息。在融合这些多源 遥感影像数据时,必须先进行影像配准，经过适当配准的多传感器图 像可以在像素级直接融合形成融合图像，然后在此基础上完成目标探 测、特征提取和目标识别等处理。图像配准广泛应用于航空航天技术、 地理信息系统、图像镶嵌、图像融合、目标识别、虚拟现实等领域。 1图像配准的基本概念 图像配准是指同一目标的两幅（或者两幅以上）图像在空间位置 上的对准，图像配准的技术过程称为图像匹配。影像匹配实质上是在 两幅(或多幅)影像之间识别同名点,是计算机视觉及遥感数字图像制 图的核心问题[1]。对影像匹配可作如下数学描述[2]: 若影像I 1与I 2 中的像点O1与O2具有坐标P 1 =(x1,y1)、P2=(x2,y2)及特 征属性f 1与f 2 ，即O1=(P1,f1)、O2=(P2,f2)。其中f1与f2可以是P1与P2为 中心的小影像窗口的灰度矩阵g1与g2,也可以是其他能够描述O1与O2的特征。基于f1与f2定义某种测度m(f1,f2)。所谓影像匹配就是建立一个映射函数M满足：P 2 =M(P1,T)、M(f1,f2)=max或min(O1∈I1,O2∈I2)。其中T为描述映射M的参数矢量,测度m表示O1与O2的匹配程度,称为匹配测度。基于不同的理论或不同的思想可以定义各种不同的匹配测度,因而形成了各种影像匹配方法及相应的实现算法。 2图像匹配的一般算法 2.1基于图像灰度的匹配方法 基于图像灰度的匹配方法的基本思想是：首先对待匹配图像做几何变换；然后根据灰度信息的统计特性定义一个目标函数，作为参考图像与变换图像之间的相似性度量，使得匹配参数在目标函数的极值处取得，并以此为匹配的判决准则和匹配参数最优化的目标函数，从而将匹配问题转化为多元函数的极值问题；最后通过一定的最优化方法求得正确的几何变换参数。在两幅图像灰度信息相似的情况下，常用的匹配方法有：互相关匹配方法，投影匹配方法，基于傅立叶变换的相位匹配方法和图像矩匹配方法。 2.2基于图像特征的配准 基于图像特征的匹配方法就是利用图像的内部特征进行匹配。根据所提取的图像特征的不同，特征提取算子可分为点特征提取算子(如MORAVEC算子，FORSTNER算子)、线特征提取算子(如Log算子，hough变换算子)和区域特征提取算子（主要是区域分割)[3]。 基于图像特征的配准方法在实际应用中越来越广泛。图像的特征只考虑图像的局部信息，较大地减少了匹配过程的计算量，从而提高了配准的速度；同时，特征点的匹配度量值对位置的变化比较敏感，可以提高匹配的精确度。但是该方法只依赖于所提取的图像特征，所以对于图像的细微情节不太敏感。 2.3最小二乘影像匹配 最小二乘影像匹配方法充分利用了影像窗口内的信息进行平差计算，使影像匹配可以达到子像素等级，因此，最小二乘影像匹配被称为“高精度影像匹配”[4]。 影像匹配中判断影像匹配的度量很多，其中最常见的一种是灰度差的平方和最小。若将灰度差记为余差v，则有表达式： Σvv=min v=g1（x，y）-g2（x，y） 这就是一般的按原则Σvv=min进行影像匹配的数字模型。 最小二乘匹配是以“相关系数最大”作为影像匹配搜索同名点的准则，其实质就是搜索“信噪比为最大”的灰度序列。 其残余灰度差的平方和计算公式： Σvv=Σg21-（g1g2）2 Σg22 相关系数的计算公式:ρ2＝ （Σg1g2）2 Σg21Σg22 影像匹配算法采用目标区相对于搜索区不断地移动一个整像素，在移动的过程中，计算相关系数，搜索最大相关系数的影像区作为同名像点。其搜索过程可以用以下式子予以表示: maxΣρ（x芄i·△，y芄j·△）} 其中一k荞i荞k;-l荞j荞l k;l为正整数，△为数字影像的采样间隔。 3图像配准的新方法 3.1频域匹配算法 频域匹配算法就是把在空域中的数据通过时频变换，变换为频域的数据，然后通过一定的相似性度量来确定两幅图像之间匹配参数的办法。最常用的时空变换是Fourier变换，最常用的相似性度量是相位相关度量。在诸多现有匹配算法中，频域匹配技术得到了广泛的应用，采用的是空域、频域复合配准的方法。该方法先用空域相关法求取粗匹配点的候选点，再利用频域相关对图像旋转敏感的特性，根据傅立叶变换的平移不变性，当两幅图像存在位移和旋转变化时。两者的频谱只反映了它们的旋转差别。这样，将其中一幅图像的频谱相对其中心旋转角后再与另一幅图像的频谱相减，差别之和为D(θ)的，而D值最小时所对应的θ角即为要校正的旋转角。 与许多空域算法相比，频域算法有如下一些显著的特点：首先频域方法对全局的照度变化不敏感；其次，这种算法可解决两幅图像之间存在平移，旋转和尺度的匹配问题，如果有必要还可得到子像素的匹配精度。因此，这类算法正好满足我们的匹配任务：（下转第406页） 遥感影像配准方法探讨 杨先武1，2李彩露1韦春桃1 (1.桂林理工大学土木与建筑工程学院广西桂林541004； 2.信阳师范学院城市与环境科学学院河南信阳464002） 【摘要】影像匹配是指从数字影像上识别相关影像，它是计算机视觉和数字摄影测量中的一个基本问题。遥感影像的配准技术直接关系到图像融合等地形分析的精度和效果，针对不同的应用目的和条件可以选择不同的匹配算法，本文在三种经典的配准方法的基础上提出了两种图像配准的新方法。 【关键词】图像配准；影像相关；最小二乘；特征提取 The Registration Way of Remote Sensing Image 【Abstract】Images matching is used to identify the related images from the digital image.It is a basic issue in computer vision and digital photogrammetry.The techniques of Remote sensing image registration has directly relation to the accuracy and effectiveness of the image integration and analysis of the terrain,etc.Applications for different purposes and conditions can choose different matching algorithms,this paper,three kinds of quasi-classical method of distribution based on the two kinds of image registration of the new methods. 【Key words】I mage matching;I mage correlation;L east Squares Image Matching;F eatures extraction ○本刊重稿○ 397