第34卷第1期
2009年1月
测绘科学
Science of Surveying and M app ing
Vol134No11
Jan1
作者简介:刘秀芳(19722),女,助理
研究员,硕士,1997年毕业于东北师
范大学物理系,目前主要从事S AR图
像地理编码、S AR图像后处理方面的
研究。
E2mail: xfliecas@sina1com1cn
收稿日期:2007208217
基金项目:国家863计划资助项目(编
号:2006AA12Z149)
基于S I FT的多时相星载SAR图像特征点自动匹配
刘秀芳,尤红建
(中国科学院电子学研究所,北京 100080)
【摘 要】S AR图像配准是实现多时相图像监测的前提,但是由于S AR图像的斑点噪声、成像机理的特殊性,使得采用常规的特征匹配方法很难实现S AR图像的自动配准。本文在介绍旋转尺度不变特征(SI FT)提取特征点原理的基础上,利用SI FT方法对两个时相星载S AR图像存在不同的旋转角和分辨率存在差异进行了特征点提取和自动匹配试验,图像特征点自动匹配的有效率达到70%以上,结果表明提取SI FT特征点进行多时相S AR图像自动匹配是基本可行的。
【关键词】SI FT;星载S AR;自动匹配
【中图分类号】TP75 【文献标识码】A 【文章编号】100922307(2009)0120043203
DO I:1013771/j1issn1100922307120091011012
1 引言
遥感图像的配准是进行图像融合和变化检测的基础,
目前比较好的处理方法由粗到精的半自动配准方法,即是
人工选择少量的同名点实现粗配准,在此基础上在根据同
名点匹配进行精配准[1]。遥感图像的完全自动配准一直是
人们努力实现的目标,尽管提出了一些方法[2～5],但是应
用中总存在一定的限制和要求,例如有的配准方法要求图
像分辨率相同、有的方法要求图像上具有明显的线性结构
特征或封闭区域。近年来计算机视觉和模式识别领域出现
了一种比较成熟的基于尺度空间、对图像缩放和旋转甚至
仿射变换保持不变性的图像局部特征描述算子的自动匹配
方法—SI FT算法,SI FT算法由D1G1Lowe于1999年首先提
出[6],并于2004年得到完善[7]的算法。后来Y1Ke将其描
述子部分用PC A代替直方图的方式[8]进行了改进,减少了
计算量。国内李晓明最早将SI FT算法应用于遥感图像的自
动配准进行了研究[9],着重试验了光学遥感图像的自动配
准,对S AR图像只是分析了S AR干涉图像的自动配准,并
没有对SI FT应用于S AR图像的自动配准进行深入研究。由
于SI FT特征是图像的局部特征,其对旋转、尺度缩放、亮
度变化保持不变性,对视角变化、仿射变换、噪声也保持
一定程度的稳定性。为此我们对SI FT方法应用于S AR图像
的特征点自动匹配进行了研究。第2部分介绍了SI FT的基
本原理和算法步骤,第3部分给出了通过SI FT方法计算两
个时相星载S AR图像同名点对的试验,最后给出了结论。
2 S I FT算法原理
SI FT方法是一种提取图像局部特征的有效算法,它能
够在尺度空间内寻找到一些极值点,对图像的亮度、平移、
旋转、尺度变化具有较强的适应性,利用特征点周围图像
提取该特征点的特征描述符,从而可以在特征描述符之间
进行匹配。SI FT方法的主要步骤包括了:尺度空间和降采
样图像的形成、尺度空间极值点的检测、特征点的精确定
位,特征点方向参数生成、特征点描述符的形成[7]。
1)图像尺度空间和降采样图像生成
尺度空间理论目的是为了模拟图像的多尺度特征,高
斯卷积核是实现尺度变换的惟一线性核,二维图像的尺度
空间定义为:
L(x,y,σ)=G(x,yσ)×I(x,y)(1)
其中G(x,y,σ)是尺度可变高斯函数,(x,y)是图像
的空间坐标,而σ是尺度坐标,即:
G(x,y,σ)=
1
2πσ2
e-(x2+y2)/2σ2(2)
为了在尺度空间上检测到稳定的特征点,需要采用高
斯差分尺度空间(DOG),即将不同尺度的高斯差分核和图
像进行卷积。
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)
=L(x,y,kσ)-L(x,y,σ)(3)
DOG算子计算比较简单,是对尺度归一化LoG算子的
一种近似。为了实现特征点对图像尺度的不变性,需要对
图像进行分辨率的降采样,从而构建图像金字塔,这样图
像按照降采样分成若干组,每组再采用高斯尺度卷积形成
若干层,下一组的图像由上一组图像经过降采样生成。
2)尺度空间极值点的检测
若要寻找尺度空间中存在的极值点,就需要把每个采
样点要和它周围所有的相邻点进行比较,即判读它是否比
图1 S I FT特征的算法流程
周围图像域和尺度域的相
邻像素点大或者小。每个
检测点不仅需要和它同尺
度的8个邻域点比较,还
要和它上下两个相邻尺度
内对应的9×2个点共26
个点进行比较,以保证在
尺度空间及图像空间都能
检测到极值点。
3)极值点位置的精确
确定
为了精确定位极值点
的位置,需要采用三维二
次函数的拟合,以达到亚
像素的定位精度,此外还
需要去除对比度比较低的
特征点以及不稳定边缘响
测绘科学 第34卷
应点,以实现匹配稳定、抗噪声的要求。
4)特征点主方向的提取
利用特征点周围图像的梯度方向分布统计来确定特征点的特征主方向,使得SI FT 算子具有旋转不变的性能。计算时需要对特征点为中心的窗口图像进行采样,根据直方图统计窗口图像内所有像素的梯度方向。梯度直方图统计范围是0～360度,直方图的峰值就代表了该特征点处邻域梯度的主方向,用该数值作为特征点的主方向。在梯度方向直方图中,如果存在另一个峰值,且该峰值相当于主峰值80%,可以把这个方向看作特征点的辅方向。一个特征点可以提取多个方向(例如一个主方向和一个辅方向),
大大增强特征点匹配时的鲁棒性。提取的图像特征点有三个信息:所在的位置、尺度和主方向。
5)特征点描述符生成
为了使特征点匹配具有旋转不变性,需要将图像的坐标轴旋转至特征点的主方向,然后再以特征点为中心取一定大小的窗口图像。
图2 特征点的描述符[7]
图2的左部分中心为当前特征点的位置,而每个小方
格表示该特征点窗口图像所在尺度空间的一个像素,箭头的方向则代表该像素的梯度方向,箭头的长度代表了梯度的大小,圆圈代表了高斯加权的范围,越靠近特征点,像素梯度方向的贡献也就越大。在每4×4的小块内计算出八个方向的梯度方向直方图,并统计每个梯度方向的累计值,得到一个种子点,如图2的右部分所示。图中一个特征点由2×2共4个种子点构成,每个种子点会有8个方向的向量值。采用了邻域方向统计和加权,一方面增强了算法抗噪声的能力,另一方面对定位误差的特征匹配提供了较好的稳健性。为了进一步增强特征匹配的鲁棒性,可以对每个特征点使用4×4共16个种子点的方式进行特征描述,每个特征点可以产生128维的特征数据,即128维的SI FT 特征向量。此时SI FT 特征向量已经去除了图像尺度、旋转等几何变形的影响,如果对特征向量进行长度归一化,就可以进一步去除图像灰度变化的影响。
3 基于S I FT 特征向量的特征点自动匹配
对两个时相的星载S AR 图像分别提取SI FT 特征点和其
特征描述符向量后,就可以根据特征匹配进行星载S AR 图像的特征点的自动匹配。具体匹配时可以采用特征描述符向量的距离作为两幅图像中特征点的相似性判定标准,有多种距离可以衡量两个特征之间的差别,最常用的是采用欧氏距离进行计算:
D is i ,j =
∑k =n
k =0
(X
i
-X j )
2
(4)
式中,X i 表示第1副图像中的第i 个特征点的特征向量,X j 第2副图像中的第j 个特征点的特征向量。
首先对于第一副图像的特征向量,计算它与第二幅图像特征向量集合中每一个特征向量的欧氏距离,得到距离集合,然后对距离集合按照大小进行排序,从中提取最小距离和次最小距离;最后通过比较最小距离和次最小距离的比值,判定改比值和阈值的关系。如果最小的距离和次小的距
离比值大于事先设定的阈值,则接受这一对匹配点。阈值越
大,则SI FT 匹配点数目会减少,但更加稳定,在应用星载S AR 图像的匹配试验中一般取比例阈值为210～310。
4 基于S I FT 的SAR 图像特征点自动匹配试验
为了检验SI FT 特征算法对多时相S AR 图像的特征点自动匹配效果,我们获取了两副Radarsat 21星载S AR 图像,反映的是越南四月与八月的水稻生长情况,分别是1999年4月4日和8月2日的两个时相图像S AR 图像,图像分辨率为20m 。采用VC ++610编程分别提取图像的SI FT 特征点,在此基础上根据特征点的128维特征描述符进行欧氏距离的匹配,给出匹配的点对。为了检验SI FT 算法对图像尺度和旋转时的匹配情况,我们对时相2的图像进行了不同的旋转角度、不同分辨率的试验,试验结果见表1。但是当图像分别率之比为1/4时甚至更大几乎不能正确进行特征点的匹配,也就很难进行图像的配准了。
表1 两个时相SAR 图像特征点自动匹配的情况
序号
两个时相图像的尺度和
旋转变化情况
匹配的点对数量错误点对数量匹配点对的正确率
1图像分辨率相同、没有旋转角27292%2图像分辨率相同、有+5度旋转角120100%3图像分辨率相同、有+10度旋转角190100%4图像分辨率相同、有+15度旋转角16194%5图像分辨率相同、有+20度旋转角270100%6图像分辨率相同、有+25度旋转角
10190%7图像分辨率相同、有+30度旋转角20290%8图像分辨率相同、有+35度旋转角14286%9图像分辨率相同、有+40度旋转角170100%10图像分辨率相同、有+45度旋转角11282%11图像分辨率相同、有25度旋转角12192%12图像分辨率相同、有210度旋转角190100%13图像分辨率相同、有215度旋转角60100%14图像分辨率相同、有220度旋转角220100%15图像分辨率相同、有225度旋转角11282%16图像分辨率相同、有230度旋转角20290%17图像分辨率相同、有35度旋转角9189%18图像分辨率相同、有40度旋转角20385%19图像分辨率相同、有45度旋转角110100%20图像分辨率之比2/3、没有旋转角230100%21图像分辨率之比2/3、有+25度旋转角
8187%22图像分辨率之比2/3、有225度旋转角
16287%23图像分辨率之比2/3、有+45度旋转角
80100%24图像分辨率之比2/3、有245度旋转角
13192%25图像分辨率之比1/2、没有旋转角10280%26图像分辨率之比1/2、有+25度旋转角
4175%27图像分辨率之比1/2、有225度旋转角
6183%28图像分辨率之比1/2、有+45度旋转角
50100%29
图像分辨率之比1/2、有245度旋转角
4
1
75%
从表中可以看出对于两幅不同时相的S AR 图像具有较好的匹配正确率。为了进一步显示匹配点对的情况,我们将部分匹配点对的匹配结果图进行了显示,图3显示了两
44
第1期 刘秀芳等 基于SI FT 的多时相星载S AR 图像特征点自动匹配个时相S AR 图像在没有尺度和旋转时特征点自动匹配的结果,图中的匹配点对用直线进行了连接,特征点采用了带十字交叉的圆圈表示。图4显示了时相2图像和时相1图像有25°旋转角时的匹配结果;图5显示了时相2图像分辨率为原来分辨率的2/3的特征点匹配情况;图6显示了时相2图像分辨率为原来分辨率的1/2、同时出现45°旋转角时的特征点匹配情况。从图上可以看出,绝大部分匹配的点对都是正确的
。
通过上面的自动匹配结果和试验总结表格可以看出,SI FT 特征点具有尺度不变的特性,原因在于SI FT 特征是在尺度空间检测的最佳极值点,而在提取特征描述矢量时根据特征点的主方向进行了相应变换,保证了SI FT
具有一定
图6 两个时相SAR 图像分辨率之比1/2、旋转+45°
的S I FT 特征点自动匹配结果的旋转不变性。此外,在提取特征描述矢量时进行了归一化处理,使得它对图像亮度变化不敏感。因此,SI FT 特征具有尺度和旋转不变的特性,为特征点的自动匹配提供了很好的基础。但是对于图像分辨率相差特别悬殊时,匹配方法就不理想,而对于多时相的S AR 图像,一般分辨率相差还是不大的,因而本文的方法具有一定的适用性。
参考文献
[1]
张继贤,李国胜,曾钰1多源遥感影像高精度自动配准的方法研究[J ]1遥感学报,2005,9(1):732771[2]韦燕凤,赵忠明,闰冬梅,等1基于特征的遥感图像自
动配准算法[J ]1电子学报,2005,32(1):16121651[3]钟家强,王润生1基于互信息相似性度量的多时相
遥感图像配准[J ]1宇航学报,2006,27(4)1[4]王东峰,张丽飞,刘小军,等1基于广义特征点匹
配的全自动图像配准[J ]1电子与信息学报,2005,27(7)1
[5]杨常清,王孝通,徐晓刚,等1基于特征空间的航
空影像自动配准算法[J ]1测绘学报,2005,34(3)1
[6]D G Lowe 1Object recogniti on fr om l ocal scale 2invariant
features [C ]//I n Pr oceedings of I nternati onal Confer 2ence on Computer V isi on,1999:1150211571
[7]D G Lowe 1D istinctive i m age features fr om scale 2invariant
keypoints [J ]1I nternati onal Journal of Computer V i 2si on,2004,60(2):9121101
[8]Yan Ke,Rahul Sukthankar 1PC A 2SI FT:A More D istinc 2
tive Rep resentati on for Local I m age Descri p t ors [C ]//Computer V isi on and Pattern Recogniti on,20041CVPR 20041Pr oceedings of the 2004I EEE Computer Society Conference on,Vol 2:506～5131
[9]李晓明,郑链,胡占义1基于SI FT 特征的遥感影像
自动配准[J ]1遥感学报,2006,10(6):88528921[10]刘晓龙,等1基于多源遥感影像融合的影像匹配技
术[J ]1测绘科学,2007,32(3)1
M a tch i n g fea ture po i n ts of m ulti 2te m pora l space 2borne SAR ba sed on S I FT
Abstract :Registering multi 2temporal S AR i m ages aut omatically is the key p rep r ocessing for monit oring,but it is difficult t o regis 2ter S AR i m ages using traditi onal matching methods owing t o the s peckle noise and distinctive characteristic of S AR i m age 1I n this paper we intr oduce scale invariant feature transfor m (SI FT )algorith m t o matching feature points in S AR i m age 1The SI FT method is used t o extract feature points in t w o te mporal s pace 2borne S AR i m ages with different r otati on angle and different res oluti on,the effective rate of successful matching reaches 70%and the results de monstrate that it is feasible t o use SI FT feature points t o register multi 2te mporal S AR i m age 1
Key words:SI FT;s pace 2borne S AR;feature point matching
L I U X iu 2fang,YOU Hong 2jian (I nstitute of Electr onics,Chinese Acade my of Sciences,Beijing 100080,China )
5
4
SIFT 特征点匹配算法 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分，可细化分为五个部分： ① 尺度空间极值检测（Scale-space extrema detection ）； ② 精确关键点定位（Keypoint localization ） ③ 关键点主方向分配（Orientation assignment ） ④ 关键点描述子生成（Keypoint descriptor generation ） ⑤ 比较描述子间欧氏距离进行匹配（Comparing the Euclidean distance of the descriptors for matching ） 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一，就是在不同尺度下都能被检测出来。要达到这个目的，我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明，变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为：(,,)L x y σ，是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到，即： ),(),,(),,(y x I y x G y x L *=σσ （1.1） 其中：2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中，为了能相对高效地计算出关键点的位置，建议使用的是差分高斯函数（difference of Gaussian ）(,,)D x y σ。其定义如下： ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （1.2） 如上式，D 即是两个相邻的尺度的差（两个相邻的尺度在尺度上相差一个相乘系数k ）。
二 特征点提取算法 1、基于SIFT （Scale Invariant Feature Transform ）方法的图像特征匹配 参看David G. Lowe 的“Distinctive Image Features from Scale-Invariant Keypoints ” 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分，可细化分为五个部分： ① 尺度空间极值检测（Scale-space extrema detection ）； ② 精确关键点定位（Keypoint localization ） ③ 关键点主方向分配（Orientation assignment ） ④ 关键点描述子生成（Keypoint descriptor generation ） ⑤ 比较描述子间欧氏距离进行匹配（Comparing the Euclidean distance of the descriptors for matching ） 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一，就是在不同尺度下都能被检测出来。要达到这个目的，我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明，变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为：(,,)L x y σ，是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到，即： ),(),,(),,(y x I y x G y x L *=σσ （1.1） 其中：2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中，为了能计算的相对高效，所真正使用的是差分高斯尺度空间（difference of Gaussian ）(,,)D x y σ。其定义如下： ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （1.2） 如上式，D 即是由两个相邻的尺度的差（两个相邻的尺度在尺度上相差一个相乘系数k ）。
毕业设计（论文）题目基于SIFT特征的图像匹配 姓名张建华 学号0811111101 所在学院理学院 专业班级08信计 指导教师吴颖丹 日期2012 年 6 月 2 日
摘要 当今社会已经进入信息时代，随着计算机技术、通信技术和数学的发展，图像信息处理能力和水平也不断提高，相应的也得到更多关注、研究和更加广泛的应用。图像匹配是处理和解决各种图像信息的基础，已经成为虚拟现实和计算机可视化领域的研究热点。一直以来，研究人员对图像匹配技术进行了大量的研究，推出了许多匹配算法，其中特征匹配算法有着较高的精确度和稳定性。SIFT （Scale Invariant Feature Transform）特征匹配算法是Lowe提出来的用于图像特征匹配的算法，是目前特征匹配领域的热点，对图像的旋转，尺度缩放和亮度变换保持不变，对视角变换，仿射变换保持一定程度的稳定。SIFT特征点是图像的一种尺度不变局部特征点，具有独特性好，信息量丰富，多量性，高速性，可扩展性等特点。正是借助于这些特点，使得传统图像配准中的许多诸如前面提到的共性问题得到了很大程度的改善。该算法首先给出了尺度空间的生成方法，检测出极值点；接下来给出了SIFT特征点的提取步骤和精确定位极值点的方法；然后基于特征点邻域像素的梯度和方向生成了关键点的描述向量；最后根据特征向量给出了匹配方法，提取了SIFT的特征点，并其应用于图像匹配。 本文首先简要介绍了图像匹配所需的基础知识，然后详细介绍了SIFT算法的具体流程。通过大量的实验证明SIFT算法具有较强的匹配能力和鲁棒性，是一种较好的图像匹配算法。 关键字：SIFT; 图像匹配; 尺度空间; 极值点; 特征向量
SHANGHAI JIAO TONG UNIVERSITY 学士学位论文 THESIS OF BACHELOR 基于ransac算法的sift特征匹配研究（OpenCV+VS2010）
上海交通大学 毕业设计（论文）学术诚信声明 本人郑重声明：所呈交的毕业设计（论文），是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 作者签名： 日期：年月日
上海交通大学 毕业设计（论文）版权使用授权书 本毕业设计（论文）作者同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本毕业设计（论文）的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本毕业设计（论文）。 保密□，在年解密后适用本授权书。 本论文属于 不保密□。 （请在以上方框内打“√”） 作者签名：指导教师签名： 日期：年月日日期：年月日
视频图像跟踪系统 摘要 图像（Image）--是客观世界的景物通过光学系统作用后产生的影像。图像直观地反映了场景中物体的颜色、亮度等特征，从而使我们能清晰分辨他们的形状、大小和空间位置。近30年来人们试图研究基于计算机的视觉系统，并且试图利用其系统来代替工业农业上的有害劳动。这样的视觉系统渐渐地进入我们的生活，让我们的生活变得很丰富，并且我们现在享受着图像处理这学问的成果。在世界上的先进的国家都设立了图像处理研究所，研究解决国防部门所要的问题。 本文将介绍基于OpenCV（Open Source Computer Vision Library）的视频图像匹配、拼接、融合和目标跟踪的算法以及方法。说到图像拼接，本文中所用的图像拼接算法是高效的SIFT特征算法。首先，用两个通用的USB摄像头来实时地进行采集图像，并对这两幅图像提取SIFT特征点。然后，进行粗匹配。最后用RANSAC算法对所提取出来的SIFT特征点匹配对进行提纯以及估计模型参数。最后把两幅图像拼接成一幅完整的图像，并且用加权平均算法进行无缝拼接。再进行摄像头标定，求出两个通用摄像头的内外参数，最后进行测距以及跟踪。最终取得了令人满意的结果。 关键词：SIFT，匹配,拼接，配准，RANSAC