基于MATLAB的图像融合算法
摘要
图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。
图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。
本论文的主要的研究内容有：
首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。
关键词：图像配准；图像融合；空域融合法；小波变换；评价标准
MATLAB-based image fusion algorithm
Abstract
The same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new image data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the studied object or the environment, and make full use of the information provided by all kinds of resources.
Image fusion consists of such three levels as the Pixel level，the feature level and the decision level，among which the Pixel level image fusion can Provide more
abundant, accurate and reliable detailed information that doesn’t exist o n the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques.
The major research and findings are as follows:
First we introduce the concepts，advantages，developments and applications. Three levels of image fusion and image fusion techniques in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method based on wavelet transform Image Pre-processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set of indexes as the criteria to analyze the performances of this discussion.
Keywords: Image Registration；Image Fusion；Airspace integration method；Wavelet Transform；Evaluation criteria
目录
第一章绪论 (6)
1.1 图像融合的概念 (6)
1.2图像融合的主要研究内容 (7)
1.2.1 图像融合的层次 (7)
1.2.2 图像融合算法的发展 (9)
1.2.3图像融合的步骤 (9)
1.3 图像融合技术的发展现状 (10)
1.4 本文的研究工作 (10)
第二章图像预处理 (11)
2.1 图像的校正 (11)
2.2 图像滤波技术 (11)
2.2.1 邻域平均法 (12)
2.2.2 中值滤波 (12)
2.3 图像配准 (13)
2.3.1 图像配准概述 (13)
2.3.2 手动图像配准 (14)
2.3.3 基于图像特征的匹配算法 (15)
3.1 加权平均融合法 (16)
3.2 像素灰度值选大/小融合方法 (16)
3.3 主分量融合法 (17)
3.4 IHS变换法 (19)
3.5 小波变换融合法 (20)
3.5.1 小波的定义及特点 (20)
3.5.2 基于小波变换的图像融合方法原理 (25)
3.5.3 图像融合规则及融合因子 (26)
第四章图像融合效果评价 (27)
4.1 主观评价 (27)
4.2 客观评价 (27)
4.2.1 基于光谱特征的评价 (27)
4.2.2 基于信息量的评价 (28)
4.2.3 基于统计特性的评价 (29)
4.2.4 基于信噪比的评价 (30)
谢辞 (32)
参考文献 (33)
第一章绪论
图像融合技术(Image Fusion Technology)作为多传感器信息融合的一个非常重要的分支—可视信息的融合，近20年来，引起了世界范围内的广泛关注和研究热潮。图像融合就是通过多幅图像冗余数据互补得到一幅新的图像，在这幅图像中能反应多重原始图像中的信息。图像融合的目的是充分利用多个待融合源图像中包含的冗余信息和互补信息，融合后的图像应该更适合于人类视觉感知或计算机后续处理，减少不确定性。图像融合技术在遥感、医学、自然资源勘探、海洋资源管理、生物学等领域占有极其重要的地位，对于国防安全和经济建设具有十分重要的战略意义。
图像融合的方法与具体的处理对象类型、处理等级有关。这主要是各类图像的解析度不同、表现的内容不同，相应的处理方法也要根据具体情况而定。
本章首先介绍了多传感器图像融合的基础理论及发展现状，在此基础上介绍了像素级图像融合方法的原理及应用，最后，给出论文的内容安排。
1.1 图像融合的概念
图像融合是二十世纪70年代后期提出的新概念，是多传感器信息中可视信息部分的融合，是将多源信道所采集的关于同一目标图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特性以供观察或进一步处理。它是一门综合了传感器、图像处理、信号处理、显示、计算机和人工智能等技术的现代高新技术。由于图像融合系统具有突出的探测优越性(时空覆盖宽、目标分辨力与测量维数高、重构能力好、兀余性、互补性、时间优越性及相对低成本性等)，在技术先进国家受到高度重视并己取得相当的进展。
图像融合的形式大致可分为以下3种：
(l)多传感器不同时获取的图像的融合；
(2)多传感器同时获取的图像的融合；
(3)单一传感器不同时间，或者不同环境条件下获取的图像的融合。
图像融合能够充分利用这些时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、
识别或跟踪。以两个传感器A、B为例，其信息构成的示意图如图1-1所示。
图1-1 多源图像的信息构成
通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、改善分类性等。图像融合的层次可分为:像素级、特征级和决策级。
目前，将图像融合技术应用于数字图像处理的主要目的有以下几种:
(1)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的特性;
(2)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息;
(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况;
(4)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重构或立体投影，测量等;
(5)利用来自其它传感器的图像来代替/弥补某一传感器图像中的丢失/故障信息。
显然，图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。
1.2图像融合的主要研究内容
1.2.1 图像融合的层次
图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理，最终形成一幅新的图像。它可以强化图像中有用信息，增加图像理解的可靠性，获得更为准确的结果。在各种融合应用中，由于应用目的、所处理的输入数据及融合处理前对数据预处理程度不同，使得融合系统在不同层次上对多源数据进行处理，每个层次表示不同的数据抽象级别。根据抽象程度可将图像融合系统分为三级：像素级、特征级和决策级。融合的层次不同，所采用的算法、适用的范围也不相同。下图示意了在图像处理全过程中，图像融合所处的位置与层次。
图1-2 三个不同层次上的多源图像融合示意图
(1)像素级图像融
像素级图像融合是在严格配准的条件下，对各图像传感器输出的信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级的基础，但缺点是预处理的信息量最大，处理时间较长，对通信带宽的要求高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。
像素级图像融合通常用于:多源图像复合、图像分析和理解。
图1-3 像素级数据融合原理示意图
(2)特征级图像融合
特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合属于中间层次的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提取和目标识别等功能，以利于系统判决。一般从源图像中提取的典型特征信息有:线型、边缘、纹理、光谱、相似亮度区域、相思景深区域等。在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。尽管在模式识别、图像处理和计算机视觉等领域，已经对特征提取和基于特征的图像分类、分割等问题进行了深入的研究，但是这一问题至今仍是困扰计算机视觉研究领域的一个难题，有待于从融合角度进一步研究和提高。
图1-4 特征级数据融合原理示意图
(3)决策级图像融合
决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。这种方法是首先对各个源数据进行处理，分别得出判断和识别的结果，融合中心将这些结果按照一定的准则和每个数据源决策的可信度进行协调，以取得最优的决策结果。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。此种融合实时性好，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失最多。
图1-5 决策级融合原理示意图
图像融合的三个层次与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，应根据数据融合特点、原始数据特点、可用资源及目标要求，选择适当的数据融合层次及融合方法，才能构成高效的数据融合系统和获得最优的融合效果。图像融合的三个层次不仅能够独立进行，而且它们有着密切相关性，还可以作为一个整体同时进行分层次融合，前一级的融合结果可作为后一级的输入。
1.2.2 图像融合算法的发展
对图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测或观测大地环境的变化等等。其采取的融合方法主要有IHS(明度-色度-饱和度:Intensity-Hue-saturation)变换、平均、加权平均、差分及比率、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行的，因此均属于早期的图像融合方法。
到80年代中期，人们又提出了基于金字塔的图像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并开始将图像融合技术应用于一般图像(可见光图像、红外图像、多聚焦图像、遥感图像等)的处理。90年代，随着小波理论的发展与广泛应用，小波变换技术为图像融合提供了新的工具，使图像融合技术的研究呈不断上升趋势，应用的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、机器人导航、决策支持系统、大型经济信息、医学图像处理等。
1.2.3图像融合的步骤
对于某个具体的图像融合系统而言，它所接受的信息可以是单一层次上的信息，也可以是几种层次上的信息。融合的基本策略就是先对同一层次上的信息进行融合，从而获得更高层次的融合后的信息，然后再进行相应层次的融合。因此，图像融合本质上是一个由低(层)至高(层)对多源信息融合、逐层抽象的信息处理过程。
一般情况下，由于各个成像传感器所在的平台各异，且成像模式不同，同时还会受到各种环境因素的影响，对同一场景或目标所成的多源图像间会出现位移、畸变以及噪声污染等问题，因此，多传感器图像在融合之前必须进行一系列的预处理。源图像经预处理后，接下来就是根据具体的应用目的不同，采用不同的融合算法对多个源图像在不同的层次上进行融合处理，同时还要对融合结果进行质量评价，形成具有反馈的系统，从而有利于选择最为合适的融合方式以得到最优的融合结果。最后，将得到的融合结果应用于各种不同的场合。由于像素级图像融合在整个图像融合技术中是最为复杂、实施难度最大的融合，因而本论文重点对它进行探讨和研究。
融合后图像
图1-6 图像融合一般步骤
1.3 图像融合技术的发展现状
1979年，Daily等人[9]首先把对雷达图像和Landsat-Mss图像的复合图像应用于地质解释，其对图像的处理过程可以看作是最简单的图像融合。1981年，Laner和Todd对Landsat-RBV和Mss图像数据进行了融合试验。到80年代中后期，图像融合技术逐渐开始引起人们的关注，陆续有人将图像融合技术应用于遥感多光谱图像的分析和处理。90年代开始，图像融合技术开始成为遥感图像处理和分析中的研究热点之一。对遥感图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测/观测大地环境的变化等等。这个时期人们采用的融合方法主要有IHS 变换、平均、加权平均、差分及比率、主分量分析(PCA)、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行。
到80年代末，人们才开始将图像融合技术应用于一般图像处理(可见光图像、红外图像等)。90年代后，图像融合技术的研究呈不断上升趋势，应用的领域也遍及遥感图像处理、可见光图像处理、红外图像处理、医学图像处理等。尤其是近几年，多传感器(多源)图像融合技术己成为计算机视觉、自动目标识别、机器人、军事应用等领域的热点研究问题。
1.4 本文的研究工作
本文的研究基于MATLAB的图像融合算法。涉及图像融合前的预处理，滤波去噪和图像配准，采取手动配准获取精准的配准图像，在空域内的像素级图像融合采用简单直接的加权平均法，在频域内的小波变换融合，最后对融合结果进行评价。
第二章图像预处理
图像传感器在获得原始数据的过程中存在不同的干扰，使得获在取的图像中往往存在或多或少的噪声。为了避免噪声的传播扩散，使后面图像融合的质量和性能下降，必须在融合前对源图像进行几何校正、去噪和增强处理。此外，在进行像素级融合前，还必须对源图像进行有效而精确的配准处理，以去除不同传感器的系统误差和偶然误差，这些为图像融合所做的准备统称为图像预处理。
2.1 图像的校正
图像校正主要分为两类：几何校正和灰度校正。
（1）几何校正
图象几何校正的思路是通过一些已知的参考点，即无失真图象的某些象素点和畸变图象相应象素的坐标间对应关系，拟合出上述多项式中的系数，并作为恢复其它象素的基础。
几何校正的基本方法是：首先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。具体操作通常分两步：
①对图像进行空间坐标变换；首先建立图像像点坐标（行、列号）和物方（或参考图）对应点坐标间的映射关系，解求映射关系中的未知参数，然后根据映射关系对图像各个像素坐标进行校正；
②确定各像素的灰度值（灰度内插）。
图2-1 几何校正处理过程
（2）灰度校正
根据图像不同失真情况以及所需的不同图像特征可以采用不同的修正方法。通常使用的主要有三种：
(1)灰度级校正。针对图像成像不均匀如曝光不均匀，使图像半边暗半边亮，对图像逐点进行不同程度的灰度级校正,目的是使整幅图像灰度均匀。
(2)灰度变换。针对图像某一部分或整幅图像曝光不足使用灰度变换，其目的是增强图像灰度对比度。
(3)直方图修正。能够使图像具有所需要的灰度分布，从而有选择地突出所需要的图像特征，来满足人们的需要。
2.2 图像滤波技术
在图像采集、传输过程中，由于输入转换器、周围环境、电压波动等多种因素的影响，图像不可避免地含有各种各样的随机干扰信号，这些信号就是我们所讲的噪声，它们或与图像内容有关，或无关。但相同的是都会导致图像失真，使图像模糊，甚至掩盖图像的重要特征，给后续的图像分析和处理带来不利影响。
图像噪声的种类很多，分类的标准也不少。例如，按其产生的原因可分为外部噪声和
内部噪声；按噪声服从的分布将其分为随机噪声（高斯噪声）和椒盐噪声；根据噪声与信号之间的关系分为加性噪声和乘性噪声等。针对不同的噪声，其去噪方法大致可分为以下两大类：
(1)空域滤波去噪是指在空间域内对图像像素的灰度值直接运算处理的方法。常用的空间滤波去噪方法主要有均值滤波、中值滤波、维纳滤波以及空间域低通滤波法，其中，维纳滤波是一种自适应的滤波方法，比一般的滤波器具有更好的选择性，可以更好地保护图像边缘，尤其对加性高斯白噪声的抑制效果很好。在此简单介绍两种空域滤波法：
(2)变换域去噪是指在图像的某种变化域内，对源图像经过变换后的系数进行相应处理，然后再进行反变换达到图像去噪目的的一种方法。常用的去噪方法主要有频率域低通滤波法和基于小波变换法，其中小波去噪的方法大致可分为基于小波变换模极大值原理、相邻尺度间小波系数相关性以及阈值法三大类。目前，基于小波变换的去噪方法尚处于不断发展的阶段，总体来说，去噪效果较好但计算非常复杂，不同的重构方法对信号重构的误差影响很大，也会影响到去噪的效果。
2.2.1 邻域平均法
邻域平均法按),(),(),(y x h y x f y x g *=直接对图像作低通滤波处理。可用于消除随机相加噪声。
常用的),(y x h （低通滤波器的脉冲响应函数）有
????
??????????????????????????121242121161,111121111101,11111111191 这里的作用域为3×3，共有9个像素灰度参加运算，用运算结果代替中心像素),(y x 的像素灰度。
根据需要，可选用5×5，7×7等不同作用域的。矩阵中心的元素值占的比例越小，平滑作用越强，会使图像越模糊；),(y x h 的作用域越大，平滑作用越强，亦导致图像越模糊。
原则：使矩阵的元素之和与其前面的系数相乘的结果为1，以在平滑过程中处理结果的像素灰度不超过允许的像素最大灰度值。用这种方法作平滑处理，图像四周围边缘的像素需特殊处理。
两种特殊处理办法（对3×3的情形）：
① 把原图像从M×N 转化为（M+2）×（N+2），所加大的两行和两列的像素灰度均取0，
然后对加大后的像素平滑处理，结果又舍去所加的两行的零灰度信息，仅取M ×N 。 ② 不处理原始图像4个边缘的像素，使处理后4个边缘的像素灰度保持原始灰度，或人为
地赋予特殊灰度。
2.2.2 中值滤波
作为抑制噪声的非线性处理方法，中值滤波是从一维信号处理的中值滤波技术发展而来的。
其原理是在图像画面中开一个一维的小窗口，它应该包含奇数个像素，按像素的灰度值从小到大排列起来，然后用中间灰度值来代替原排列的中间像素的灰度值。窗口然后从左到右移动，直到边界。窗口下移一行，再从左到右进行。经过中值滤波变换后，某象素的输出等于该象素邻域中各象素灰度的中间灰度值。其操作流程如下所示：
50，60，300，100，120，80，190，、、、
↓→→顺序排列象素灰度值50,60,100,120,300,
↓用中间灰度值100代替原中间灰度值300, 50,60,100,100,120,80,190，、、、
↓右移窗口得
50，60，100，100，120，80，190，、、、
↓→→顺序排列象素灰度值60，80，100，100，120
↓中间灰度值100与原中间灰度值100相同，不用换
50，60，100，100，120，80，190，、、、
↓右移窗口得
50，60，100，100，120，80，190，、、、
这样对图像灰度的跳跃有平滑效果。
考虑到一般图像在两维方向上均具有相关性，因此，活动窗口一般选为两维窗口（如3×3，5×5或7×7等），窗口形状常用：
圆形方形十字形方形55335555????
2.3 图像配准
2.3.1 图像配准概述
图像配准（或图像匹配）是评价两幅或多幅图像的相似性以确定同名点的过程。图像配准算法就是设法建立两幅图像之间的对应关系,确定相应几何变换参数,对两幅图像中的一幅进行几何变换的方法。
像配准的一般过程是在多源图像数据经过严密的几何纠正处理、改正了系统误差之后，将影像投影到同一地面坐标系统上，然后在各影像上选取少量的控制点，通过特征点的自动选取或是计算其间的相似性、粗略配准点的估计位置、精确确定配准点以及估计配准变换参数等处理，从而实现影像的精确配准。
按照配准算法所利用的图像信息，可以分为以下两类
（1）基于灰度的图像配准方法。该类方法直接利用整幅图像的灰度度量两幅图像之间的相似性，然后采用搜索方法寻找使相似性度量最大或最小值点，从而确定两幅图像之间的变换模型参数。该方法不需要对图像作特征提取，直接利用全部可用的图像灰度，提高了配准算法的估计精度和鲁棒性，但是由于匹配点周围区域的点的灰度都参与计算，因此，其计算量大，速度慢。
(2)基于图像特征的图像配准方法。将从图像灰度中提取出来的某些显著特征作为匹配基元，用于匹配的特征通常为点、线、区域等。算法过程主要分为特征提取和特征匹配。在特征匹配前，首先要从待匹配的多幅图像中提取出灰度变化明显的点、线、区域等特征，组成特征集。然后，在各幅图像所对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来。对于非特征像素点利用插值等方法处理，推算出对应的匹配关系，从而实现多幅图像之间逐像素的配准。由于提取了图像的显著特征，大大压缩了信息的数据量，同时较好的保持了图像的位移、旋转、比例等方面的特征，因此，该方法在匹配时计算量小、速度快，是较为实用的方法。
按自动化程度可以分为人工、半自动和全自动三种类型。
2.3.2 手动图像配准
我们可以利用Matlab自带的图像处理工具箱来完成配准需要。图像处理工具箱（Matlab Image Processing Toolbox）提供了一套全方位的参照标准算法和图形工具，用于进行图像处理、分析、可视化和算法开发。可用其对有噪图像或退化图像进行去噪或还原、增强图像以获得更高清晰度、提取特征、分析形状和纹理以及对两个图像进行匹配。
利用Matlab Image Processing Toolbox中的图像配准工具实现线性正投影、仿射、投影、多项式、分段线性、局部加权平均配准的过程。
（1）手动选择匹配点对
该工具箱提供的配准方法均需手工选择图像间的匹配点对（control points pair），均属于交互配准方法。
假设input image（输入图像）为欲进行配准的图像，base image为配准是的参考图像。以下是我参考matlab帮助给出了简介。
1．线性正投影（linear conformal）：最简单。平面映射成平面。
当输入输入图像与参考图像对比，只是存在全局的平移、旋转、缩放或其三者组合的差别时（正方形仍对应正方形），选择此配准方法。此方法至少需要2对匹配点。
2．仿射（affine）：将平行线转换成平行线。
当输入图像形状存在切变现象（正方形对应平行四边形），选此法。至少需3对匹配点。
3．投影（projective）：将直线映射成直线。
如果输入图像呈现倾斜，翘起现象，选此法。至少需4对匹配点。
4．多项式（polynomial）：将直线映射成曲线。
如果输入图像出现不规则曲变，采用此法。Matlab中提供有2、3、4次幂的实现，分别至少需要6，10，10对匹配点。
5．分段线性（piecewise linear）
如果输入图像的各个局部之间的退化模式明显不一样，选此法。至少需要4对匹配点。
6．局部加权平均（local weighted mean）
与分段线性一致，但效果较之好。至少需要6对（推荐12对）匹配点。
（2）手动配准的基本过程如下图所示：
图2-1 手动图像配准一般流程 2.3.3 基于图像特征的匹配算法 Harris 角点检测算法
角点是二维图像亮度变化剧烈或图像边缘曲线上曲率极大值的点，它决定了目标的轮廓特征，被广泛应用于摄像机标定、虚拟场景重建、运动估计、图像配准等计算机视觉处理任务中，这些点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使得实时处理成为可能。
Harris 角点检测算法基本原理描述如下：建立下面矩阵M ：
22()()()()()()I I I x x y M I I I x y y ????????????=????????????
其中I （x ，y ）是亮度值，这里用灰度表示。通过分析上面矩阵可以看出如果在一点上矩阵M 的两个特征值很大，则在该点向任意方向上的一个很小的移动都会引起灰度值的较大变化。这也就说明该点是一个角点。计算角点的函数如下：
2det ()R M k traceM =- （2.2）
其中k 参数设为0.04（Harris 设定的最优参数）。
令A=2()I x ??，B=2()I y ??，C=()I x ??，D=()I y ?? 则矩阵AB M CB ??=????
I x ??表示图像I 在x 方向的导数，I y
??表示图像在y 方向的导数。求出R 的值，若为正则对应点为角点，若为负则是一般边界点。
该算法易受噪声的影响。为了减小噪声的干扰，在对图像进行偏导计算以后用高斯滤波器对数据进行平滑。按此方法求出的角点数量很多。为了减少匹配计算量，可以对想要获得的角点数量进行限制。限制方法是确定一个阈值，仅仅选取R 值大于这个阈值的点作为角点。这个阈值根据需要的检点数量来确定。
第三章图像融合
常用的像素级图像融合方法有：
(l)空域融合方法:①加权平均法；②像素灰度值取大/小法；③主分量法(PCA)。
(2)变换域融合方法:①IHS变换法；②小波变换法
3.1 加权平均融合法
空域法是把图像看作是平面中各个像素组成的集合，然后直接对这一二维函数进行相应的处理。
加权平均方法将源图像对应像素的灰度值进行加权平均，生成新的图像，它是最直接的融合方法。其中平均方法是加权平均的特例，使用平均方法进行图像融合，提高了融合图像的信噪比，但削弱了图像的对比度，尤其对于只出现在其中一幅图像上的有用信号。
假设参加融合的两个图像分别为A、B，图像大小为M×N，经融合后得到融合图像C，那么，对A、B两个源图像的像素灰度值加权平均融合过程可以表示为:
C(n1,n2)=ω1A(n l,n2)+ω2B(n l,n2) (2-1)
式中:
n1表示图像中像素的行号，nl=l，2，3，...……M;
n2表示图像中像素的列号，n2=1，2，3，...……N;
ω1表示加权系数1；
ω2表示加权系数2；通常ω1+ω2=1。
图像灰度值的平均可看作是灰度值加权平均的特例，即ω1=ω2=0.5。
加权平均法的优点是简单直观，适合实时处理。但简单的叠加会使融合图像的信噪比降低;当融合图像的灰度值差异很大时，就会出现明显的拼接痕迹，不利于人眼识别和后续的目标识别过程。
3.2 像素灰度值选大/小融合方法
假设参加融合的两个原图像分别为A、B,图像大小为M×N,经融合后得到的融合图像为F，那么：
基于像素的灰度值取大图像融合方法可表示为
{}),(
m
n
A
n
F=
m
Max
m
,
),
(
)
(n
,
B
基于像素的灰度值取小图像融合方法可表示为
{}),
m
B
n
A
Min
m
n
F=
(n
),
m
,
(
,
)
(
式中：m为图像中像素的行号，n＝1,2,…,M；
n为图像中像素的列号，n＝1,2,…,N；
即在融合处理时，比较源图像A、B中对应位置(m,n)处像素的灰度值的大小，以其中灰度值大/小的像素(可能来自图像A或B)作为融合后图像F在位置(m,n)处的像素。这种融合方法只是简单地选择参加融合的源图像中灰度值大/小的像素作为融合后的像素，该融合方法的适用场合非常有限。简单的图像融合方法具有实现简单，融合速度快的优点。但在多数应用场合，这些简单的图像融合方法的局限性是显而易见的，无法获得满意的融合效
果。
3.3 主分量融合法
主分量（PCA ）变换，又称K-L 变换，它是一种基于目标特性的最佳正交变换。在进行许多问题的分析时，多个变量的情况是经常遇到的。变量太多，无疑会增加分析问题的难度和复杂性，而且在许多实际问题中，多个变量之间具有一定的相关性。能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来的变量所反应的信息，主分量分析就是实现这个目标的一种强有力的方法，它是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术，用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量地反映原来较多指标所反映的信息，同时它们之间又彼此独立。针对主成分分析的特性，将其应用于图像融合，可以把多波段的图像信息最大限度的表现在融合后的新图像中。图像PCA 变换的结果在舍弃相关性较差的次要成分后进行反变换所恢复出的图像是原图像在统计意义上的最佳逼近。
（1）主分量分析原理
各源图像的原始数据可表示为：
[]n m ik mm m m n n x x x x x x x x x x X ?=?????
???????= (2122221)
1...1211 其中，m 和n 分别为源图像个数(或称变量数)和每幅图像中像素数；矩阵中的每一行向量表示一幅源图像。
一般图像的线性变换可以用下面的式子表示：
TX Y =
式中X 为待变换图像数据矩阵，Y 为变换后的数据矩阵，T 为实现这一线性变换的变换矩阵。如果变换矩阵T 是正交矩阵，并且它是由源图像数据矩阵X 的协方差矩阵C 的特征向量所组成，则上式的线性变换称为K-L 变换，并且K-L 变换后的数据矩阵的每一行向量为K-L 变换的一个主分量。
(2)主分量变换的过程
用于图像的K-L 变换的过程如下：
①根据原始图像数据矩阵X ，求出它的协方差矩阵C ：
X 的协方差矩阵为:
[][][]n m j i c l X X X X n C ?=--=,1
②求出协方差矩阵的特征值和特征向量，并组成变换矩阵，具体如下：
写出特征方程：
0)(=-U C I λ
式中：I 为单位矩阵，U 为特征向量。
解上述的特征方程即可求出协方差矩阵C 的各个特征值),......,2,1(m f λ，并将其按m λλλ≥≥≥......21的顺序排列，求得各特征值相对应的单位特征向量(经归一化) f U ：
[]T mj
j j j u u u U ,......,21= ③得到变换矩阵T U T T =:，其中[][]n m U *==，是以各个特征向量为列构成的矩阵，
且U 矩阵是正交矩阵，即U 矩阵满足：I UU U U T T == (单位矩阵)。
④将变换矩阵T 代入Y=TX ，将得到K-L 变换的具体表达式：
X U X u u u u u u u u u Y T mm m m m m =?????
???????= (2122212)
12111 式中Y 矩阵的行向量[]=J Y 为第j 个主分量。
经过K-L 变换后，得到一组m 个新的变量，它们依次被称为第一主分量，第二主分量，…第m 主分量。在PCA 反变换时，只需运用到前m 个主分量，这也正是主分量名称的由来。
PCA 变换用于图像融合的基本原理是:首先计算参加融合的两幅源图像的协方差矩阵，然后求其特征值对应的特征向量，最后利用与最大特征值相对应的特征向量来确定两幅图像的加权系数。
图3-1 基于PCA 变换的图像融合方法
PCA 融合算法的优点在于，它适用于多光谱图像的所有波段(IHS 变换只能用3个波段)，但其不足之处在于，由于PCA 融合算法中只是用高分辨率图像简单替换低分辨率图像的第一主成分，故低分辨率图像第一主成分分量会损失一部分反映光谱特性的信息，使
得融合后图像的光谱畸变严重。用PCA 方法确定加权系数优于加权平均融合方法中提到的根据像素灰度值自适应确定加权系数的方法，得到的融合图像效果相对较好，但是对比度的提高没有显著的效果。
3.4 IHS 变换法
IHS 分别表示强度I(Intensity)、色调H(Hue)和饱和度S(Saturation)，它们是从人眼中认识颜色的三个特征。强度是光作用在人眼所引起明亮程度的感觉，确定像素的整体亮度，与物体的反射率成正比。而色调和饱和度又统称为色度，反映颜色信息。色调反映了颜色的类别，饱和度则是彩色光所呈现彩色的深浅程度，这两个分量与人感受彩色的方式是紧密相连的。IHS 变换有效地将RGB 颜色信息表示成强度和色度信息，因此可以分离出大部分光谱信息，有利于图像光谱信息的保持。
IHS 变换是指将RGB(Red-Green-Blue,红-绿-蓝) 三原色信号表示的彩色图像转换为I(亮度)，H(色调)和S(饱和度)三个分量来表示图像信息。通常的色彩显示是通过RGB( 红绿蓝)信号的亮度值所确定的, RGB 彩色坐标系统中R 、G 、B 呈非线性关系,使调整色调的定量操作较为困难。而IHS 彩色坐标系统中, 三个分量具有相对的独立性,可以分别对他们进行控制,并且能够准确定量地描述颜色特征。同时, 图像从RGB 转换到IHS 这一彩色空间变换有效地分离了代表空间亮度信息的I 分量和代表光谱彩色信息的H 和S 分量。
IHS 变换的形式有多种，都是基于不同的彩色空间模型建立的，它们之间主要的不同在于亮度分量上。在此介绍Harrison 和Jupp 于1990年提出的变换模型，它是目前在多光谱图像融合领域中最常见的变换模型。
正变换公式如下所示：
????? ???????????? ??--=????? ??B G R v v I 0212
162616131313121 ???
? ??=-121tan v v H 2221v v S += 将多光谱图像RGB 三通道进行IHS 变换，变换后的I 分量与PAN 全色图像进行直方图匹配，用匹配后的图像替换原图像的I 分量再反变换，反变换如下式：
????? ???????????
? ??--=????? ??2106231216131216131v v I B G R )cos(1H S V = )sin(2H S V =
传统的基于IHS 变换法的图像融合步骤: 将多光谱的彩色图像由RGB 转换为IHS 格
式, 而后将全色图像与多光谱的I 分量进行直方图匹配, 再将匹配后的全色图像替换掉多光谱图像的I 分量, 最后将替换后的多光谱图像进行HIS —>RGB 转换生成融合图像。算法融合流程如下图：
图3-2 基于HIS 变换融合流程图
基于IHS 变换的融合方法特点是: 算法简单易于实现, 图像的高频细节信息保留较好但光谱信息损失较大。因为IHS 变换法很好的保留了全色图像的高空间分辨率的细节信息, 所以在一般的地质遥感工作领域中普通的IHS 变换法可以满足基本要求, 但是对于一些大面积、低分辨率卫星图像, 多光谱图像所提供的彩色信息在解译工作中则变得更为重要。比如土地利用、植被监测等项目更注重遥感图像的色彩信息, 所以普通的IHS 方法并不能很好的满足要求。基于此我们针对传统IHS 变换法中多光谱信息损失严重的缺点提出了改进方案。
3.5 小波变换融合法
“小波”就是小区域、长度有限、均值为0的波形。所谓“小”是指它具有衰减性；而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。与Fourier 变换相比，小波变换是时间(空间)频率的局部化分析，它通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了Fourier 变换的困难问题，成为继Fourier 变换以来在科学方法上的重大突破。有人把小波变换称为“数学显微镜”。
3.5.1 小波的定义及特点
（1）连续小波
设为)(t ?一平方可积函数，即)()(2R L t ∈?，若其傅里叶变换)(ωΦ满足条件
∞
则称)(t ?为一个基本小波或小波母函数。并称式(2-l)为小波函数的可容许性条件。
mat lab的图像拼接程 序 -CAL-FENGHAI-(2020YEAR-YICAI) JINGBIAN ll=imread{,,)；%6dTAEuODpAp￥dy2All%6D j u j A ll=double(ll); [hl wl dl]=size(ll);%TEOEdl±al2lldU±a>>0dl I2= imread(n)；
I2=double(l2); [h2 w2 d2]=size(l2); %show input images and prompt for correspondences figure;subplot( 1,2,1)； image(ll/255); axis image; hold on; title(*first input image')； [XI Yl]=ginput(2); %get two points from the usersubplot(l z2,2); image(l2/255); axis image; hold on; title('sec ond input image*)； [X2 Y2]=ginput(2); %get two points from the user %estimate parameter vector(t); Z=[X2' Y2'； Y2'?X2'； HOOjOOll]1； xp=[Xl; Yl]; t=Z\xp; %solve the I in ear system a=t(l); %=s cos(alpha) b=t(2);%=s sin(alpha) tx=t(3); ty=t(4); % con struct transformation matrix(T) T=[a b tx;?b a ty; 0 0 1]; % warp incoming corners to determine the size of the output image(in to out) cp二T*[l 1 w2 w2; 1 h2 1 h2; 1 111]; Xpr=min([cp(l/:)/O]): max([cp(l/:)/wl]);%min x:maxx Ypr=min([cp(2/:)/0]): max([cp(2/:)/hl]); %min y: max y [Xp/Yp]=ndgrid(Xpr/ Ypr); [wp hp]=size(Xp); %=size(Yp) % do backwards transform (from out to in) X=T\[Xp(:) Yp(:) ones(wp*hp/l)]'；%warp %re-sample pixel values with bilinear interpolation clear Ip; xl二reshape(X(b：)Mp,hp)‘; yl=reshape(X(2/:)/wp/hp)1; lp(:/:/l)=interp2(l2(:/:/l)/xl/ yl, '?bilinear*); %red Ip(:/:/2)=interp2(l2(:/:/2)/xl/ yl, '?bilinear1)；%green lp(:z:/3)=interp2(l2(:/:/3)/xl/ yl, ^bilinear1)；%blue % offset and copy original image into the warped image offset= -rounddmindcpfl/)^]) min([cp(2,:),0])]); lp(l+offset ⑵:hl+offset(2), 1+off set {1): wl+offset (1 )z:); doublefllflihl.liwl,:)); %show the result figure; image(lp/255); axis image; title('mosaic image')； ll=double(imread(n)); [hl wl dl]=size(ll);%TEOEdl±aPll6lJ±agl I2=double(imread(n)); [h2 w2 d2]=size(l2); %show input images and prompt for correspondences figure; subplot(l,2z l); image(ll/255); axis image; hold on; title('first input image'); [XI Yl]=ginput(2); %get two points from the user subplot(122); image(l2/255); axis image; hold on; title('sec ond input image1)； [X2 Y2]=ginput(2); %get two points from the user %estimate parameter vector(t); Z=[X2' Y2'； Y2'-X2' ；1100;0011]'； xp=[Xl; Yl]; t=Z\xp; %solve the linear system %% a=t(l); %=s cos(alpha) b=t(2); %=s sin(alpha)
根据数据点绘制饼图和针状图： x=[1 2 3 4 5 6]; >> subplot(2,2,1);pie(x); >> subplot(2,2,2);pie3(x); >> subplot(2,2,3);stem(x); >>subplot(2,2,4);stem3(x); 5% 10% 14% 19% 24% 29% 24% 29% 19% 5%14% 10%0 2 4 6 2 4 6 5 10 01 2 05 10
根据数据点绘制向量场图、羽状图和罗盘图： x=[1 2 3 4 5 6];y=[1 2 3 4 5 6]; u=[1 2 3 4 5 6];v=[1 2 3 4 5 6]; subplot(2,2,1);quiver(x,y,u,v); subplot(2,2,2);quiver(x,y,u,v,'r'); subplot(2,2,3);feather(u,v); subplot(2,2,4);compass(u,v); 024680 246 802468 246 80 5 10 15 2 4 6 5 10 30 210 60240 90270 120 300 150330 180
rand(m,n)产生m ×n 均匀分布的随机矩阵，元素取值在0.0~1.0。 randn 函数：产生标准正态分布的随机数或矩阵的函数。 Y = randn(m,n) 或 Y = randn([m n])返回一个m*n 的随机项矩阵。 > theta=10*rand(1,50); %确定50个随机数theta >> Z=peaks; %确定Z 为峰值函数peaks >> x=0:0.01:2*pi;y=sin(x); %确定正弦函数数据点x.y >> t=randn(1000,1); %确定1000个随机数t >> subplot(2,2,1);rose(theta); %关于（theta ）的玫瑰花图 >> subplot(2,2,2);area(x,y); %关于(x,y)的面积图 >> subplot(2,2,3);contour(Z); %关于Z 的等值线图（未填充） >> subplot(2,2,4);hist(t); %关于t 的柱状图 5 10 30 210 60 240 90270 120300150330 18000246 -1 -0.500.5 110 20 30 40 10 2030 40-4 -2 2 4 100 200 300
基于matlab的图像识别与匹配 摘要 图像的识别与匹配是立体视觉的一个重要分支，该项技术被广泛应用在航空测绘，星球探测机器人导航以及三维重建等领域。 本文意在熟练运用图像的识别与匹配的方法，为此本文使用一个包装袋并对上面的数字进行识别与匹配。首先在包装袋上提取出来要用的数字，然后提取出该数字与包装袋上的特征点，用SIFT方法对两幅图进行识别与匹配，最终得到对应匹配数字的匹配点。仿真结果表明，该方法能够把给定数字与包装袋上的相同数字进行识别与匹配，得到了良好的实验结果，基本完成了识别与匹配的任务。
1 研究内容 图像识别中的模式识别是一种从大量信息和数据出发，利用计算机和数学推理的方法对形状、模式、曲线、数字、字符格式和图形自动完成识别、评价的过程。 图形辨别是图像识别技术的一个重要分支，图形辨别指通过对图形的图像采用特定算法，从而辨别图形或者数字，通过特征点检测，精确定位特征点，通过将模板与图形或数字匹配，根据匹配结果进行辨别。 2 研究意义 数字图像处理在各个领域都有着非常重要的应用，随着数字时代的到来，视频领域的数字化也必将到来，视频图像处理技术也将会发生日新月异的变化。在多媒体技术的各个领域中，视频处理技术占有非常重要的地位，被广泛的使用于农业，智能交通，汽车电子，网络多媒体通信，实时监控系统等诸多方面。因此，现今对技术领域的研究已日趋活跃和繁荣。而图像识别也同样有着更重要的作用。 3 设计原理 3.1 算法选择 Harris 角点检测器对于图像尺度变化非常敏感，这在很大程度上限制了它的应用范围。对于仅存在平移、旋转以及很小尺度变换的图像，基于Harris 特征点的方法都可以得到准确的配准结果，但是对于存在大尺度变换的图像，这一类方法将无法保证正确的配准和拼接。后来，研究人员相继提出了具有尺度不变性的特征点检测方法，具有仿射不变性的特征点检测方法，局部不变性的特征检测方法等大量的基于不变量技术的特征检测方法。 David.Lowe 于2004年在上述算法的基础上，总结了现有的基于不变量技术的特征检测方法，正式提出了一种基于尺度空间的，对图像平移、旋转、缩放、甚至仿射变换保持不变性的图像局部特征，以及基于该特征的描述符。并将这种方法命名为尺度不变特征变换（Scale Invariant Feature Transform），以下简称SIFT 算法。SIFT 算法首先在尺度空间进行特征检测，并确定特征点的位置和特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该特征点的方向特征，以实现算子对尺度和方向的无关性。利用SIFT 算法从图像中提取出的特征可用于同一个物体或场景的可靠匹配，对图像尺度和旋转具有不变性，对光照变化、
%灰色图像拼接 clc; clear; A=imread('C:\Documents and Settings\s35\桌面\新建文件夹\v1.jpg'); figure,imshow(A) A1=im2bw(A); A2=double(A1); se=strel('disk',20); A4=imdilate(A2,se); figure,imshow(A4) A5=double(A4); A6=not(A5); A7=double(A6); B=imread('C:\Documents and Settings\All Users\Documents\My Pictures\示例图片\Water lilies.jpg'); C=imread('C:\Documents and Settings\All Users\Documents\My Pictures\示例图片\Winter.jpg'); [m,n]=size(A4); B2=rgb2gray(B); B3=imresize(B2,[m,n]); B4=double(B3); C2=rgb2gray(C); C3=imresize(C2,[m,n]); C4=double(C3); D=A5.*B4; E=A7.*C4; F=uint8(D+E); figure,imshow(F) %彩色图像拼接 clc; clear; A=imread('C:\Documents and Settings\s35\桌面\新建文件夹\v1.jpg'); figure,imshow(A) A1=im2bw(A); A2=double(A1); se=strel('disk',20); A4=imdilate(A2,se); figure,imshow(A4)
附录 ＭＡＴＬＡＢ图像处理命令 １．ａｐｐｌｙｌｕｔ 功能： 在二进制图像中利用lookup表进行边沿操作。 语法： A = applylut(BW,lut) 举例 lut = makelut('sum(x(:)) == 4',2); BW1 = imread('text.tif'); BW2 = applylut(BW1,lut); imshow(BW1) figure, imshow(BW2) 相关命令： makelut ２．ｂｅｓｔｂｌｋ 功能： 确定进行块操作的块大小。 语法： siz = bestblk([m n],k) [mb,nb] = bestblk([m n],k) 举例 siz = bestblk([640 800],72) siz = 64 50 相关命令： blkproc ３．ｂｌｋｐｒｏｃ 功能：
MATLAB 高级应用——图形及影像处理 320 实现图像的显式块操作。 语法： B = blkproc(A,[m n],fun) B = blkproc(A,[m n],fun,P1,P2,...) B = blkproc(A,[m n],[mborder nborder],fun,...) B = blkproc(A,'indexed',...) 举例 I = imread('alumgrns.tif'); I2 = blkproc(I,[8 8],'std2(x)*ones(size(x))'); imshow(I) figure, imshow(I2,[]); 相关命令： colfilt, nlfilter,inline ４．ｂｒｉｇｈｔｅｎ 功能： 增加或降低颜色映像表的亮度。 语法： brighten(beta) newmap = brighten(beta) newmap = brighten(map,beta) brighten(fig,beta) 相关命令： imadjust, rgbplot ５．ｂｗａｒｅａ 功能： 计算二进制图像对象的面积。 语法： total = bwarea(BW) 举例 BW = imread('circles.tif'); imshow(BW);
一、编写程序完成不同滤波器的图像频域降噪和边缘增强的算法并进行比较，得出结论。 1、不同滤波器的频域降噪 1.1 理想低通滤波器(ILPF) I1=imread('eight.tif'); %读取图像 I2=im2double(I1); I3=imnoise(I2,'gaussian',0.01); I4=imnoise(I3,'salt & pepper',0.01); figure,subplot(1,3,1); imshow(I2) %显示灰度图像 title('原始图像'); %为图像添加标题 subplot(1,3,2); imshow(I4) %加入混合躁声后显示图像 title('加噪后的图像'); s=fftshift(fft2(I4)); %将灰度图像的二维不连续Fourier 变换的零频率成分 移到频谱的中心 [M,N]=size(s); %分别返回s的行数到M中，列数到N中n1=floor(M/2); %对M/2进行取整 n2=floor(N/2); %对N/2进行取整 d0=40; %初始化d0 for i=1:M for j=1:N d=sqrt((i-n1)^2+(j-n2)^2); %点（i,j）到傅立叶变换中心的距离 if d<=d0 %点（i,j）在通带内的情况 h=1; %通带变换函数 else %点（i,j）在阻带内的情况 h=0; %阻带变换函数 end s(i,j)=h*s(i,j); %ILPF滤波后的频域表示
end end s=ifftshift(s); %对s进行反FFT移动 s=im2uint8(real(ifft2(s))); %对s进行二维反离散的Fourier变换后，取复 数的实部转化为无符号8位整数 subplot(1,3,3); %创建图形图像对象 imshow(s); %显示ILPF滤波后的图像 title('ILPF滤波后的图像（d=40）'); 运行结果： 1.2 二阶巴特沃斯低通滤波器(BLPF) I1=imread('eight.tif'); %读取图像 I2=im2double(I1); I3=imnoise(I2,'gaussian',0.01); I4=imnoise(I3,'salt & pepper',0.01); figure,subplot(1,3,1); imshow(I2) %显示灰度图像 title('原始图像'); %为图像添加标题 subplot(1,3,2); imshow(I4) %加入混合躁声后显示图像 title('加噪后的图像'); s=fftshift(fft2(I4));%将灰度图像的二维不连续Fourier 变换的零频率成分 移到频谱的中心 [M,N]=size(s); %分别返回s的行数到M中，列数到N中n=2; %对n赋初值
第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
1.图像反转 MATLAB程序实现如下： I=imread('xian.bmp'); J=double(I); J=-J+(256-1); %图像反转线性变换 H=uint8(J); subplot(1,2,1),imshow(I); subplot(1,2,2),imshow(H); 2.灰度线性变换 MATLAB程序实现如下： I=imread('xian.bmp'); subplot(2,2,1),imshow(I); title('原始图像'); axis([50,250,50,200]); axis on; %显示坐标系 I1=rgb2gray(I); subplot(2,2,2),imshow(I1); title('灰度图像'); axis([50,250,50,200]); axis on; %显示坐标系 J=imadjust(I1,[0.1 0.5],[]); %局部拉伸，把[0.1 0.5]内的灰度拉伸为[0 1] subplot(2,2,3),imshow(J); title('线性变换图像[0.1 0.5]'); axis([50,250,50,200]); grid on; %显示网格线 axis on; %显示坐标系 K=imadjust(I1,[0.3 0.7],[]); %局部拉伸，把[0.3 0.7]内的灰度拉伸为[0 1] subplot(2,2,4),imshow(K); title('线性变换图像[0.3 0.7]'); axis([50,250,50,200]); grid on; %显示网格线 axis on; %显示坐标系 3.非线性变换 MATLAB程序实现如下： I=imread('xian.bmp'); I1=rgb2gray(I); subplot(1,2,1),imshow(I1); title('灰度图像'); axis([50,250,50,200]); grid on; %显示网格线 axis on; %显示坐标系 J=double(I1); J=40*(log(J+1)); H=uint8(J);
信号与系统实验报告——图像处理 学院：信息科学与工程学院 专业：2014级通信工程 组长：** 组员：** 2017.01.02
目录 目录 (2) 实验一图像一的细胞计数 (3) 一、实验内容及步骤 (3) 二、Matlab程序代码 (3) 三、数据及结果 (4) 实验二图像二的图形结构提取 (5) 一、实验内容及步骤 (5) 二、Matlab程序代码 (5) 三、数据及结果 (6) 实验三图像三的图形结构提取 (7) 一、实验内容及步骤 (7) 二、Matlab程序代码 (7) 三、数据及结果 (8) 实验四图像四的傅里叶变化及巴特沃斯低通滤波 (9) 一、实验内容及步骤 (9) 二、Matlab程序代码 (9) 三、数据及结果 (10) 实验五图像五的空间域滤波与频域滤波 (11) 一、实验内容及步骤 (11) 二、Matlab程序代码 (11) 三、数据及结果 (12)
实验一图像一的细胞计数 一、实验内容及步骤 将该图形进行一系列处理，计算得到途中清晰可见细胞的个数。 首先，由于原图为RGB三色图像处理起来较为麻烦，所以转为灰度图，再进行二值化化为黑白图像，得到二值化图像之后进行中值滤波得到细胞分布的初步图像，为了方便计数对图像取反，这时进行一次计数，发现得到的个数远远多于实际个数，这时在进行一次中值滤波，去掉一些不清晰的像素点，剩下的应该为较为清晰的细胞个数，再次计数得到大致结果。 二、Matlab程序代码 clear;close all; Image = imread('1.jpg'); figure,imshow(Image),title('原图'); Image=rgb2gray(Image); figure,imshow(Image),title('灰度图'); Theshold = graythresh(Image); Image_BW = im2bw(Image,Theshold); Reverse_Image_BW22=~Image_BW; figure,imshow(Image_BW),title('二值化图像'); Image_BW_medfilt= medfilt2(Image_BW,[3 3]); figure,imshow(Image_BW_medfilt),title('中值滤波后的二值化图像'); Reverse_Image_BW = ~Image_BW_medfilt; figure,imshow(Reverse_Image_BW),title('图象取反'); Image_BW_medfilt2= medfilt2(Reverse_Image_BW,[20 20]); figure,imshow(Image_BW_medfilt2),title('第二次中值滤波的二值化图像'); [Label, Number]=bwlabel(Image_BW_medfilt,8);Number [Label, Number]=bwlabel(Image_BW_medfilt2,8);Number
一、实验原理 本实验对源图像分别进行Harr 小波变换，建立图像的小波塔形分解，然后对分解层进行融合，处理各分解层上的不同频域分量可以采用不同的融合算子进行融合处理，本实验采用统一的算法处理，得到融合后的小波金字塔，对融合后的小波金字塔进行小波逆变换，得到的重构图像为拼接图像 1、 Harr 小波变换 Harr 小波分解步骤： 步骤一：输入信号n S 有2n 个样本， 步骤二：将信号分成1,2,2,,0 2n n l n l a S b S l -===，一共12n -对，然后对每一对变换，获得均值1n S -和差值1n d -。,21,212n l n l n S S S +-+=，1,,21,2n l n l n l d S S -+=-反变换可以无损地从 1n S -和1n d -中恢复出原信号，1n S -作为信号的全局信息（低频成分） ，1n d -作为信号的细节信息（高频成分），全局信息和原信号比较相似（局部一致性），细节信息（差值比较小）可以很高效的进行表示。 步骤三：对1n S -实施同样的变换（求均值和差值），获得均值2n S -和差值2n d -，它们两各有22n -个样本值。 步骤四：重复上面的变换步骤，直到0S 中仅有一个元素为止。 2、图像拼接算法 本实验采用小波分解的图像处理方法，首先对图形进小波变换，然后采用分层比较法，对两幅图的一级分解的LL 层进行比较，从而获得准确的位置匹配，然后各层进行相应的位置衔接，得到拼接图像的一级小波分解图像，最后对分解图像进行重构，得到拼接后的图像。 步骤一：首先对两图进行Harr 小波一级分解，假设分解图像如下图。 图一的harr 小波分解 图二的harr 小波分解 步骤二：对一级分解LL 层进行位置匹配。首先求出两幅图的LL 图像梯度值,即图像灰度值的显著变化的地方，采用如下公式 21(1,)mag i j -=
第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
数字图像去噪典型算法及matlab实现 希望得到大家的指点和帮助 图像去噪是数字图像处理中的重要环节和步骤。去噪效果的好坏直接影响 到后续的图像处理工作如图像分割、边缘检测等。图像信号在产生、传输过程中都可能会受到噪声的污染，一般数字图像系统中的常见噪声主要有：高斯噪声（主要由阻性元器件内部产生）、椒盐噪声（主要是图像切割引起的黑图像上的白点噪声或光电转换过程中产生的泊松噪声）等； 目前比较经典的图像去噪算法主要有以下三种： 均值滤波算法：也称线性滤波，主要思想为邻域平均法，即用几个像素灰度 的平均值来代替每个像素的灰度。有效抑制加性噪声，但容易引起图像模糊， 可以对其进行改进，主要避开对景物边缘的平滑处理。 中值滤波：基于排序统计理论的一种能有效抑制噪声的非线性平滑滤波信号处理技术。中值滤波的特点即是首先确定一个以某个像素为中心点的邻域，一般为方形邻域，也可以为圆形、十字形等等，然后将邻域中各像素的灰度值排序，取其中间值作为中心像素灰度的新值，这里领域被称为窗口，当窗口移动时，利用中值滤波可以对图像进行平滑处理。其算法简单，时间复杂度低，但其对点、线和尖顶多的图像不宜采用中值滤波。很容易自适应化。 Wiener维纳滤波：使原始图像和其恢复图像之间的均方误差最小的复原方法，是一种自适应滤波器，根据局部方差来调整滤波器效果。对于去除高斯噪声效果明显。 实验一：均值滤波对高斯噪声的效果 l=imread（'C:\Documents and 桌面\1.gif'）;% 读取图像
J=imnoise(l,'gaussian',0,0.005);% 加入均值为0 ,方差为 0.005 的高斯噪声subplot(2,3,1);imshow(l); title(' 原始图像'); subplot(2,3,2); imshow(J); ti tle('加入高斯噪声之后的图像’)； %采用MATLAB 中的函数filter2 对受噪声干扰的图像进行均值滤波 K1=filter2(fspecial('average',3),J)/255; % 模板尺寸为3 K2=filter2(fspecial('average',5),J)/255;% 模板尺寸为5 K3=filter2(fspecial('average',7),J)/255; % 模板尺寸为7 K4= filter2(fspecial('average',9),J)/255; % 模板尺寸为9 subplot(2,3,3);imshow(K1); ti tle(' 改进后的图像1'); subplot(2,3,4); imshow(K2); title(' 改进后的图像2'); subplot(2,3,5);imshow(K3); title(' 改进后的图像3'); subplot(2,3,6);imshow(K4); title(' 改进后的图像4');
基于MATLAB的图像拼接技术 基于MATLAB的图像拼接技术实验报告 学院:数信学院 专业班级: 12级信息工程1班 姓名学号: 一、实验名称:基于MATLAB的图像拼接技术 二、实验目的:利用图像拼接技术得到超宽视角的图像，用来虚拟实际场景。 三、实验原理: 基于相位相关的图像拼接技术是一种基于频域的方法，通过求得图像在频 域上是相位相关特点来找到特征位置，从而进行图像拼接。其基本原理是 基于傅氏功率谱的相关技术。该方法仅利用互功率谱中的相位信息进行图 像配准，对图像间的亮度变化不敏感，而且所获得的相关峰尖突出，具有 一定的鲁棒性和较高的配准精度。 基于相位相关法进行图像拼接的基本原理如下:假设f(x，y)表示尺寸为MN的图像，该函数的二维离散傅里叶变换(DFT)为: ， MN,,111,,，juxMvyN2(//) Fuvfxye,(,)(,),,MN，xy,,00 其中，F(u，v)是复变函数;u、v是频率变量，u=0，1，…，M-1，v=0，1，…，N-1;x、y是空间或图像变量。 二维离散傅里叶逆变换(IDFT)为: N,1M,1,，juxMvyN2(//),fuve(,) Fxy(,),,,y,0x,0 ，…，M-1;y=0，1，…，N-1。其中，x=0，1 设两幅图像、的重叠位置为(，)，则图像、的互功率谱为:IIxyII112002 *II(,)(,),,,,，,，jxy,,,2()1200 ,eII(,)(,)，,,,,12
其中，*为共轭符号，对上式两边进行傅里叶逆变换将在(x，y)处产生一00个函数。因此，只要检测上式傅里叶逆变换结果最大值的位置，就可以获得两xy幅图像间的评议量(，。具体算法步骤如下: 00 II?读入两幅图片、(函数输入)，并转换为灰度图像; 12 II?分别对、做二维傅里叶变换，即: 12 fftIfftI A=() B=() 1222 C则通过A、B的简单的矩阵运算得到另一矩阵，即: 3 C =B*.conj(A)/norm(B*.conj(A)，1) 3 矩阵的二维傅里叶逆变换C在(，)处取得最大，可通过遍历比较C(i，Cxy300 j)大小即可找到该位置，并作为函数返回值。 四实验程序 tic x=[1 2;0 1]; a=imread('7.jpg'); %读取图片 b=imread('8.jpg'); figure imshow(a); figure imshow(b); imwrite(b,'160.jpg'); IMG={a,b}; %将图片存为元胞结构 num=size(IMG,2); %计算图片个数 move_ht=0; %累计平移量初值 move_wd=0; for count=1:num-1 input1=IMG{count}; %读取图象 input11=imresize(rgb2gray(input1),[300,200]);
本文主要介绍基于Retinex理论的雾霭天气图像增强及其实现。并通过编写两个程序来实现图像的去雾功能。 1 Rentinex理论 Retinex（视网膜“Retina”和大脑皮层“Cortex”的缩写）理论是一种建立在科学实验和科学分析基础上的基于人类视觉系统（Human Visual System）的图像增强理论。该算法的基本原理模型最早是由Edwin Land（埃德温?兰德）于1971年提出的一种被称为的色彩的理论，并在颜色恒常性的基础上提出的一种图像增强方法。Retinex 理论的基本内容是物体的颜色是由物体对长波（红）、中波（绿）和短波（蓝）光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照非均性的影响，具有一致性，即Retinex理论是以色感一致性（颜色恒常性）为基础的。 根据Edwin Land提出的理论，一幅给定的图像S(x,y)分解成两幅不同的图像：反射物体图像R(x,y)和入射光图像L(x,y)，其原理示意图如图8.3-1所示。 图-1 Retinex理论示意图 对于观察图像S中的每个点(x,y)，用公式可以表示为： S(x,y)=R(x,y)×L(x,y) （1.3.1）实际上，Retinex理论就是通过图像S来得到物体的反射性质R，也就是去除了入射光L的性质从而得到物体原本该有的样子。 2 基于Retinex理论的图像增强的基本步骤 步骤一: 利用取对数的方法将照射光分量和反射光分量分离，即： S＇(x, y)=r(x, y)+l(x, y)=log(R(x, y))+log(L(x, y))； 步骤二：用高斯模板对原图像做卷积，即相当于对原图像做低通滤波，得到低通滤波后的图像D(x,y)，F（x, y）表示高斯滤波函数： D(x, y)=S(x, y) *F（x, y）； 步骤三：在对数域中，用原图像减去低通滤波后的图像，得到高频增强的图像G （x, y）： G(x,y)=S＇(x, y)-log(D(x, y)) ；
第八章图像融合算法 8.1 图像融合技术的发展过程 随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。如今，图像融合方法已经运用于社会的很多领域，像遥感卫星图像，光图像，红外图像，医学图像，尤其是多传感器图像融合应用以来，它已成为计算机视觉，目标识别，机器人以及军事等方面研究的重要方面。
8.2基于小波变换图像融合的基本原理 如果一个图像进行L 层小波分解，我们将得到（3L ＋1）层子带，其中包括低频的基带和层的高频子带。用代表源图像，记为，设尺度系数和小波函数对应的滤波器系数矩阵分别为，则二维小波分解算法可描述为： j C 3L ,h v d D D D 和(,)f x y 0C ()x Φ()x ΨH G 与11 1 j h j j v j j d j j C HC H D GC H D HC G D GC G +++′ =??′=??′=??′=?j+1(0,1, (1) j J =?（8-1）
小波重构算法为： 基于二维DWT 的融合过程如图1.1所示，ImageA 和 ImageB 代表两幅源图像A 和B ，ImageF 代表融合后的图像，具体步骤如下：（1）图像的预处理： 1h v d j j j j j C H C H G D H H D G G D G ?′′′′=+++(,1, (1) j J J =?（8-2） 图8.1 基于DWT 图像融合过程
①图像滤波 ②图像配准 （2）对ImageA和ImageB进行二维DWT分解，得到图像的低频和高频分量。 （3）根据低频和高频分量的特点，按照各自的融合算法进行融合。 （4）对以上得到的高低频分量，经过小波逆变换重构得到融合图像ImageF。 8.3 融合效果性能评价指标 8.3.1均值和标准差
1.图像反转 MATLAB程序实现如下: I=imread('xian.bmp'; J=double(I; J=-J+(256-1; %图像反转线性变换H=uint8(J; subplot(1,2,1,imshow(I; subplot(1,2,2,imshow(H; 2.灰度线性变换 MATLAB程序实现如下: I=imread('xian.bmp'; subplot(2,2,1,imshow(I; title('原始图像'; axis([50,250,50,200]; axis on; %显示坐标系 I1=rgb2gray(I; subplot(2,2,2,imshow(I1; title('灰度图像'; axis([50,250,50,200];
axis on; %显示坐标系 J=imadjust(I1,[0.1 0.5],[]; %局部拉伸,把[0.1 0.5]内的灰度拉伸为[0 1] subplot(2,2,3,imshow(J; title('线性变换图像[0.1 0.5]'; axis([50,250,50,200]; grid on; %显示网格线 axis on; %显示坐标系 K=imadjust(I1,[0.3 0.7],[]; %局部拉伸,把[0.3 0.7]内的灰度拉伸为[0 1] subplot(2,2,4,imshow(K; title('线性变换图像[0.3 0.7]'; axis([50,250,50,200]; grid on; %显示网格线 axis on; %显示坐标系 3.非线性变换 MATLAB程序实现如下: I=imread('xian.bmp'; I1=rgb2gray(I; subplot(1,2,1,imshow(I1; title('灰度图像';