超分辨率复原技术的发展
The Development of Super2Re solution Re storation from Image
Sequence s
1、引言
在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥
补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅)
携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。
（图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提
高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率
(super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。）
（我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如
光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极
限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。超分辨率图像复原就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。超分辨率复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值和广阔的应用前景。例如在遥感应用中,通过利用超分辨率复原技术,在不改变卫星图像探测系统的前提下,可实现高于系统分辨率的图像观测。正因为如此,超分辨率图像复原在近年
来已成为国际上图像复原领域最为活跃的研究课题,）
（图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,图像提供的信息越丰富。在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用中,都需要高分辨率图像。由于受成像系统物理条件和天气条件的影响,在成像过程中常常存在光学和运动模糊、下采样和噪声等退化过程,使实际得到的图像质量较差、分辨率低。这可通过减小像素尺寸、改变探测元排列方式和超分辨率图像恢复等方式提高图像分辨率。由于目前成像系统几乎都达到了不导致曝光退化的最小像素尺寸[1 ] ,因此对减小像素尺寸的方法技术和经济成本要求较高。将成像系统探测元的正方形排列方式改成梅花形、超模式或六边形排列,虽然可将图像空间分辨率分别提高2倍、2 倍或2 3 倍[2 ] ,但在应用上通过探测元排列方式提高分辨率不容易实现。相比较通过融合图像序列中信息提高图像分辨率的超分辨率图像恢复方法既经济又容易实现。）
(在数字图像的采集与处理过程中,有许多因素会导致图像分辨率的下降,主要表现为模糊、噪声和变形。造成模糊的因素有很多,如传感器的形状和尺寸、光学仪器的性能(如点扩散函数: PSF)引起的光学模糊以及采集对象的运动带来的运动模糊。另外,在成像、传输、存储过程中,会引入不同类型的噪声(如高斯、椒盐噪声等) ,且其引入方式也不同(加性或乘性噪声) ,这都会直接影响到图像的分辨率。此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱交叠,使获取的图像因变形而发生降质,尤其是经过压缩的图像,会产生量化噪声和编码效应等。图1所示为图像的降质过程。提高图像分辨率最直接的办法就是提高采集设备传感器的密度,然而高密度的图像传感器(如CCD)的价格相对昂贵,在一般应用中难以承受;另一方面,成像系统受其固有传感器排列密度的限制,目前已接近极限[ 1 ]。提高图像分辨率的另一方法是提高芯片尺寸,但这
将导致电容的增加和电荷转移速度的下降。一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高,即超分辨率
SR( super2resolution)重建,它利用多帧图像序列进行处理,提取图像序列中附加的空域和时域信息,生成一幅高分辨率HR ( high2resolution)图像。若利用一个滑动窗口对多帧低分辨率LR ( low2resolution)图像序列进行处理,则可以生成HR图像序列。SR重建技术的优点是不涉及硬件,成本低,现有的图像系统还可以使用,是一种比较经济的方案。由于SR重建技术可以克服图像系统内在分辨率
的限制,改进图像处理中大多数图像的性能,因而这一技术在视频、成像、遥感、医学、监控和军事等领域具有十分重要的应用,具体有如下几个方面:)
(图像超分辨率技术的应用很广泛。就目前来看，图像超分辨率技术已经应用到遥感技术应用领域中的资源调查、土地划界、植被监测、农作物和灾害监测等环节，应用在社会公共安全领域中的银行、机场、交通路口等公共场合的安全监控和刑事犯罪侦破等环节以及医学领域中的检测识别和定位精度等等。该项技术还可以很好应用于工业自动化控制领域，机器人视觉领域，天文观察、多光谱成像、超声成像等领域，具有很重要的理论研究意义和实用研究价值。)
1、超分辨率复原技术的含义
许多成像系统,如红外成像仪和CCD 照相机等,在采集宽快速视场图像的过程中,受其固有的传感器阵列排列密度的限制,图像的分辨率不可能很高;同时欠采样效应又会造成图像的频谱交叠,使获取的图像因变形效应而发生降质(理论依据是奈奎斯特采样定理) 。虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度,使获取的图像有可能避免变形效应的发生,但这要求光学元件与传感器阵列进行有效组合,这在实际应用场合中是很难做到的。如果采用增加传感器阵列密度的办法来提高图像分辨率和消除变形效应,则费用可能很昂贵或者很难实现。解决这一问题的一个有效办法就是超分辨率复原技术。这种方法的目的就是由一些低分辨率变形图像(或视频序列) 来估计一幅较高分辨率的非变形图像,同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。大多数超分辨率复原方法是从经典的单帧图像复原技术发展而来的。单帧图像复原技术经过几十年的研究,逐步形成了一套统一的理论框架。虽然单帧
图像复原技术的研究还远未成熟,但这类方法的固有局限性严重阻碍了图像复原效果的大幅度提高。在传统的单帧图像复原问题中,因为只有一幅输入图像上的信息可以利用,图像复原和分辨率增强效果受到极大
的限制,而在超分辨率复原方法中,可以利用图像序列中的附加空域时域信息,这样就能够重建超过任何一幅低分辨率图像带宽的超分辨率图像。
（超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图象序列) 换取空间分辨率,实现时间分辨率向空间分辨率的转换。由于超分辨率重建利用多帧图象序列进行处理,能提取序列图象中的附加空域时域信息,使得重建视觉效果超过任何一帧低分辨率图象的超分辨率图象成为可能。但超分辨率并不能创造奇迹,它也不是万能的,单帧或序列图象中子像素信息的提取是以其本身存在场景的额外信息为前题的,因此只有在多帧图象中存在非冗余信息的情况下,才能进行图象超分辨率重建。）
3 超分辨率复原技术的类型
超分辨率复原技术主要分成两类方法:频域方法和空域方法。频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性[1 ] 。频域方法有以下优点:理论简单;运算复杂度低;很容易实现并行处理;具有直观的去变形超分辨率机制。但这类方法还存在以下缺点:只能局限于全局平移运动和线性空间不变降质模型;包含空域先验知识的能力有限。所以目前这类方法不再成为研究的主流。
（3. 1 频率域方法频率域方法是图象超分辨率重建中的一类主要方法,目前采用的主要是消混叠重建方法(Re2construction via Alias Removal) 。消混叠重建方法是通过解混叠而改善影像的空间分辨率,进行超分辨率重建,最早的研究工作是由Tsai 和Huang 在1984 年进行的。在原始场景信号带宽有限的假设条件下,利用离散Fourier 变换和连续Fourier 变换之间的平移、混叠性质,给出了一个由一系列欠采样观测影像数据重建HR 影像的公式,使得多帧观察图象经混频的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来,方程组的解就是原始场景的频率域系数,再利用求解的频率域系数进行傅立叶逆变换就可实现原始场景的精确重建,该方法要求图象间位移参数的估计达到子像素精度,而且每一帧观察图象都必须只对方程组中的一个不相关
的方程作出贡献。Tsai&Huang 的方法具有计算简单的优点,但不足之处在于模型没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响。由于模型建立在整体平移的基础上,缺少灵活性,从而限制了在大多数实际情况下频率域方法的适用性。Tekalp ,Ozkan 和Sezan 针对Tsai&Huang 方法的限制, 于1992 年提出一种改进的方法, 对Tsai&Huang 的方法进行了扩展,该方法的模型中包括了线性平移不变的点扩散函数LSI PSF (Linear
Shift Invariant) 和观测噪声。Tekalp 在《数字视频处理》中用整整一个章节介绍了超分辨率技术,对频率域方法进行了说明,并对能包含场景移动、光学和系统点扩散函数影响的各种观察模型进行了讨论,Tsai&Huang 方法及Tekalp 等人对Tsai&Huang 方法的扩展都在该书中得到了体现,但从试验结果来看并没有取得有意义的新成果。Kaltenbacher 和Hardie 于1996 年在Tsai&Huang 算法的基础上提出了另一种估计帧间整体平移参数的解算方法,该方法最主要的贡献在于计算整体平移时与Tsai&Huang 方法相比有重大的进步,对提高计算效率方面有很大的帮助。Lucas 等提出了一种基于数据驱动的稳健计算方法,该方法具有较少的计算复杂度,便于用硬件进行实现。后来还出现了用递归最小二乘方法以及基于多通道采样定理的方法,但总的说来,这些方法都只是对Tsai&Huang 方法的改进, 都存在着与Tsai&Huang 方法中整体平移假设这一相似的缺点,通过混叠解混叠方法进行超分辨率重建的理论目前仍然没有取得重大突破。）在空域类方法中,其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样、压缩赝像以及其他一些内容。空域方法具有很强的包含空域先验约束的能力,例如马尔科夫随机场和凸集等先验约束,这样在超分辨率复原过程中可以产生带宽外推。空域方法主要包括非均匀空域样本内插法[2 ] 、迭代反投影方法[3 ] 、集合理论复原方法(凸集投影POCS ) [4 ] 、统计复原方法(最大后验概率估计器MAP 和最大似然估计器ML) [5 ] 、混合MAPPPOCS 方法[6 ] 以及自适应滤波方法[8 ] 等。
迭代反投影方法( IBP) 是首先用输出图像的一个初始估计作为当前结果,并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像,低分辨率模拟图像与实际观测图像的差值称为模拟误差,根据模拟误差不断更新当前估计。迭代反投影方法通过观测方程使超分辨率复原与观测数据匹配,但这种方法
的超分辨率重建结果不惟一,而且把先验约束引入到这种方法中也不是一件容易的事情。
凸集投影方法( POCS) 是一类解决超分辨率图像复原问题的流行算法。超分辨率图像解空间与一组凸形约束集合相交叉,而这组凸形约束集合代表了期望的超分辨率图像的一些特性,如正定、能量有界、数据可靠、平滑等,这样通过这些约束集合就可以得到简化的解空间。POCS 是指一种迭代过程,在给定超分辨率图像空间中任意一个点的前提下,可以定位一个能满足所有凸形约束集合条件的收敛解。
在统计复原方法中,超分辨率复原问题可以解释为一个统计估计问题。最大后验概率(MAP ) 的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大。根据贝叶斯原理,高分辨率图像的后验概率等价于以下两项之积: ①已知理想高分辨率图像的前提下,低分辨率视频序列出现的条件概率; ②理想高分辨率图像的先验概率。条件概率项通常采用高斯模型,先验概率项在不同的算法中采用不同的模型。最大后验概率估计方法的收敛稳定性取决于先验概率项。先验概率模型应该具有下面3 个特点: ①是一个局部平滑函数;
②具有边缘保持能力; ③是一个凸函数。最大似然复原方法可以认为是最大后验概率复原方法在等概率先验模型下的特例。
混合MAPPPOCS 方法就是在最大后验概率方法的迭代优化过程中加入了一些先验约束。已有的理论证实,只有采用梯度下降最优化方法才能保证这种混合MAPPPOCS 方法收敛到全局最优解。
在空域方法中,研究较多的是凸集投影方法和最大后验概率估计方法。凸集投影方法的优点是可以方便地加入先验信息,可以很好地保持高分辨率图像上的边缘和细节;缺点是解不惟一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高凸集投影算法的收敛稳定性,可以采用松弛投影算子,但松弛投影算子不利于保持图像的边缘和细节。最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和惟一、降噪能力强和收敛稳定性高等;缺点是收敛慢和运算量大。另外,最大后验概率估计算法的边缘保持能力不如凸集投影算法,由这类方法获得的高分辨率图像上的细节容易被平滑掉。
3. 2 空间域方法
空间域方法是图象超分辨率重建应用中另一类主要的方法,它将复杂的运动模型与相应的插值、迭代及滤波重采样放在一起进行处理,作为影像重建的全部内容,其线性空间域观测模型涉及到全局和局部运动、光学模糊、帧内运动模糊、空间可
变点扩散函数、非理想采样及其他一些内容。空间域影像超分辨率重建方法主要包括非均匀间隔样本内插( Interpolation of Non2Uniformly Spaced
Sam2ples) 、代数滤波后向投影(Algebraic Filtered Backpro2jection) 、概率论方法(Probabilitic Methods) 以及集合论方法(Set Theoretic Methods) 、混合MAP/ POCS 方法以及自适应滤波方法等。
3. 2. 1 非均匀间隔样本内插
LR 的观测影像序列经过配准后,形成一幅由非均匀间隔采样格网点上的样本值形成的复合影像,这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网。Keren、Peleg 和Brada 提出了一种包括整体平移和旋转的超分辨率重建模
型,但该方法的内插过程过于简单,对消除观测值之间的频谱混叠没有任何效果。Aizawa 、Komatsu和Saito 提出了另一种基于内插的方法,对通过立体相机获取超分辨率影像的方法进行了讨论。Masayuki 用内插滤波方法对遥感影像进行了模拟试验,证明了超分辨率的可行性,但效果并不很理想。近年来,有的学者对基于小波的图象超分辨率技术进行了初步的研究和试验,将多帧低分辨率数据变换到不同尺度的小波空间,然后在不同尺度的小波空间再对图象进行重建,得到高分辨率的重建图象,取得了比较满意的试验结果。但总的说来,这一类方法基本没有考虑光学模糊和运动模糊的影响,不能够利用任何先验信息,因而图象重建效果受到一定的影响。
3. 2. 2 代数滤波后向投影方法
代数层析滤波后向投影方法是Friden 和Aum2man 在1987 年提出的,当时的研究并不是由影像序列重建超分辨率影像,而是一个与超分辨率重建相关的、由线性成像阵列对一固定景物进行多次一维扫描的重建问题。Friden 和Aumman 研究的问题和超分辨率重建仅仅在成像系统的PSF 方面不同,Friden 和Aumman 重建公式中假定线阵列传感器的分辨率高于光学系统的有限分辨率,成像几何能够提供
给定景物区域的重叠扫描,但没有考虑观测值噪声,对高频噪声非常敏感,该方法的主要贡献在于将层析成像领域中的重建技术应用于影像超分辨率重建领域。3. 2. 3 基于概率论的方法
在统计复原方法中,超分辨率复原问题可以解释为一个统计估计问题。因为超分辨率重建问题是一个病态(ill2posed) 问题,欲使病态问题转化为可解的良(well2posed) 问题,必须施加一定的先验附加条件和限制。在最近几年,本质上就包含着以先验概率密度函数为先验限制条件的Bayesian方法,由于其较好的重建结果已经赢得了越来越多人的重视, 成为处理病态问题最有前景的(mostpromising) 方法之一。Bayesian 方法实际上就是极大后验概率估计MAP(maximum a posteriori probabil2
ity estimate) 方法,它的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图象的后验概率达到最大。Schultz 和Stevenson 最早在1992 年将极大后验概率估计方法应用于以Huber2Markov 随机场作为先验知识的影像内插,以改善影像的清晰度。1995年他们又将早期的研究结果推广到了影像超分辨率重建的研究,提出了一种基于运动补偿亚采样矩阵的观测值模型。1997、1998 年Schultz , Stevenson
和Meng 认识到了精确运动估计信息对超分辨率重建的重要性,对子像素级精度(sub2pixel accuracy)运动估计(motion estimation) 方法,特别是对具有8个参数的块运动估计投影模型以及基于光流(opti2cal flow) 的运动估计方法进行了深入的研究,提出检测和排除不精确运动估计向量的方法,使得超分辨率影像重建的效果得到了极大改善。注意到运动估计本身就是一个病态问题,Schultz 和Stevenson 还提出了正则化运动估计方法,这种方法将Bayesian 运动估计量用于块运动估计,获得了十分满意的超分辨率重建效果。Hardie ,Barnard 和Bognar 也提出了一种本质上与Schultz 和Stevenson 相同的MAP 方法,不同的是他们考虑了整体和非整体运动模型。后来Hardie 对这一工作进行了推广,考虑了一种运动估计和超分辨率重建
同时解算的问题,并给出了极大后验估计的公式。尽管这一公式的收敛速度比较慢,但因为其运动估计参数不再是像其它大多数超分辨率重建算法那样直接用LR 观测数据估计,得到了较好的重建效果。Wesley 提出了一种基于平稳随机场退火
的优
化内插方法,取得了分辨率提高2 倍的结果。
3. 2. 4 基于集合论的方法
解决超分辨率重建问题的另一著名方法就是
基于集合理论的凸集投影POCS (projection ontoconvex set ) 方法。在这种理论中,限制集定义为超分辨率解空间中可行解的限制条件(如正定性、能量有界性、观测一致性以及光滑性等) ,而每一个限制条件则定义为向量空间中的凸集合( convex
sets) ,通过对这些限制集合进行求交,形成超分辨率重建问题的解空间。Yoyla 和Webb 在1982 年最先将凸集投影的理论应用影像复原。此后1987年Friden 、Aumman 研究了利用局部滤波投影的方法进行线阵列扫描影像、面阵列扫描影像的复原。Stark 和Oskoui 在1987 年首次将POCS 应用于超分辨率影像重建。Tekalp ,Patti 和Sezan 在1992年和1994 年分别指出了上述缺陷,提出了包含系统矩阵的运动模型,该模型考虑了空间变化的点扩散函数SVPSF(Space Variying Point Spread Function)的影响,模型化了由LR 采样引起的退化以及由于传感器和景物之间的相对运动产生的模糊。
但总的说来,超分辨率图象复原技术受 3 个关键因素的影响:首先,最根本的就是子像素位移信息的可靠性,不可靠的运动估计造成的影响比缺少运动信息更大;其次,观察模型必须能精确地对成像系统及其退化进行描述;第三,影像重建算法必须尽可能地包含先验信息。基于这样的认识和对解空间进行约束的讨论,未来的研究工
作将主要在运动估计、退化模型、重建算法等3 个最重要的方面展开。运动估计虽然目前已经出现了许多种运动估计方法,但在实际应用中仍然无法获得令人满意的运动估计效果,同时这些运动估计方法的适用场合非常有限,从而有必要对现有的运动估计算法进行研究,在回顾与分析现有算法的基础上对其进行扩展。在进行运动估计的过程中,运动模型及其估计方法应根据场景/ 相机运动的先验知识来进行选择,并且运动估计还应当考虑到多种互不相关的运动方式。值得注意的是,由于运动估计是根据退化图象进行的,而且运动估计的效果与超
分辨率重建的结果息息相关,因而在运动估计过程中还应该重点强调算法的稳健性和结果的可靠性。同时将运
动估计和超分辨率重建这两个步骤纳为一体进行考虑应该是一种很有前景的方法,这有可能同时提高运动估计和重建算法的效果。此外,还应该对重建的超分辨率序列图象增加运动估计约束。退化模型图象超分辨率复原通常采用的简单、确定的降质模型进行近似时,近似模型与实际成像过程差距很大。在成像系统中,观察模型精确地对图象退化进行说明(即是对重建的高分辨率图象和观察图象之间的关系进行精确的描述) 有利于对图象解空间进行约束,因而进行这方面的研究是十分有意义的。此外,还应该对CCD 影像传感器的几何属性、空间- 时域积分属性、噪声和读出噪声属性等方面给予关注,发展和寻求新的退化成像模型,更好地对传感器观察过程进行建模,使其更加精确和全面,实现对点扩散函数和噪声的精确估计,提高图象超分辨率重建的效果。重建算法尽管目前已经提出了很多超分辨率复原算法,但这些方法仍然存在着较大的缺陷和不足。基于概率论的超分辨率重建理论与算法和基于集合论的超分辨率重建理论与算法是两种很有前景的研究方法,而混合MAP/ POCS 方法能将数学的严格性、解的唯一性与先验约束描述的方便性两者有机地结合在一起,也是一种大有可为的方法。同时复原多帧超分辨率图象在相关文献中尚没有报道,对该方法的研究将进一步提高对解空间进行约束的机会,提高算法的稳健性和精确性。基于小波变换的插值与超分辨率重建也是一种很有希望的方法。总之,完善现有算法,不断发展新的算法,以提高超分辨率图象复原的能力,减小计算量,加快运算的收敛速度,适用于不同的图象要求是摆在我们面前的一个重要的任务。总之,超分辨率技术的进一步深入研究必将导制这一技术拓宽到一些新的应用领域,此外,超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考,具有十分重要的意义。
(3. 1 成像模型
SR重建依赖于准确的、符合实际成像系统条件和压缩特性的降质模型,通常采用简单、确定的退化模型进行近似,这与实际成像过程差距很大,而压缩视频模型的有效性和普遍适应性还有待进一步的提高。在成像系统中,观察模型精确地对图像退化进行说明有利于对图像解空间进行约束,应对CCD传感器的几何属
性、空/时域积分属性、噪声属性等方面给予关注,发展和寻求新的退化成像模型,更好地对传感器观察过程进行建模,实现对点扩散函数和噪声的精确估计。此外, HR图像和偏移的先验模型也是未来研究的重点,Weiss等[ 22 ]提出把帧分割成对象然后再单独重建每一对象,这对压缩的视频极其适合,因为MPEG- 4 的比特流中提供了边界信息。
3. 2 运动估计
精确的运动估计对SR 重建起决定性的作用,这需要对视频序列进行亚像素精度的运动估计。由于运动估计只能利用低分辨率序列上的信息,很难达到比较精确的估计,所以选择合适的运动估计器是实现SR重建的关键。在运动估计过程中应该重点强调算法的稳健性和结果的可靠性。为了更精确计算运动矢量,Segall 等[ 23 ]通过对编码器内的帧间偏移差值(DFD)进行建模。此外,还应增加对运动估计的约束。由于图像的运动变形、模糊与噪声等降质因素之间具有密切的关系,因此应把运动估计与重建过程结合起来,将以上因素同时纳为一体进行考虑应该是一种很有前景的方法。
3. 3 重建算法
SR重建是一个病态问题,它存在着多个解,因此,能否有效地利用已知的信息和约束条件是实现重建的关键,尽管目前已经提出了很多重建算法,但这些算法仍然存在着较大的缺陷和不足。另外,在很多文献中,很多必要的参数往往留给了使用者来决定,如正则化参数的选取等,因此基于盲SR 重建的算法也是未来研究的热点,如Nguyen[ 24 ]在SR重建中加入了单一参数的模糊识别算法,但对于偏置图像的通用模糊估计算法需进一步研究。在算法上,进一步提高对解空间进行约束的机会、提高算法的稳健性和精确性,减小计算量、加快运算的收敛速度、适用于不同图像的要求是未来研究的重点。)
2. 1 国内外研究现状
国外及香港的超分辨率图像恢复研究比较活跃,较突出的有:美国加州大学Milanfar 等[7 ,8 ]提出大量实用超分辨率图像恢复算法,2004 年推出超分辨率图像恢复软件包, Chan 等从总变差正则方面[9 ] ,Zhao 等[10 ] 、Nagy 等从数学方法[11 ] 、多帧图像的去卷积[12 ]和彩色图像的超分辨率增强方面,对超
分辨率图像恢复进行了研究。Chan 等研究了超分辨率图像恢复的预处理迭代算法[13 ] ,以及小波[14 ] 、紧框架[15 ] 、小框架[16 ]等多分辨率分析工具在超分辨图像中的应用等。此外, Elad 等对包含任意图像运动的超分辨率恢复[17 ]和动态、彩色、多媒体的超分辨率恢复[18 ,19 ]进行了研究;Rajan 和Wood 等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法
[20 ,21 ] ;韩国Pohang 理工大学对各向异性扩散用于超分辨率[22 ] 、Chung - Ang 图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率[23 ]方面分别进行了研究。国内中科院自动化所、哈尔滨工业大学、浙江大学、国防科技大学、复旦大学和东南大学等对超分辨
率图像恢复进行研究, 其中部分是关于频谱外推[24 ] 、混叠效应的消除[25 ]以及成像探测元的阵列改进[26 ] ,其他主要是对国外超分辨率方法所进行的改进,包括对POCS 算法和MAP 算法的改进[27 ,28 ] 、对超分辨率插值方法的改进[29 ] 、基于小波域隐马尔可夫树(HMT) 模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进[30 ,31 ]等。
[ 7 ] NGUYEN N ,MILANFA P ,GOLUB G H. Efficient generalized cross- validation with applications to parametric image restoration and resolution enhancement [J ] . IEEE Transactions on Image Processing ,2001 ,10 (9) :1299 - 1308.
[8 ] FARSIU S ,ROBINSON D ,ELAD M ,et al. Fast and robust multiframe super - resolution [J ] . IEEE Transactions on Image Processing ,2004 ,13 (10) :1327 - 1344.
[9 ] CHAN T F ,WONG C K. Multichannel Image Deconvolution by Total Variation Regularization[ C] . SPIE ,San Diego ,1997. 358 -366.
[ 10 ] ZHAO W Y,SAWHNEY H S ,HANSEN M W. Super - Fusion :A Super - Resolution Method Based on Fusion [ C] . ICPR ( 2) ,Quebec ,Canada ,2002. 269 - 272.
[ 11 ] NAGYJ ,BOSE N. Mathematical analysis of super resolution methodology[J ] . IEEE Signal Processing Magazine ,2003 ,20 (3) :62 - 74.
[ 12 ] VIO R ,NAGYJ ,TENORIO L ,et al. A simple but efficient algorithm for multiple - image deblurring [J ] . Astronomy & Astrophysics ,2003 ,416 :403 - 410. [ 13 ] NG M ,CHAN R ,CHAN T ,et al. Cosine transform preconditioners for high
resolution image reconstruction [ J ] . Linear Algebra Appls. ,2000 ,316 :89 - 104. [14 ] CHAN R H ,CHAN T F ,SHEN L X ,et al. Wavelet algorithms for high - resolution image reconstruction [J ] . SIAMJ . Sci. Comput . ,2003 ,24 :1408 - 1432.
[15 ] CHAN R H,RIEMENSCHNEIDER S D ,SHEN L X,et al. Tight frame :An efficient way for high - resolution image reconstruction[J ] . Appl. Comput . Harmon. Anal. ,2004 ,17 :91 - 115.
[ 16 ] CHAN R H ,RIEMENSCHNEIDER S D ,SHEN L X ,et al. High resolution image reconstruction with displacement errors : A frame let approach ,internet [J ] . J . Imaging System Tech. ,2004 ,14 :91 - 104.
[ 17 ] ELAD M ,FEUER A. Super - Resolution Restoration of Continuous Image Sequences Using the LMS Algorithm[ C] . The 18th IEEE Conference in Israel ,Tel - Aviv ,1995.
[ 18 ] ELAD M ,FEUER A. Super - Resolution Reconstruction of Continuous Image Sequences[ C] . International Conference on Image Processing - ICIP 1999 , Kobe ,Japan ,1999 , Ⅲ:459 - 463.
[ 19 ] FARSIU S ,ROBINSON D ,ELAD M ,et al. Dynamic demosaicing and color super - resolution of video sequences[A] . Proceedings of the SPIE Conference on Image Reconstruction from Incomplete Data Ⅲ[C] . Denver ,CO ,USA ,2004 ,5562 :169 - 178.
[ 20 ] RAJAN D ,CHAUDHURI S. A physics - based approach to generation of super - resolution images [ A ] . Proc. Indian Conf . on Comp. Vis. , Graphics and Image Proc. [ C ] . New Delhi , India 1998. 250 - 254.
[21 ] WOOD S ,RAJAN D ,CHRISTENSEN M ,et al. Resolution improvement for compound eye images through lens diversity [A] .Proceedings of DSP Workshop[C] . New Mexico ,2004.
[22 ] KIM H W,JANG J H , HONG K S. Edge - enhancing super -resolution using anisotropic diffusion [A] . IEEE Intl. Conf . Image Process. [C] . Thessaloniki ,Greece ,2001. 130 - 133.
[23 ] SHIN J H ,JUNGJ S ,PAIK J K. Image fusion - based adaptive regularization for image expansion [A] . Proc. SPIE Image ,Video Comm. Proc. ,2000 ,3974 :1040 -
1051.
[24 ] 李金宗,黄建明,陈凤,等. 超分辨率处理中振铃现象的分析与抑制[J ] . 系统工程与电子技术,2003 ,25 (6) :664 - 668.
[ 25 ] 刘良云,李英才,相里斌. 超分辨率图像重构技术的仿真实验研究[J ] . 中国图象图形学报,2001 ,6A(6) :629 - 635.
[26 ] 周峰. 提高航天传输型CCD 相机地面像元分辨率方法研究[J ] . 航天返回与遥感,2002 ,23 (3) :35 - 42.
[ 27 ] 苏秉华. 超分辨率图像复原研究[D] . 北京理工大学,2002.
[ 28 ] 孟庆武. 预估计混叠度的MAP 超分辨率处理算法[J ] . 软件学报,2004 ,15 (2) :207 - 214.
图像超分辨率算法综述
摘要：介绍了图像超分辨率算法的概念和来源，通过回顾插值、重建和学习这3个层面的超分辨率算法，对图像超分辨率的方法进行了分类对比，着重讨论了各算法在还原质量、通用能力等方面所存在的问题，并对未来超分辨率技术的发展作了一些展望。
关键词：图像超分辨率；插值；重建；学习；
Abstract:This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given.
Key words: image super-resolution;interpolation;reconstruct;study;
1 引言
1.1 超分辨率的概念
图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution，
HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制[1]，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。
图1 图像超分辨率示意图
图像超分辨率技术分为超分辨率复原和超分辨率重建，许多文献中没有严格地区分这两个概念，甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来，严格意义上讲二者是有本质区别的，超分辨率图像重建和超分辨率图像复原有一个共同点，就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同，超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息，而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像，而重建处理则是从数据到图像的处理。也就是说输入的是某种数据，而处理结果得到的是图像。但两者的目的是一致的，都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄，只是指基于同一场景的图像序列和视频序列的超分辨处理，实际上，多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降，如传感器的形状和尺寸、光学系统的像差、大气扰动、运动、散焦等。另外，在成像、传输、存储过程中，会引入不同类型的噪声，这些都会直接影响到图像的分辨率。此外，数字化采集过程也会影响图像的分辨率，欠采样效应会造成图像的频谱混叠，使获取的图像因变形效应而发生降质。由于军事侦察及医学图像、卫星图像、视频应用及其它许多领域的实际需要，人们对得到的图像的质量要求越来越高。虽然光学元件能有效的限制传感器阵列上的图像频带宽度，使获取的图像又可能避免变形效应的发生。但这要求光学元件与传感器阵列进行有效的组合，而这在实际场合中是很难做到的,同时提升硬件要花费很高的经济成本，图像质量的提高也是有限的，因此，超分辨率图像复原技术就显得更加重要了，其中，图像超分辨率技术是数字图像处理领域中的一个重要分支。随着图像超分辨率理论和技术的日益成熟，图像超分辨率技术的应用更加广泛。本文着重对图像超分辨率方法进行阐述和分析，以向人们展示超图像分辨率技术的发展方向和应用前景。
1.2 图像超分辨率发展的背景及现状
超分辨率概念最早出现在光学领域。在该领域中，超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman
分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果，但实际应用中效果并不理想。Tsai &Huang首先提出了基于序列或多帧图像的超分辨率重建问题。
1982，D.C.C.Youla和H.Webb在总结前人的基础上，提出了凸集投影图像复原(Pocs)方法。1986年，S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基础上，提出了泊松最大后验概率复原(泊松-MAP)方法，并于1993年对超分辨率的定义和特性进行了分析，提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。
近年来，图像超分辨率研究比较活跃，美国加州大学Milanfar等提出的大量实用超分辨率图像复原算法，Chan等从总变差正则方面，Zhao等、Nagy等从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面，对超分辨率图像恢复进行了研究。Chan等研究了超分辨率图像恢复的预处理迭代算法。此外，Elad 等对包含任意图像运动的超分辨率恢复进行了研究；Rajan和Wood等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法；韩国Pohang理工大学对各向异性扩散用于超分辨率。Chung-Ang图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率方面分别进行了研究。
国内许多科研院所和大学等对超分辨率图像恢复进行研究，其中部分是关于频谱外推、混叠效应的消除，其他主要是对国外超分辨率方法所进行的改进，包括对POCS算法和MAP算法的改进，对超分辨率插值方法的改进，基于小波域隐马尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像
重构方法的改进。
2 图像超分辨率研究的主要方法
2.1图像超分辨率方法的分类
图像超分辨率按要处理的图像源可分为单幅图像超分辨和多幅图像超分辨。单幅图像超分辨率是指恢复出由于图像获取时丢失的信息(主要是指高频信息)，多幅图像超分辨率是指从低分辨率的图像序列恢复出高分辨率的图像。基于序列或多幅图像的超分辨率增强就是利用这些不同，但相互补充的信息以及目标的先验信息，从一系列低分辨率的图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率方法相比，其优点是除了利用物体的先验信息和单幅图像的信
息之外，还充分利用了不同图像之间的补充信息，因此，其超分辨率增强能力高于单幅图像超分辨率方法。但是在实际应用中，获得同一场景的图像序列常常是很困难，例如在未来高技术局部战争条件下，战场环境瞬息万变，战场信息稍纵即逝，因此给军事侦察提出了更高的要求，在这种情况下，要想获得同一场景的多幅图像很难，因此，单幅图像的超分辨率技术就显得尤为重要。同时，多幅图像的超分辨率方法大多都是以单幅图像的超分辨率为基础的，只有对单幅图像的超分辨率图像进行更广泛深入地研究，多幅图像的超分辨率技术才能有更广阔的前景。目前，单幅图像的超分辨率研究较少，多幅图像超分辨率已经成为研究的热点，就是因为多幅图像比单幅图像所含的可利用的信息量大。
图像超分辨率按实现的具体方法主要可分为空域法和频域法。频域方法是在频域上消除频谱混叠，改善空间分辨率；空间域方法是在图像像素的尺度上，通过对图像像素点的变换、约束而改善图像质量的方法。
频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法和消混叠重建方法。消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发，给出了多次欠采样图像在频率域混叠的更一般的公式，并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法，该方法在有噪声的情况下也具有很好的收敛性，取得了很好的效果。
频域方法实际上是在频域内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性。频域方法基于以下三条基本性质：(1)傅里叶变换的平移特性。(2)连续傅里叶变换和离散傅里叶变换之间的混叠关系。(3)原始场景的带宽有限。频域方法理论简单，运算复杂度低，很容易实现并行处理，具有直观的去变形超分辨率机制。但这类方法的缺点是所基于的理论前提过于理想化，不能有效地应用于多数场合，只能局限于全局平移运动和线性空间不变降质模型，包含空域先验知识的能力有限。
空域方法的适用范围较广，具有很强的包含空域先验约束的能力，主要包括迭代反投影方法(IBP)、集合论方法(如凸集投影：POCS)、统计复原方法(最大后验概率估计MAP和最大似然估计ML)，混合MAP/POCS方法以及自适应滤波方法，人工神经网络法、基于非均匀采样的插值法、基于最优化技术的方法等。其中，非均匀样本内插方法、迭代反投影方法等结合先验信息的能力很弱，在改善图像超分辨率效果方面受到了一定的限制。因此，研究和应用较多的是凸集投
影方法和最大后验概率估计方法。下面重点介绍几种常用的超分辨率方法的特点。
2.2 几种常用的图像超分辨率方法
2.2.1 超分辨率系统模型及技术概述
对超分辨率问题的求解，通常是构造一个前向关系模型，低分辨率图像和高分辨率图像之间的关系可以表述为
,,1,,p k j n x M DB y j j j k j k ≤≤+= (1)
其中，p 为图像序列帧数，j x 、k y 和j n 分别为待求的第j 帧高分辨率图像、第k 帧观察到的低分辨率图像和图像获取时的噪声，矩阵D 、j B 和j k M ,分别为下采样矩阵、模糊矩阵和第j 帧和第k 帧之间运动矢量所构成的运动矩阵。关于模糊矩阵和运动矩阵的先后关系，WANG Z Z 等[2]指出，如果更换两者的位置会引起系统误差。设H=DBM ，则式(1)即可简化为
n Hx y += (2) 求解式(2)需要确定H ，也就是求解或者确认式(1)中的D 、B 、M 和噪声n ，这包括以下几个问题：(1)运动估计，需要从观察到的低分辨率图像得到精确的运动矢量，并使用插值等方法去近似高分辨率图像的运动矢量；(2)图像模糊的估计，通常需要对点扩散函数进行计算或假设；(3)噪声估计，噪声会极大地影响系统的求解，对于噪声的估计是非常重要的一步。
SR 技术在早期研究中仅指基于多幅图像的还原方法，将基于单幅图像的增强称为插值，而目前多数文献中将这2种情况均称为超分辨率。超分辨率技术自Tsai 和Huang 提出利用多帧图像序列来恢复高分辨率图像以来，至今已有二十余年，其间大量算法被提出。目前，图像超分辨率研究可分为3个主要范畴：基于插值、基于重建和基于学习的方法。
2.2.2 基于插值的方法
基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。这类方法首先估计各帧图像之间的相对运动信息，获得HR 图像在非均匀间距采样点上的像素值，接着通过非均匀插值得到HR 栅格上的像素值，最后采用图像恢复技术来去除模糊和降低噪声。典型的方法包括：Rajan 和Chaudhuri 通过分解、插值和融合3个步骤实现的通用插值方法；TAOHJ 等提出的小波域的双线性插值；Lertrattanapanich 和Bose 提出的使用基于光滑性约束的Delaunay 三角化插值算法等。这类方法的优点是算法快速易行，适合并行计算，基本可以满足实时要求，
第39卷第8期自动化学报Vol.39,No.8 2013年8月ACTA AUTOMATICA SINICA August,2013 超分辨率图像重建方法综述 苏衡1,2周杰1张志浩1 摘要由于广泛的实用价值与理论价值,超分辨率图像重建(Super-resolution image reconstruction,SRIR或SR)技术成为计算机视觉与图像处理领域的一个研究热点,引起了研究者的广泛关注.本文将超分辨率图像重建问题按照不同的输入输出情况进行系统分类,将超分辨率问题分为基于重建的超分辨率、视频超分辨率、单帧图像超分辨率三大类.对于其中每一大类问题,分别全面综述了该问题的发展历史、常用算法的分类及当前的最新研究成果等各种相关问题,并对不同算法的特点进行了比较分析.本文随后讨论了各不同类别超分辨率算法的互相融合和图像视频质量评价的方法,最后给出了对这一领域未来发展的思考与展望. 关键词超分辨率图像重建,计算机视觉,图像处理,方法综述 引用格式苏衡,周杰,张志浩.超分辨率图像重建方法综述.自动化学报,2013,39(8):1202?1213 DOI10.3724/SP.J.1004.2013.01202 Survey of Super-resolution Image Reconstruction Methods SU Heng1,2ZHOU Jie1ZHANG Zhi-Hao1 Abstract Because of its extensive practical and theoretical values,the super-resolution image reconstruction(SRIR or SR)technique has become a hot topic in the areas of computer vision and image processing,attracting many researchers attentions.This paper categorizes the SR problems according to their input and output conditions into three main cat-egories:reconstruction-based SR,video SR and single image SR.For each category,the development history,common algorithm classes and state-of-the-art research achievements are reviewed comprehensively.We also analyze the charac-teristics of di?erent algorithms.Afterwards,we discuss the combination of di?erent super-resolution categories and the evaluation of image and video qualities.Thoughts and foresights of this?eld are given at the end of this paper. Key words Super-resolution image reconstruction,computer vision,image processing,survey Citation Su Heng,Zhou Jie,Zhang Zhi-Hao.Survey of super-resolution image reconstruction methods.Acta Auto-matica Sinica,2013,39(8):1202?1213 超分辨率图像重建(Super resolution image re-construction,SRIR或SR)是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率(Low-resolution,LR)图像转换成高分辨率(High-resolution,HR)图像的技术.它在视频监控(Video surveillance)、图像打印(Image printing)、刑侦分析(Criminal investigation analysis)、医学图像处理(Medical image processing)、卫星成像(Satellite imaging)等领域有较广泛的应用. 收稿日期2011-08-31录用日期2013-01-29 Manuscript received August31,2011;accepted January29, 2013 国家自然科学基金重大国际(地区)合作研究项目(61020106004),国家自然科学基金(61005023,61021063),国家杰出青年科学基金项目(61225008),教育部博士点基金(20120002110033)资助 Supported by Key International(Regional)Joint Research Pro-gram of National Natural Science Foundation of China(6102010 6004),National Natural Science Foundation of China(61005023, 61021063),National Science Fund for Distinguished Young Scholars(61225008),and Ph.D.Programs Foundation of Min-istry of Education of China(20120002110033) 1.清华大学自动化系北京100084 2.北京葫芦软件技术开发有限公司北京100084 1.Department of Automation,Tsinghua University,Beijing 100084 2.Beijing Hulu Inc.,Beijing100084 超分辨率问题的解决涉及到许多图像处理(Im-age processing)、计算机视觉(Computer vision)、优化理论(Optimization problem)等领域中的基本问题[1],例如图像配准(Image registration)、图像分割(Image segmentation)、图像压缩(Image com-pression)、图像特征提取(Image feature extrac-tion)、图像质量评价(Image quality estimation)、机器学习(Machine learning)、最优化算法(Opti-mization algorithm)等,超分辨率是这些基本问题的一个具体应用领域,同时也对它们的研究进展起到了推动的作用.因此超分辨率问题本身的研究具有重要的理论意义.目前超分辨率问题已经成为相关研究领域的热点之一. 在上世纪80～90年代,就有人开始研究超分辨率图像重建的方法,1984年Tsai的论文[2]是最早提出这个问题的文献之一.在这之后有很多相关的研究对超分辨率的问题进行更加深入的讨论.有关超分辨率问题的研究成果,在计算机视觉、图像处理与信号处理领域的顶级会议和期刊都有大量收录. 1998年,Borman等[3]发表了一篇超分辨率图像重建的综述文章.2001年,Kluwer出版了一本详细介
目录 1 选题背景 (1) 2 方案论证及过程论述 (1) 2.1 像差 (1) 2.1.1 球面像差 (1) 2.1.2 慧形像差 (2) 2.1.3 色像差 (2) 2.2 照明对显微镜分辨率的影响 (2) 2.2.1 非相干光照明 (2) 2.2.2 相干光照明 (2) 2.2.3 部分相干光照明 (3) 2.2.4 临界照明 (3) 2.3 衍射 (3) 2.3.1 对两个发光点的分辨率 (3) 2.3.2 对不发光物体的分辨率 (4) 2.4 光噪声 (6) 3 结果分析 (6) 4 结论 (7) 4.1 提高光学显微镜与电子显微镜分辨率的方法 (7) 4.1.1 提高光学显微镜分辨率的方法 (7) 4.1.2 如何提高电子显微镜分辨率 (7) 参考文献 (9)
1 选题背景 显微镜是实验室最重要的设备之一，对观察微小物体细节的显微镜来说，评价光学显微镜及电子显微镜的重要指标之一是分辨本领。显微镜的分辨能力是指其分辨近距离物体细微结构的能力，它主要是显微镜的性能决定。通常是以显微镜的分辨率级即显微镜能分辨开两个物点的最小距离d来表示，d值越小，则显微镜的分辨能力越强。 人眼本身就是一台显微镜，在标准照明条件下，人眼在明视距离(国际公认为25cm)上的分辨率约等于1/10mm。对于观察两条直线来说，由于直线能刺激一系列神经细胞，眼睛的分辨率还能提高一些，这就是显微镜的分划板使用双线对准的原理所在。人眼的分辨率只有1/10mm，那么比1/10mm小的物体或比1/10mm近的两个微小物体的距离，人眼就无法分辨了。这时人们开始研制出放大镜和显微镜，显微镜的分辨率计算公式为：d=0.61入/NA；式中：d为分辨率(μm)；入为光源波长(μm)；NA为物镜的数值口径(也称镜口率)。 造成显微镜光学像欠缺的因素主要在物镜组，有像差、衍射和光噪声等，它们是影响显微镜分辨率的主要因素，其次照明对显微镜的分辨率也有一定的影响。 对于显微镜的使用者来讲，应该对造成显微镜分辨率下降的因素有比较清楚的认识，并知道克服和减少这些因素的方法。本文从几何像差、色像差、衍射、干涉和照明几个方面分析了对显微镜分辨率的影响,指出了孔径数的增加，从衍射角度看对显微镜分辨率的提高有好处，但从几何像差的角度看则会降低显微镜的分辨率;并指出了照明对显微镜分辨率的影响是不可忽略的等。 2 方案论证及过程论述 2.1 像差 像差可分为单色像差和色像差两大类。单色像差有五种：（1）球面像差；（2）彗形像差；（3）像散；（4）像场弯曲；（5）畴变。其中（1）和（2）是由大孔径引起的，（3）、（4）、（5）是由大视场引起的。显微镜需要大孔径，但不需要大视场，所以显微镜的单色像差主要是（1）和（2）。 2.1.1 球面像差 单球面公式只有在满足近轴光线的条件下才能成立。当孔径较大时，有许多远轴光线也进入了透镜，近轴光线和远轴光线经透镜折射后不能在同一点上会聚。换句话说，主轴上一物点经透镜成像后，像不是一个点，而是一个圆斑，这样就产生了球面像差。消除的方法有二：一是在透镜前加一光阑，用以限制远轴光线的进入。这样做，会使显微镜的孔径数降低，从而降低了显微镜的分辨率。二是用复合透镜法，显微镜物镜就是采用这种方法制作的。
超分辨率复原技术的发展 The Development of Super2Re solution Re storation from Image Sequence s 1、引言 在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥 补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提 高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率 (super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。） （我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如 光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极
文本分类中的特征提取和分类算法综述 摘要：文本分类是信息检索和过滤过程中的一项关键技术，其任务是对未知类别的文档进行自动处理，判别它们所属于的预定义类别集合中的类别。本文主要对文本分类中所涉及的特征选择和分类算法进行了论述，并通过实验的方法进行了深入的研究。 采用kNN和Naive Bayes分类算法对已有的经典征选择方法的性能作了测试，并将分类结果进行对比，使用查全率、查准率、F1值等多项评估指标对实验结果进行综合性评价分析.最终，揭示特征选择方法的选择对分类速度及分类精度的影响。 关键字：文本分类特征选择分类算法 A Review For Feature Selection And Classification Algorithm In Text Categorization Abstract:Text categorization is a key technology in the process of information retrieval and filtering,whose task is to process automatically the unknown categories of documents and distinguish the labels they belong to in the set of predefined categories. This paper mainly discuss the feature selection and classification algorithm in text categorization, and make deep research via experiment. kNN and Native Bayes classification algorithm have been applied to test the performance of classical feature detection methods, and the classification results based on classical feature detection methods have been made a comparison. The results have been made a comprehensive evaluation analysis by assessment indicators, such as precision, recall, F1. In the end, the influence feature selection methods have made on classification speed and accuracy have been revealed. Keywords:Text categorization Feature selection Classification algorithm
图像超分辨率算法综述 摘要：介绍了图像超分辨率算法的概念和来源，通过回顾插值、重建和学习这3个层面的超分辨率算法，对图像超分辨率的方法进行了分类对比，着重讨论了各算法在还原质量、通用能力等方面所存在的问题，并对未来超分辨率技术的发展作了一些展望。 关键词：图像超分辨率；插值；重建；学习； Abstract:This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given. Key words: image super-resolution;interpolation;reconstruct;study;
1 引言 1.1 超分辨率的概念 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution， HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制[1]，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。 图1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建，许多文献中没有严格地区分这两个概念，甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来，严格意义上讲二者是有本质区别的，超分辨率图像重建和超分辨率图像复原有一个共同点，就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同，超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息，而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像，而重建处理则是从数据到图像的处理。也就是说输入的是某种数据，而处理结果得到的是图像。但两者的目的是一致的，都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄，只是指基于同一场景的图像序列和视频序列的超分辨处理，实际上，多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降，如传感器的形
关于图像超分辨率重构的现状研究 摘要：图像超分辨率的重构技术是近20年来兴起的一门新的数字图像处理技术。随着计算机硬件技术和软件设计技术的不断发展,各种图像超分辨率重构算法被提出。综述超分辨率重构的相关研究,指出图像超分辨率重构技术近几年来的一些研究成果。 关键字：图像超分辨率；图像超分辨率重构；迭代法投影法 Abstract:Image super-resolution reconstruction technology is nearly 20 years the rise of a new digital image processing technology. With the continuous development of computer hardware and software design technology, all kinds of image super-resolution reconstruction algorithm was proposed. Of related studies on super-resolution reconstruction, and points out that the technology of image super-resolution reconstruction in recent years, some of the research. Keywords:image super-resolution; image super-resolution reconstruction; iterative projection method 1引言 超分辨率重构算法始于20世纪80年代,其目的在于恢复一些已丢失的频率分量。在成像过程中,由于受成像系统的物理性质和天气条件的影响,图像中存在着光学和运动模糊、采样不足和附加噪声等退化现象,图像空间分辨率较低。而在实际应用中,需要高分辨率的图像,如在遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。在现有的传感器不作改变的情况下,人们希望利用信号处理的方法,通过一系列低分辨率图像来重构高分辨率图像。这种从同一场景的低分辨率图像序列中,通过信息融合来提高空间分辨率的方法通常被称为超分辨率重构。
收稿日期：２００８唱０８唱２１；修回日期：２００８唱１０唱２８ 作者简介：王培东（１９５３唱），男，黑龙江哈尔滨人，教授，硕导，ＣＣＦ会员，主要研究方向为计算机控制、计算机网络、嵌入式应用技术；吴显伟（１９８２唱），男（回族），河南南阳人，硕士，主要研究方向为计算机控制技术（ｗｕ＿ｘｉａｎｗｅｉ＠１２６．ｃｏｍ）． 一种自适应的嵌入式协议栈缓冲区管理机制 王培东，吴显伟 （哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０） 摘 要：为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端，提出一种自适应的嵌入式协议栈的缓冲区管理机制ＡｕｔｏＢｕｆ。它是基于抽象缓冲区接口而设计的，具有自适应性，支持动态内存的自动分配与回收，同时实现了嵌入式ＴＣＰ／ＩＰ协议栈各层之间的零拷贝通信。在基于研究平台Ｓ３Ｃ４４Ｂ０Ｘ的Ｗｅｂｓｅｒｖｅｒ网络数据监控系统上的测试结果表明，该缓冲区的设计满足嵌入式系统网络通信的应用需求，是一种高效、可靠的缓冲区管理机制。 关键词：嵌入式协议栈；抽象缓冲区；零拷贝；内存分配 中图分类号：ＴＰ３１６ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）０６唱２２５４唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０７７ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｄａｐｔｉｖｅｂｕｆｆｅｒｆｏｒｅｍｂｅｄｄｅｄｐｒｏｔｏｃｏｌｓｔａｃｋ ＷＡＮＧＰｅｉ唱ｄｏｎｇ，ＷＵＸｉａｎ唱ｗｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏａｖｏｉｄｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｃｒｅａｔｉｎｇｂｕｆｆｅｒ，ｗｈｉｃｈｍｕｓｔｈａｖｅｔｈｅｓｉｚｅｏｆｂｕｆｆｅｒａｎｄｆｒｅｅｍｅｍｏｒｙｆｏｒｍａｎｙｔｉｍｅｓ，ｗｈｉｃｈｗｉｌｌｒｅｓｕｌｔｉｎｍｅｍｏｒｙｌｅａｋｓａｎｄｃｏｄｅｓｃｒａｓｈ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｆｌｅｘｉｂｌｅｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍＡｕｔｏＢｕｆｆｏｒｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．Ｉｔｗａｓａｄａｐｔｉｖｅａｎｄｓｃａｌａｂｌｅａｎｄｂａｓｅｄｏｎａｎａｂｓｔｒａｃｔｂｕｆｆｅｒｉｎｔｅｒｆａｃｅ，ｓｕｐｐｏｒｔｅｄｄｙｎａｍｉｃｍｅ唱ｍｏｒｙａｌｌｏｃａｔｉｏｎａｎｄｂａｃｋｕｐ．ＢｙｕｓｉｎｇｔｈｅＡｕｔｏＢｕｆｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｗｉｔｈｄａｔａｚｅｒｏｃｏｐｙｔｅｃｈｎｏｌｏｇｙ，ｉｔｉｍｐｌｅｍｅｎｔｅｄｔｏｔｒａｎｓｆｅｒｄａｔａｔｈｒｏｕｇｈｔｈｅｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．ＴｈｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｈａｄｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅＷｅｂｓｅｒｖｅｒｓｙｓｔｅｍｂａｓｅｏｎＳ３Ｃ４４ｂ０Ｘｐｌａｔｆｏｒｍｓｕｃｃｅｓｓｆｕｌｌｙ．Ｔｈｅｒｅｓｕｌｔｓｉｎｒｅａｌｎｅｔｗｏｒｋｃｏｎｄｉｔｉｏｎｓｈｏｗｔｈａｔｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓａｇｏｏｄｐｅｒ唱ｆｏｒｍａｎｃｅａｎｄｍｅｅｔｓｔｈｅｎｅｃｅｓｓａｒｙｏｆｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ｅｍｂｅｄｄｅｄｓｔａｃｋ；ａｂｓｔｒａｃｔｂｕｆｆｅｒ；ｚｅｒｏ唱ｃｏｐｙ；ｍｅｍｏｒｙａｌｌｏｃａｔｉｏｎ 随着网络技术的快速发展，主机间的通信速率已经提高到了千兆数量级，同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中，而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Ｌｉｎｕｘ系统中ＴＣＰ／ＩＰ协议栈的实现过程，可以看出在协议栈中要有大量数据不断输入输出，而管理这些即时数据的关键是协议栈中的缓冲区管理机制，因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制，例如４．４ＢＳＤｍｂｕｆ ［１］ 和现行Ｌｉｎｕｘ系统中的ｓｋ＿ｂｕｆ ［２］ 多是在大内存、 高处理速率的基础上设计的，非常庞大复杂。由于嵌入式设备的硬件资源有限，特别是可用物理内存的限制，通用的协议栈必然不适用于嵌入式设备，在应用时要对标准的ＴＣＰ／ＩＰ协议进行裁剪 ［３］ 和重新设计缓冲区管理机制。 １ 缓冲区管理机制的性能需求分析 缓冲区管理 ［４］ 是对内存提供一种统一的管理手段，通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间；缓冲区的数据操作主要是向缓冲区写数据，从缓冲区读数据，在缓冲区中删除数据，对空闲的内存块进行合并等行为；内存的回收就是将已空闲的内存重新变为可用内存，以供存 储其他新的数据。 为了满足长度不一的即时数据的需求，缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节，不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存，即实模式形式存在的，没有虚拟内存的形式，对内存的操作实际是操作真实的物理内存，所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区（通过调用ｍａｌｌｏｃ（）／ｆｒｅｅ（））在函数之间传递数据。尽管该方法提供了灵活性，但它也带来了一些性能影响。首先考虑对缓冲区的管理（分配和释放内存块）。如果分配和释放不能在相同的代码位置进行，那么必须确保在某个内存块不再需要时，释放一次（且仅释放一次）该内存块是很重要的，否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而，确定数据大小并非那么容易，传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小，而且没有一定的范围标准，这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动，内存块的多次释放和多次分配是难以避免的，而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源，设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第２６卷第６期２００９年６月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｖｏｌ．２６Ｎｏ．６Ｊｕｎ．２００９
能够充分提高照片像素的方法！ 初玩摄影的朋友，是否为照片的像素不高而烦恼？下面分享能够提高照片素质12招，希望可以给大家带来帮助！ 1. 尽量使用三脚架 很多情况下，照片图像模糊、不清晰的原因，是拍摄者在按动快门时产生“手振”或相机反光板抬升产生“机振”所造成的。如果使用了三脚架，无论快门速度设定到如何的“慢”，甚至长时间的曝光，即可防止图像由于“抖动”而产生的图像模糊。但要注意，使用三脚架时，要尽可能地使用快门线，忽视这一点，仍有可能在手指接触快门时产生的震动而影响清晰度。 2. 尽可能地使用高速快门 在手持照相机拍照的情况下，尽可能采用高速快门来拍摄。没有经验的拍摄者，快门速度设定在1/30s以下时，照片拍虚的概率较大。即使专业摄影工作者，也不能保证在低速快门拍摄时有百分之百的把握。提高快门速度，会相应提高照片清晰度的概率。当然，在手持照相机提高快门速度的情况下，势必开大光圈，因而会失去“大景深”，但为保证照片的清晰度，放弃景深是不得已的办法。 3. 尽可能使用“最佳光圈” 任何镜头都存在不同程度的成像误差，这些成像误差将使镜头的成像质量受到不同程度的影响。由于镜头球面的曲率不同，光线经过透镜中心和边缘时因折射率不同而不能聚焦于同一焦点，从而导致清晰度下降。如使用镜头的最大光圈拍摄，将导致该镜头像差缺陷的最大暴露，导致图像清晰度下降，而使用镜头的最小光圈拍摄，会产生光的衍射，也会导致图像清晰度下降。为改善像差而引起的清晰度下降问题，通常采用缩小光圈的办法来提高成像的质量。一般来说镜头的最佳光圈为该镜头最大光圈缩小2~3档左右，拍摄者可对某个镜头的最佳光圈进行比较。 4. 尽可能采用手动对焦 目前大多数相机具有自动对焦功能。然而，在景深特别小的情况下，自动对焦往往会聚焦不准确，特别是在向主体近距离对焦，使用长焦距镜头，采用大光圈拍摄人像特写的情况下，要特别小心。如果此时采用自动对焦，“靶子”非要对在人物的眼睛上，如果没有十分的把握，宁可放弃自动对焦，而采用手动对焦。人们不希望照片上人物的耳朵或鼻子是清晰的，而传神的眼睛是模糊的。 5. 尽量使用遮光罩 遮光罩的使用，很多人并不在意。在用正面光、前侧光或侧光时，遮光罩的作用并不明显。但是在逆光或侧逆光拍摄时，必须使用遮光罩，有时即便使用了遮光罩，阳光仍会直射到镜头上，造成画面“冲光”，产生雾翳，影响被摄体的色彩饱和度和清晰度。这时，应调整镜头角度，避开直射到镜头上的光线。此外，遮光罩还有助于防止镜头镜面损伤，同时避免手指接触到镜面。 6. 合理利用景深 景深的大小是根据拍摄者拍摄的目的来决定。如果是拍摄风光摄影，景深就要求大，目的是为让照片上景物的清晰范围从近至远都表现得很清楚。如果是拍摄特写，景深就要求小，目的是让照片上主体的背景（也可能是前景）虚化（模糊），突出被摄主体。用小景深来表现风光题材，或用大景深去表现被摄体特写，从摄影表现手法上来说适得其反。如何合理运用景深呢？请记住：采用小光圈、短焦距镜头、远距离对焦拍摄三种方法，景深就大。采用大光圈、长焦距镜头、近距离对焦拍摄三种方法，景深就小。采用其中一种或两种拍摄方法也行，但效果没有三种方法合起来使用作用更明显。 7. 尽可能选用低值感光度 要获得影像的高清晰度，让照片看起来具有丰富的质感，除选择使用高像素的数码照相
快速流分类算法研究综述 李振强 （北京邮电大学信息网络中心，北京 100876） 摘要 本文对流分类算法进行了综述，包括流分类的定义，对流分类算法的要求，以及各种流分类算法的分析比较。文章的最后指出了在流分类方面还没有得到很好解决的问题，作为进一步研究的方向。 关键词 流分类；服务质量；IP 背景 当前的IP网络主要以先到先服务的方式提供尽力而为的服务。随着Internet的发展和各种新业务的出现，尽力而为的服务已经不能满足人们对Internet的要求，IP网络必须提供增强的服务，比如：SLA(Service Level Agreement)服务，VPN(Virtual Private Network)服务，各种不同级别的QoS （Quality of Service）服务，分布式防火墙，IP安全网关，流量计费等。所有这些增强服务的提供都依赖于流分类，即根据包头(packet header)中的一个或几个域（field）决定该包隶属的流(flow)。典型的，包头中可以用来分类的域包括:源IP地址（Source IP Address）、目的IP地址（Destination IP Address）、协议类型（Protocol Type）、源端口（Source Port）和目的端口（Destination Port）等。 流分类算法描述 首先定义两个名词：规则（rule）和分类器(classifier)。用来对IP包进行分类的由包头中若干域组成的集合称之为规则，而若干规则的集合就是分类器。构成规则的域（我们称之为组件component）的值可以是某个范围，例如目的端口大于1023。流分类就是要确定和每个包最匹配的规则。表1是由6条规则组成的一个分类器。我们说这是一个5域分类器，因为每条规则由5个组件构成。我们假定分类器中的规则是有优先级的,越靠前的规则优先级越高,即规则1的优先级最高,规则6的最低。
《数据挖掘》 数据挖掘分类算法综述 专业：计算机科学与技术专业学号：S2******* 姓名：张靖 指导教师：陈俊杰 时间：2011年08月21日
数据挖掘分类算法综述 数据挖掘出现于20世纪80年代后期，是数据库研究中最有应用价值的新领域之一。它最早是以从数据中发现知识(KDD，Knowledge Discovery in Database)研究起步，所谓的数据挖掘(Data Mining，简称为DM)，就从大量的、不完全的、有噪声的、模糊的、随机的、实际应用的数据中提取隐含在其中的、人们不知道的但又有用的信息和知识的过程。 分类是一种重要的数据挖掘技术。分类的目的是根据数据集的特点构造一个分类函数或分类模型(也常常称作分类器)。该模型能把未知类别的样本映射到给定类别中的一种技术。 1. 分类的基本步骤 数据分类过程主要包含两个步骤： 第一步，建立一个描述已知数据集类别或概念的模型。如图1所示，该模型是通过对数据库中各数据行内容的分析而获得的。每一数据行都可认为是属于一个确定的数据类别，其类别值是由一个属性描述(被称为类别属性)。分类学习方法所使用的数据集称为训练样本集合，因此分类学习又可以称为有指导学习(learning by example)。它是在已知训练样本类别情况下，通过学习建立相应模型，而无指导学习则是在训练样本的类别与类别个数均未知的情况下进行的。 通常分类学习所获得的模型可以表示为分类规则形式、决策树形式或数学公式形式。例如，给定一个顾客信用信息数据库，通过学习所获得的分类规则可用于识别顾客是否是具有良好的信用等级或一般的信用等级。分类规则也可用于对今后未知所属类别的数据进行识别判断，同时也可以帮助用户更好的了解数据库中的内容。 图1 数据分类过程中的学习建模 第二步，利用所获得的模型进行分类操作。首先对模型分类准确率进行估计，例如使用保持(holdout)方法。如果一个学习所获模型的准确率经测试被认为是可以接受的，那么就可以使用这一模型对未来数据行或对象(其类别未知)进行分类。例如，在图2中利用学习获得的分类规则(模型)。对已知测试数据进行模型
第20卷第7期2008年7月 计算机辅助设计与图形学学报 JO U RN A L O F COM PU T ER -AID ED D ESIG N &COM P U T ER G RA PH ICS Vo l 120,N o 17 July,2008 收稿日期:2007-11-06;修回日期:2008-03-111基金项目:国家科技支撑计划重点项目(2006BAK07B04).张雪松,男,1977年生,博士研究生,工程师,主要研究方向为数字图像复原与超分辨率、模式识别、红外图像实时处理.江 静,女,1979年生,硕士,讲师,主要研究方向为数字图像处理.彭思龙,男,1971年生,博士,研究员,博士生导师,主要研究方向为小波分析、图像处理、视频增强、模式识别. 人脸图像超分辨率的自适应流形学习方法 张雪松1) 江 静2) 彭思龙 1) 1)(中国科学院自动化研究所国家专用集成电路设计工程技术研究中心 北京 100190)2) (华北科技学院机械与电气工程系 北京 101601)(xuesong.zhang@https://www.doczj.com/doc/0415359056.html,) 摘要 样本规模与使用方法是基于学习的超分辨率中的一个重要问题.面向人脸图像超分辨率重建,提出一种基 于局部保持投影(L P P)的自适应流形学习方法.由于能够揭示隐含在高维图像空间中的非线性结构,L PP 是一种可以在局部人脸流形上分析其内在特征的、有效的流形学习方法.通过在L P P 特征子空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,实现了自适应样本选择,并且利用动态样本集合通过基于像素块的特征变换方法有效地恢复出低分辨率人脸图像中缺失的高频成分.实验结果证实:通过在局部人脸流形上自适应地选择学习样本,文中方法可以仅使用相对少量的样本来获得很好的超分辨率重建结果.关键词 人脸图像;超分辨率;局部保持投影;流形学习;非监督学习中图法分类号 T P391.4 Adaptive Manifold Learning Method for Face Hallucination Zhang Xuesong 1) Jiang Jing 2) Peng Silong 1) 1)(National AS I C Desig n Eng inee ring Center ,Institute of A utomation,Chinese A cad emy of S cie nces ,B eij ing 100190)2) (Dep artment of M ec hanic s and E lectricity En gineering ,N or th Ch ina I nstitu te of S cie nce and Te chnolog y ,B eij ing 101601) Abstract T he size of training set as well as the usage thereof is an important issue of learning -based super -resolution.T his w or k presents an adaptive learning metho d for face hallucination using Locality Preserving Pr ojectio n (LPP).LPP is an efficient manifold learning m ethod that can be used to analy ze the lo cal intrinsic features on the manifold of local facial areas by virtue of its ability to reveal no n -linear structures hidden in the hig h -dim ensional image space.We fulfilled the adaptive sam ple selection by searching out patches online in the LPP sub -space,w hich makes the resultant training set tailor ed to the testing patch,and then effectively r estored the lo st hig h -frequency com ponents of the low -resolution face image by patched -based eig en transform ation using the dy namic training set.The ex perim ental r esults fully dem onstrate that the proposed m ethod can achieve goo d super -reso lution reconstruction perfo rmance by utilizing a relative small am ount o f samples. Key words face im ag e;super -r esolutio n;lo cality preserv ing projections;m anifold learning;unsuperv ised learning 超分辨率是指根据多张低分辨率图像重建出高分辨率图像的过程,在不同的应用中,输入的低分辨率图像可以是某个静态场景的图像序列 [1-3] (序列中 的图像间存在相对运动)或者是一段动态场景的视频[4-5].这些超分辨率方法通常是基于/重建约束0的:即认为低分辨率图像是待求高分辨率图像在不
微电子工艺课程设计 提供光学光刻分辨率的方法研究
目录 摘要 (5) 关键词 (5) 引言 (5) 正文 (5) 一、提高分辨率的方法 (5) 1. 影响图形光刻分辨率的主要因素 (5) 1.1掩膜（Mask） (6) 1.2照明系统（Illumination system） (6) 1.3投影（Projection） (7) 1.4发射和过滤特性 (7) 1.5成像(Image) (8) 1.6曝光（Expose） (9) 1.7烘烤（Bake） (10) 1.8显影（Develop） (10) 1.9一些效应的影响 (12) 2. 提高分辨率的措施 (14) 2.1掩膜 (14) 2.2照明系统 (15) 2.3投影（Projection） (16) 2.4发射和过滤特性 (17) 2.5成像（Image） (18) 2.6曝光（Expose） (18) 2.7烘烤（Bake） (19) 2.8显影（Develop） (20) 2.9一些常见且有效的技术 (22) 2.10采用先进的光刻技术 (28) 二、一个优化的工艺组合方案的各参数的确定 (31) 1 掩膜版和照明窗口的设计 (31) 仿真1 (33) 仿真2 (35) 仿真3 (36) 仿真4 (37) 仿真5 (39) 仿真6 (40) 结论 (41)
2 数值孔径 (42) 3光照波长 (42) 仿真1： (42) 仿真2： (43) 仿真3： (44) 仿真4： (45) 结论 (46) 4 照明系统与光轴的角度和离轴照明技术的结合使用 (46) 仿真1： (47) 仿真2： (47) 仿真3： (48) 仿真4： (49) 仿真5： (49) 结论： (50) 5 光刻胶的厚度、光照强度和曝光剂量 (50) 仿真1 (50) 仿真2 (51) 仿真3 (52) 仿真4 (52) 仿真5 (53) 仿真6 (54) 仿真7 (54) 仿真8 (55) 仿真9 (56) 仿真10 (56) 结论 (57) 6 耀斑数 (57) 仿真1 (58) 仿真2 (58) 仿真3 (59) 结论 (60) 7 损伤因子 (60) 仿真1 (60) 仿真2 (61) 仿真3 (63) 结论 (64) 8反射的次数和POWER MIN (64) 仿真1 (64)