当前位置:文档之家› 高斯金字塔的视觉注意模型快速算法

高斯金字塔的视觉注意模型快速算法

ISSN1000一9825.CODENRUXUEW

而“朋口,矿№胁口陀,V01.20.No.12,December2009,pp.3240一3253

doi:lO.3724,SpJ.1001.2009.03649

0b?Instntlte可so,fwnre.t妇chtn∞eAc鲥em,可sciences.And棼她fese州ed.

基于近似高斯金字塔的视觉注意模型快速算法枣张国敏1+,殷建平1,祝恩1,毛玲2

1(国防科学技术大学计算机学院,湖南长沙4l0073)

2(国防科学技术大学电子科学与工程学院,湖南长沙410073)

E-mail:jos@iscas.ac.∞http:,/wwwjosorg.cn1'el/F“:+86-10-62562563

FastVisualAttentiOnMOdelAJgOrithmBasedonApproximateGaussjanPyramids

ZHANGGuo.Minl+,YINJian—Pin91,ZHUEnl,MA0Lin92

1(SchoolofComput盯Science,NationalUniv盯sityofDefcnseTechn0109y,Changsha410073,China)

2(Sch00lofElectr∞icScience柚dEngiⅡeenng,NationalUnivefs时ofDefenseTechnology,Changsha4l0073,China)

+co丌espondingauthor:E?mil:Guomjn—zh粕g@l63.com

ZhangGM,YinJP,ZhuE,MaoL.FastvisuaIattentionmodeIaIgorithmbasedonapproximateGaussianpyram谢s.而口册刃矿&响w,岛2009,20(12):3240一3253.htqp://H唧.jos.org.cII/lOOO-9825/3649.htIll

Abstract:Classicalsa】iency-basedVisua】anentlonmodelsareadaptedforembeddingreal—timesystemswith1esstimeandspacecostsbasedonapproximateGaussianpyramidsoftheinputimage.Firstly'thecircularwindowanddiscreteGaussianconvolutionareapproximatedbyrectangularwindow如drectangularaverage叩eratorrespectiVely.Then,rectangularaVerageoperatorisimplementedthrough“rowaccu珂【ulationfollowedby

colu砌accumulation”.Andconspicuitym印sofeachchannelarecalculatedandsampledatdesiredinteⅣalsdirectlywithlinearcomputationalcomplexityonthenumberoftheinputpixels.Atlast,af瓠talgorithInforinhibiting也e

saliencyofextractedregionsinthesaliencymapisproposed.ExperimentaIresultsinthe

images仃omBerkeley

segmentationdatasetvalidatethatthepmposedmethodshaVemuchIesscomputationaIcostswithacceptableoutputtingen.ors.Thetwo印proximatemethodsinthispapercanalsobeappliedinotherimageprocessingprobIemsinembeddingreal-timesystems.

Keywords:saliency;visualattention;印proximateGaussian

p”锄ids;imageprocessing

摘要:利用输入图像的近似高斯金字塔,将经典的基于显著性的视觉注意模型改造为时空开销更小的版本,从而使其更加适合在嵌入式实时系统中实现.首先采用矩形窗口近似圆形窗口,矩形平均算子近似高斯卷积核;然后采用“先做行累加,再做列累加”的方法来实现矩形平均算子,并直接采样计算出各个特征通道的显著性分布图,该算法关于输入图像像素点个数具有线性时间复杂度;最后,还给出了在显著性分布图中抑制已提取区域显著性的快速算法.在Berkeley分割图像库上的实验结果表明,该方法极大地减小了系统实现的时空开销,且输出结果的误差在可接受范围内.提出的用矩形窗口近似圆形窗口,用矩形平均算子近似高斯卷积核的方法,还适用于其他需要在嵌入式实时系统中实现的图像处理问题.

关键词:显著性:视觉注意:近似高斯金字塔;图像处理

中图法分类号:TP242文献标识码:A

?SupportedbytheNationalNaturalScj%ceFo岫dationofCbinaunderGr加tNo.60603015(国家自然科学基金)

R詹cciVed2007—12—18;ReVi辩d2008?07一08;Acc印led2009-05-】4

张国敏等:基于近似高斯金字塔的视觉注意模型快速算法3241

视觉注意机制在视觉感知过程中具有关键作用.它通过局部化视觉感知信息,将有限的计算资源在第一时间内集中处理晟关键的信息,从而使得视觉感知过程具有实时性,且能适应复杂的感知环境【lJ.现有研究表明【2】,影响视觉注意的因素来自两个方面,即自项向下的先验知识和输入信号产生的自底向上传感器刺激.其中,自顶向下的先验知识与应用领域高度相关,很难进行统一建模分析,因此出现了很多仅对传感器刺激进行建模的自底向上视觉注意模型.自底向上的视觉注意模型主要分为两类【31:一类是通过眼球跟踪仪获取人眼凝视图像的位置,采用统计的方法得到人眼凝视时间长和凝视次数多的区域,并将其作为人类感兴趣的显著性区域;另一类则通过对输入图像多特征通道进行多尺度分析,得到关于图像中每个像素点感兴趣程度的显著性分布图,并基于该分布图进行感兴趣区域的提取.

自从Koch和Ullman(1985)【4】提出了基于显著性分布图的视觉注意模型后,出现了许多基于显著性分布图的视觉注意模型口一71.这些模型既不需要处理复杂的领域知识,也不需要对输入图像进行人眼凝视时间和凝视次数统计的繁琐实验,方便应用.将这些模型应用到目标检测㈨?91、视频压缩【10,¨l、图像分析【12,13】和场景理解114】等领域中,可将有限的存储计算资源用于处理输入图像或视频中人类视觉最感兴趣的区域.这样,在不降低处理效果的前提下,不仅可以减小系统的时空开销,而且还能多方面地提高系统性能,如处理结果更符合人类视觉需求【10,111、对噪声具有更强的鲁棒性Ⅲ,91、在复杂背景下具有更好的稳定性【12Ⅲ】等.但这些模犁需要计算输入图像高斯金字塔Il5】上多尺度多通道特征,并分别计算这些不同尺度特征的显著性分布图,然后将这些显著性分布图采样融合成一张全局的显著性分布图,采用、Ⅳi仰er-1钛e.All(wTA)机制逐个选择最显著的区域.整个过程需要存储大量的中间结果,且具有较大的计算量,这使其在计算资源十分有限的嵌入式系统中很难得到应用.针对上述问题,本文提出了一种基于近似高斯金字塔的视觉注意模型快速算法.考虑到实H维空间中欧氏距离和棋盘格距离具有等价性,本文采用矩形窗口来近似圆形窗口,用矩形平均算子来近似高斯卷积核,并采用“先做行累加,再做列累加”的方法来实现矩形平均卷积算子,从而得到输入图像的近似高斯金字塔,便于在输入图像像素点个数呈线性时间复杂度下。计算出各个特征通道的显著性分布图.采用类似的方法,本文得到了在显著性分布图中抑制已提取区域显著性的快速算法.在Berkeley分割图像库【16l上的实验结果表明,本文提出的快速计算方法能够以更小的时空代价实现基于显著性的视觉注意模型,且误差在可接受的范围内.本文第l节回顾基于显著性的视觉注意模型。并分析出其实现代价可降低的地方.第2节推导出圆形窗口和高斯卷积核的最优近似参数.第3节详细描述本文提出的显著性视觉注意模型的快速算法,并给出该算法时空复杂度的理论分析.第4节为实验结果与分析.第5节对本文内容做简要总结.

1基于显著性的视觉注意模型

图1为Ini【5】给出的基于显著性视觉注意模型结构,现有的基于显著性的视觉注意模型【3-7】大多与图l中的结构类似.其中,有的将Cente卜surro岫ddi肫rences姐dno加alization替换为DOG滤波,随机抽样等计算过程【61,也有的将Across.scalecombinationsandno肿alization替换为局部极值法、迭代法,或通过先验知识学习等方法【31.在这个模型中,因为基于输入图像的高斯金字塔计算了亮度、颜色俾.G和口.y’2个通道)和方向(Oo,450,900和1350这4个方向的Gabor滤波结果)共7个通道的多尺度特征,这给后续计算过程带来了较大的计算量和存储量.还有一些模型,如张鹏和王润生【12】的方法不单独计算整幅输入图像的多尺度特征,而在确定候选注意位置后,通过基于DoG算子的视区追踪确定注意区域尺度参数,该方法也需要通过高斯卷积计算局部区域的多个特征通道的多尺度信息.本文采用矩形平均算子近似高斯卷积,并在计算过程中直接采样到需要的尺度,从而可以有效地减小整个过程的计算量和存储量.并能简化硬件实现.

另外,在上述已有的视觉注意模型实现方法中,每个局部区域均采用圆形窗口实现.显然,检验一个点是否在一个圆内,涉及到乘法运算;而检验一个点是否在一个矩形内,则需要更少代价的加减法即可.本文采用矩形窗口近似圆形窗口,可以有效降低处理每点处局部信息的计算代价,且能简化硬件实现.

3242乃“惭口f矿5劬慨馏软件学报v01.20,No.12,December2009

I叩uti呦ge/.-7————7

d一一.。.………。。…./’

.£::二二::::=7.:::二:::::::芦.:=:::二:::::j7

多l司多I

,?。■—7Fcaturezf■j7Maps。一—■7

.‘£=7z=7I==7

[]蔓五运亟口

妇“呻唧<彳=掏卜]

[亟翠画口I苫蓦翟

ll““““

Attendedlocation

Fig.1GeneraIarchitectureofthesaIiency?basedvisuaIattentionmodel

图l基于显著性的视觉注意模型结构

2最优近似参数求取

2.1离散圆形窗口的最优矩形近似

实行维空间掣中,对于任意点列{夏),!imlI五一歹I|:=o当且仅当jimlI砟一歹0。=o.其中,歹∈尺”,…2表示欧氏

Fig.2Acirclewindow印proximated

byarcctanglewindowcontinuously

图2连续情况下用矩形窗口近似圆形窗口r时,可以求得合适的口,使得总的误差最小.距离,…l表示棋盘格距离.因此,可以考虑用矩形窗口近似圆形窗口.

在连续情况下,不妨设圆形窗口的半径为,,用一个边长为2口的正方形来近似该圆形窗口,如图2所示.矩形中心与圆中心重合于点D,矩形的一条边与圆相交于点曰,将该条边距点曰更近的顶点记作EDE与圆交于点C,作DD垂直于肋,且DD延长线与圆相交于点4.显然,用矩形0去近似圆D时,有8块爿肋这样的区域本来属于圆D中,但未被包括于矩形D中,即为漏包含,故漏包含带来的损失随彳占D的面积函口D的增加而增加;同时,也有8块口ED这样的区域本来小属于圆D,却被包括于矩形D中,即为误包含,故误包含带来的损失随口肋的面积岛印的增加而增加.若设误包含带来的损失/漏包含带来的损失=,7,则在固定

由图2可得,DD邗,丑D:0F了,髓:4—0F了,故有

soD8=≯嚅‰=等一s(罚(1)(2)

张国敏等:基于近似高斯金字塔的视觉注意模型快速算法3243

sa踞=去(盯2一口√,.2一口2)(3)

‰=稚…。s(詈)]㈣由式(1)和式(2)可得,表征漏包含误差的面积颤丑D满足:

‰=‰一‰=抒arcc。s(守口庐孑]仰由式(3)和式(4)可得,表征误包含误差的面积岛Ef满足:

%=‰一‰=言P一口庐孑一署^,.2arcc。s(詈))c6,由于在数字图像中局部区域内像素取值高度相关,故不妨设单位面积漏包含带来的损失为c,则c通常为一较小正数.由式(5)和式(6)可得,总的误差损失三∞“口,,)可以表示为

£n,f(口,r)=c(i譬脚+叩S盱c)=c(1+,7)/2(,2舡.ccos(口/,)一口√,.2一口2)+,7(口2/2一,.2兀/8)(7)在固定,一时,使三甜如,,)取得最小值的口即为所求,即口满足:

旦墨掣:o:一(1+,7)√巧+,7口(8)求解式(8)可得:

口:11三至

,(9)

√(1+玎)2+叩2

当,尸0时,表示误包含带来的损失相对于漏包含带来的损失可以忽略不计,通过式(9)可得口=r,此时的矩形为圆的外接矩形.当,7=∞时,表示漏包含带来的损失相对于误包含带来的损失可以忽略不计,通过式(9)可得口=√2,./2,此时的矩形为圆的内接矩形.且因为czo,由式(7)可知,整个近似过程的代价上Dsf(日,,.)也很小.

在离散情况下,不妨设输入图像的采样步长为d2一蚪J,首先根据式(9)算出口的取值,计算L口以,一o.5j.然后,分别考虑边长为61=L册/,‘+o.5j卜l,62=L口甩/件o.5j,,634口以/件o.5Jf+l的3个正方形,分别记作%,厢,2和%.采用中点画圆法计算圆形窗口l,8离散点区域,同时统计出上面3种边长的正方形近似该圆形窗口的误包含区域和漏包含区域.取得脚(三晒f(形,厂))时的彤,即为所求的最优逼近圆形窗口的正方形窗口.图3中,当矿1时,一个直径为13的圆形窗口的最佳正方形逼近是一个边长为11个像素的正方形.

Fig.3Acirclewindowapproximatedbyarectanglewindowdiscretely

图3离散情况下圆形窗口的矩形窗口近似

2.2离散高斯卷积核的最优矩形平均算子近似

不妨设,×|Il的离散高斯卷积核为G,,^(f,),其中,4f/2且f过,/2上,0,_L^/2J与f丑Jj}/2上^o,,o=(f+1)mod2,^o=(斛1)mod2.采用f’×^’矩形平均算子4删(iJ)近似该高斯卷积核,由归一化约束条件可得:

3244乃“m口,矿跏腭软件学报v01.20,No.12,DeceInber2009机∽)=∽1尝一轧,陀J.p、Dmod2,1∥佗B尽M吖2j-研、D础(10)不难得到,f’≤f,.117勤,且其近似误差可表示为f’和_Il’的函数觑,,Jjl,,’,.Il’),满足:

脚/肛u芝“6魏叫∽吨砸∽I…)

i=一【J72J』;’L^,2J

与第2.1节类似,可通过(,7,^’)=argtIlin(E(,^,7,^’))求取离散高斯卷积核的最优矩形平均算子近似4PJ,r(fJ).

在实际的图像相关应用中,,和^的取值一般不会很大.因此,对于给定的,和JIl,我们可以采用直接搜索的方法预先求出最优的,,和^7,故需要预先求出离散高斯卷积核Gf.^(f,).在视觉注意模型的高斯金字塔计算过程中,Burt和Adelson【15】采用5×5的离散高斯卷积核,并将2D离散高斯卷积转化为两次1D离散高斯卷积进行计算,即有

GL^(f力=G“f)G^∽(12)采用分段近似原则,即在给定的窗口采样步长△础dZ区域内,离散卷积核累积权值之和与连续卷积核权值积分相等,求取6f(f)和G^∽,见式(13).通常,取,F0,七=6.

盼。置去e-(,叫2坨‰(13)图4用阶梯线给出了,-5,9,33这3种情况下的一维离散高斯卷积核,其中虚线为连续高斯卷积核(,f=O,七=6).

(a)J25(b)}=9(c)卢33

Fig.41-DimensionaldiscreteGaussiankemel

图4一维离散高斯卷积核

由于1≤,’ql妫’劲,且,’和JII’均为整数,故对于给定的f和|jl,以l为步长搜索得到:

(f’,Jll’)=argmin(E(,,.jI,,7,JIl’)).

f’.^,

图5分别给出了煳=5,9,33时的二维离散高斯卷积核及其最优矩形平均算子近似和近似误差分布(第1行为离散高斯卷积核G』^(f√),第2行为误差随着矩形平均算子参数f『和_Il’变化的情况,第3行为取得最小误差时矩形平均算子近似离散高斯卷积核各点处误差分布).其中,第l行为通过式(12)求出的离散高斯卷积核,第2行为采用不同取值的,,和JIl’的矩形平均算子近似给定离散高斯卷积核时通过式(11)求取的误差联,,|Il,,’,.Il’),第3行为在给定离散高斯卷积核的最优矩形平均算子各点处的近似误差分布.在第1列中,仁|il=5,,=|II’=3,最小整体近似误差为目5,5,3,3)zO.4572;在第2列中,卢IIl=9,,,=JI’=5,最小整体近似误差为联9,9,5,5)*0.5708;在第3列中,,-|Il=33,,,=^I=17,最小整体近似误差为目33,33,17,17)硼.5847.与第2.1节类似,由于图像中局部区域像素取值高度相关,图像卷积后的误差远小于卷积核本身的误差,详见第4节的实验结果与分析.

张国敏等:基于近似高斯金字塔的视觉注意模型快速算法0.25

O.20

O.15

0.10

0.05

O.oo

1.4

岫焉

0.8

:二

(a)b知=5,r=F=3,脚.4572

(b)硒=9,,嘲k5,脚.5708

(c)醐-33,,嘲..17,£≈O.5847Fig.5RectaIlgularaverageoperatorsto印proximatediscrete

G卸ssiaIlkemeIs图5离散高斯卷积核的矩形平均算子近似3视觉注意模型快速计算方法

3245针对图l所示的显著性视觉注意模型中计算输入图像高斯金字塔的多尺度多通道特征时具有较大的计算量和中间结果存储鼍的特点,本文提出了基于近似高斯金字塔的视觉注意模犁快速算法,其结构如图6所示.

?首先,采用矩形平均算子近似2D离散高斯卷积核,在原图像上进行快速平均算子运算,并同时在行列

上均以1个像素的采样间隔输出结果图像.重复上述过程7次,便得到8幅尺度分别为o ̄7图像组成的近似高斯金字塔,从而实现了输入图像近似高斯金字塔的快速计算.其中,第O尺度图像为输入的原图像,第f(O<水7)尺度图像为原图像的l/2‘×1/2‘大小.

?然后,特征提取和Center.su肿und算子计算两个步骤则被合并为一个步骤,即特征提

取,Ceme卜surro咖d差异,下采样和归~化,从而使得需要保存的中间特征m印由7个特征通道的8尺度高斯金字塔减为7个通道共28幅4尺度(大小为原图像的1/16×1/16)的特征map.

?

最后,采用矩形窗口近似圆形窗口,结合矩形平均算子快速计算方法,实现了wTA与返回抑制的快速算法.本节首先给出实现矩形平均算子的快速算法。并以此为基础进行输入图像的高斯金字塔【”】快速计算和center.s哪。蛆d算子【5J快速计算,从而实现多尺度多通道特征分析;然后用矩形窗口近似圆形窗口,实现了带抑

制反馈的w1A【3-7l机制的快速算法:最后对提出的快速算法时空复杂度作详细分析和比较.

3246乃MM口f可跏陀软件学报v01.20,No.12,Decernbcr2009

/脚ut咄e/

:Fast他ct柚guIaravemgeopc粗nons!

//三然黑谴//

A啪dedk.cad册

Fjg.6Fastcomputationalarchjtectureofmesaljency-basedVisualattentionmodel

图6基于显著性的视觉注意模型快速计算结构

3.1矩形平均算子快速实现算法

将输入图像中点O∥)的RGB值【~,g。,br记作7(x,y),其中,o≤x虹,o≤∥毗和Ⅳ分别为输入图像的宽度和高度.设矩形平均算子为爿伍’,),’),O立’<z’,0≤),’<^’,其中,,’和^’分别为矩形平均算子的宽度和高度.不妨设在进行卷积时4“’,∥)中各点在工’方向和y’方向分别以△一和△,的采样间隔与原图像中的像素对应.本文无须计算在边界处的卷积,而将7(工,y)和4(一∥)卷积的结果记作j(,,y。),表示与输入图像中点@”缸“,,/2J∥”△,“.Il’/2j)对应的矩形平均算子卷积结果.显然,有0甄”d(J已一,’+1)/缸l,09”d(月“’+1)/~1.计算■(r,),。)的快速算法描述为:不妨设剧(L—f’+1)/△一I剑(H勘’+1)/△,l,先按式(14)进行行累加,并将行累加结果记作j。(,,.),)(否则,先按类似式(14)的方法进行列累加计算j。(工,y’),这样便可产生更少的中间结果).其中,0掣d(E—,,+I)/Arl,O≤),(H

4(z’,y)=∑7(工,y),工。=o

‘。

x.A,一1,一A,+,,一l

(14)丑(x。一1,y)一∑7(工,y)+∑j(工,y),1≤,<『(三一,’+1)/△,.]

再进行列累加,得到j(工。,y。),其中。立”寸(L一,’+1),缸],09’’寸(肛.Il’+1),兮].

彳(工。,),’)=∑互(x’,儿,=o

y-A,一ly,△,十^?一l

(15)j(x。,,一1)一芝互(J。,),)+∑互(工。,_),),l≤,<『(日一∥+1)/△门

最后,所得结果j(工。,y。)每点处的值乘以权值l/(f’.Il’)即可得所求矩形平均算子卷积结果.

图7为矩形平均算子快速算法的~个示意图.其中工=16舻16,,’25,.Il’=6,缸=l,△',=2.图中只计算了以黑色点为中心的,’xJjl’矩形区域的平均值.在计算行累加时,以点(7,O)处为例,其值为点(6,O)处的行累加值减去点(4,O)处的输入图像像素值,并加上点(9,0)处的输入图像像素值.在计算列累加时有类似的迭代关系.

张国敏等:基于近似高斯金字塔的视觉注意模型快速算法

3247Array Array

Fig.7Illus仃ationofthefhstcomputationalmethodfor化ctaⅡgularaVemgeoperation

图7矩形平均算子快速计算示意图

3.2基于近似高斯金字塔和Cente卜surround算子的多尺度多通道特征分析

不妨设用于产生输入图像五的七层高斯金字塔瓴lo≤f≤七)的离散高斯卷积核为G,'^’其中,Gf^的大小为,×111.由第2.2节可知,G,.^可用式(10)的矩形平均算子彳,’^,近似,则输入图像的高斯金字塔满足:

j:+l_j:盛q.一z五盛钆(16)

其中,固表示卷积运算,且在石方向和y方向分别以缸和砂的采样间隔输出卷积结果.

A‘却

显然,j:o4。可通过式(14)和式(15)的方法进行快速计算,这样便得到了输入图像时近似高斯金字’缸衄…’

塔.在视觉注意模型中,通常取肛8,,_Ill=5,缸=△),:2,由第2.2节可得,,.^’=3.

基于输入图像的近似高斯金字塔,可方便地采用center_sun饥md算子”】进行多尺度多通道特征分析.视觉注意模型中的C朋ter-surro衄d算子,其中心区域的图像在高斯金字塔中的层数为c∈{2,3,4},边缘区域所在的层数可以表示为产一点其中,魔{3,4}.在现有的方法中【3.71,边缘区域层通过插值到和中心区域层一样的尺寸后,其对应点在各个特征通道上的差异被作为Center-surround算子的计算结果,然后将所得结果分别进行归一化处理,并采样到第4层高斯金字塔图像尺度大小,在进行多次融合和归一化后,最后得到一张关于输入图像的全局显著性分布图,用于视觉注意区域的选择,其尺寸与第4层高斯金字塔图像大小相等.

本文则直接将中心区域层采样到第4层高斯金字塔图像尺度大小,并将边缘区域层也插值到第4层高斯金字塔图像尺度大小,然后分别计算两幅图像在多个特征通道上的差异,作为Center-surr0啪d算子进行多尺度多通道特征分析的结果.其中,采用的特征有亮度特型3’7】、“红.绿色对”和“蓝一黄色对”组成的颜色特征以及水平、垂直、左/右斜对角4个方向Gabor滤波器卷积结果的方向特征.

3.3wTA与已注意区域抑制反馈快速实现算法

不妨设输入图像的全局显著性分布图为&在视觉注意模型中【3.71,通过对半径为,的圆形窗口内显著性累加选择最大的区域.将其作为当前选择的视觉注意区域.同时,在显著性分布图s中将该区域的显著性置为O,从而实现了抑制反馈.具体过程如图l所示.显然,这样在进行每个显著性窗口选择之前,都需要计算全局显著性分

布图S中每个点的邻域内显著性之和.

通过将圆形窗口近似为矩形窗口,可以减少上述过程的计算量.其中,快速帆算法可简要描述如下:

(1)通过第2.1节的方法,求得半径为r的圆形窗口的最优近似矩形窗口,不妨设其长和宽分别为,和.II;

(2)采用式(14),式(15)的方法在全局显著性分布图s中计算每点邻域内的显著性之和,将其记作9;

(3)采用顺序比较,在9中选择出具有最大显著性的点对应的fx^矩形窗口,作为当前注意窗口.

乃砧研口,口厂.靶厅伽憎软件学报v01.20,№.12,Dec锄ber2009

通过快速wTA算法求取视觉注意窗口后,对已选择视觉注意窗口的显著性进行抑制,则不仅需要将S中该区域的显著性置为0,还需要修正F中的值,消除已选择注意窗口区域显著性对其他点邻域内显著性累加和的影响.

不妨设当前注意窗口在s中的中心位置为点(两加),将该点对应的f×.jl大小矩形窗口邻域中的点记作

%.巾(x,y),

其中勘_L∥2J鱼鱼o+Hf/2J执_L^/2J9缈o+^-LIIl/2J.

显然,窗口%,加中的点将影响到y中集合{(工∽‰一,立§勒+,J,o一^≤),90+JIl}上点的显著性,故对这些点的显著性进行修正,即可实现对当前选择的显著性区域%,蜥的抑制,其具体过程描述如下:

首先,在全局显著行分布图s中取部分点,得到%.蛐,见式(17):

‰瓴加黪力’甚砖矿L胪挺庐胪^(17)其中如一2件ls愿r0+2f.1∥o一2.jl+19,90+2III一1.

然后,采用式(14)和式(15)的方法计算%.加上投|Il大小矩形窗口的累加值,将其记作%.蛐,并用式(18)对F进行修正:

s7(工,y)÷一s’(工,y)一阡三.巾(x,J,)(18)其中加一2f+1立鱼o+2卜1执一2^+19每o+2|ll—1.

最后,采用式(19)将全局显著行分布图S中{0∥)k0-^立立o+,加瑚¥90柏)上显著性置0:

鼬川卜‰儿慧“”L胪挺届胪^(19)图8为已提取视觉注意窗口显著性抑制的示意图,其中,,-^=3.图8(a)为全局显著性分布图最图8(b)为对应的F;图8(b)中标记‘l’~‘4’点的值分别对应于图8(a)中标记‘l’~‘4’的窗口区域显著性的累加值.现考虑对以标记‘3’为中心的黑色点区域进行显著性抑制,则需要采用式(18)对F中浅灰色区域的值进行修改,然后采用式(19)将S中的黑色区域显著性值置为O.这样便对标记‘3’的显著性对应的视觉注意窗口完成了已提取区域的显著性抑制,从而可在S和y上进行下一视觉注意区域的提取.

(a)S(b)F

Fig.8Inhibitionofthesaliencyofex仃actedVisualattentionwindowregion

图8己提取视觉注意窗口区域显著性抑制

3.4算法复杂度分析与比较

比较图1和图6的基于显著性视觉注意模型结构图可知,本文在采用矩形窗口近似圆形窗口、矩形平均算子近似高斯卷积核后,分别在高斯金字塔的计算、Center_surround算子多尺度多通道特征分析以及带反馈的wTA视觉注意窗u提取3个方面对现有的显著性视觉注意模型‘3—71作了改进.为了方便讨论,不妨设输入图像

张国敏等:基于近似高斯金字塔的视觉注意模型快速算法3249

大小为厶H高斯金字塔的层数为七,层问采样间隔分别为△x和衄.下面分别对这3个方面改进所带来的时空复杂度变化进行分析.

在利用,妯大小的高斯卷积核计算输入图像的七层高斯金字塔时,不难得到其计算复杂度为

Df“圳删f堕坐螳m】.

I、L1一l/缸缈∥

设其对应的最优矩形平均算子大小为I’×_Il’,由式(14)和式(15)可知,本文的近似高斯金字塔的计算复杂度为Df鹏f些掣11.

LLl—l/啦),/J

在采用Center-s哪und算子进行多尺度多通道特征分析时,现有方法【3-7】需要存储的中间结果为输入图像7个特征通道的J}层高斯金字塔,为o【7£H(等)j.本文方法直接将其采样到第4尺度进行计算,从而需要保存28幅第4层高斯金字塔图像尺寸的中间结果,为0(28£剧(啦),)4).由于在计算过程中通常取山r=Ay=2,

故本文方法在该步骤需要保存和处理的中间结果约为原方法的O.021倍.

原有模型中。带反馈的帆方法在每提取一个视觉注意窗口时,需要在第4尺度的全局显著性分布图上计算每点处半径为,.圆形窗口邻域内所有点的显著性之和【3_7】,其计算复杂度为D(尢r2£聊(出却)4).而采用本文的带反馈的W1'A快速算法,在将半径为r的圆形窗口近似为,’×JIl’(不难得到,,-JII’≤2,)的矩形窗口后,只需修改局部区域内的显著性,由式(17卜式(19)可知,其计算复杂度为D(4,’.Il’).

3.5算法误差分析与说明

本文算法的误差主要来自于两个近似:使用矩形窗口近似传统模型中的圆形采样窗口,使用矩形平均算子近似高斯卷积核.其中,式(7)给出了采用矩形窗口近似圆形采样窗口的误差,代入参数计算可得,其误差通常小于0.2c.而第2.2节中通过实验得到使用矩形平均算子近似高斯卷积核时,卷积核的能量误差在O.45~0.60之间.所幸的是,上述步骤最终计算结果的近似误差不仅取决于卷积核的误差,还取决于输入图像各像素之间的相关性.而输入图像中局部邻域内各像素高度相关的性质,极大地减小了最终输出结果的误差.笫4节在Berkeley分割图像库上的实验中,使用矩形窗口近似传统模型中的圆形采样窗口,其相对误差约为O.02;使用矩形平均算子近似高斯卷积核时,其卷积结果的相对误差则降为了0.04 ̄0.06之间.第4节中的实验证明,这个比例的相对误差不会对视觉注意模型的最终结果带来实质性的影响.如图9中用黑色框标出的第1个视觉注意窗口的位置以及图lO中的主要视觉注意区域,均不会有太大的变化.

显然,由于图像中局部邻域内各像素相关性并不是均匀的,不同输入图像的不同区域。其各像素之间的相关性往往存在很大差异,很难对算法的实际误差进行量化分析.但我们可以定性地得出,在图像像素变化剧烈的边缘区域,各像素之间的相关性会比图像均匀区域各像素之间的相关性更弱,从而本文近似算法在边缘区域的误差将比均匀区域误差更大.第4节中的实验结果也证实了该结论.

4实验结果与分析

本文通过将矩形窗口近似为圆形窗口、将离散高斯卷积核近似为矩形平均算子,从而实现了基于近似高斯金字塔的视觉注意模型快速算法.为了验证本文算法的有效性,我们采用Berkeley分割图像库【16】上共300幅图像,在CPU主频为1.86GHZ、内存为1G、操作系统为windowsXP的Pc机上,用Visualc++实现上述算法进行实验,并将其与现有的视觉注意模型【3-71分别在效果上和时间性能上与ltti等人的算法【5】和Meur等人算法【3】进行了比较.最后发现,本文算法通过近似带来的误差对运行结果仅带来很小的影响。但算法运行时间却比现有算法要快许多.

图9为本文算法中间结果以及和Ini算法的对比。其中,标号为l的是Itti算法结果,标号为2的是本文算法结果.我们分别给出了两种算法的亮度特征显著性厶颜色特征显著性C、方向特征显著型D、全局显著性分

如“朋口,矿跏旭软件学报v01.20,No.12,December2009

布图S以及它们对应点之间的差(显示结果为:差值/2+128).其中,高斯金字塔层数扣8,采用5×5高斯卷积核,视觉注意窗口在原图像高斯金字塔第4层尺度的全局显著性分布图上半径为3.得到的最优矩形平均算子为3×3大小,最优矩形近似窗口为边长为4的正方形.

从图中可以看出,采用本文的近似快速算法,在亮度特征和颜色特征通道上几乎没有误差,而误差主要来自于通过4个方向Gabor滤波器卷积进行的方向计算.图9(m)和图9(o)分别给出了Itti算法和本文算法在输入图像上标注5个视觉注意窗口的运行结果,其中,黑圈表示第1个注意窗口.图9(n)和图9(p)则分别为其对应的全局显著性分布图在求取完视觉注意窗口后抑制的结果,其前4个视觉注意窗口位置一致.图9(q)则给出了两个算法在求取15个视觉注意窗口时计算时间的比较,其中,在求取第1个视觉注意窗口之前,需要计算全局的显著性分布图,本文提出的近似高斯金字塔和快速center-surround算法节约了将近一半的计算时间;在计算完第1个视觉注意窗口后,每提取一个窗口所需运行一次带反馈的wTA算法,故两个算法计算时间随着窗口个数的增加大约呈一条直线,而本文的带反馈的wTA快速算法使得每次抑制反馈时间约为原算法的l/4,故其方向更趋子水平.

(m)Attened咒gionsl

(o)Att∞edregions2(p)Supprcssed是

AtteⅡedregionco眦t

(q)computationaltime

Fig.9Inte册ediateresultsofthispaperandconlpadsonwiththoseofItti’smodel

图9本文中间结果以及与Ini模型结果的比较

张国敏等:基于近似高斯金字塔的视觉注意模型快速算法3251

Meur等人【31的算法主体上与图l的结构类似,但增加了一些如中心优先等心理学的模型,且采用了新的显著性分布图归一化算法.其运行结果常提取多个视觉注意窗口(15个左右),并将所得的视觉注意窗口生成高斯掩模,通过该掩模与眼球跟踪仪对人眼凝视图像时间和次数的高斯平滑结果的差异来评价算法性能的好坏.该模型中的多尺度多通道特征分析,仍然可以方便地基于本文提出的近似高斯金字塔实现,且在将其提取的圆形视觉注意窗口近似为矩形视觉注意窗口后,仍然可采用本文提出的带反馈的wTA快速算法实现各个视觉注意窗口的提取.图10给出了两种算法在BerkeIey分割图像库上的一些运行实例,其中,图10(a)、图10(e)列为输入的原图像,图lO(b)、图lO(f)列为Mellr算法对原图像掩模的结果,图lO(c)、图lO(g)列为本文算法对原图像进行掩模的结果,图10(d)、图lO(h)列则为两种算法提取的视觉注意窗口生成的高斯掩模之差(显示结果为:差值/2+128).其中,高斯金字塔层数舾8,采用5×5高斯卷积核,视觉注意窗口在原图像高斯金字塔第4层尺度的全局显著性分布图上的半径为3.得到的最优矩形平均算子为3×3大小,最优矩形近似窗口为边长为4的正方形,提取的视觉注意窗口个数为15个.从图10的运行结果可知,本文算法在人物、建筑、动物、野外等场景中均能取得良好的效果,其误差主要出现在注意区域的边界部分,而主要视觉注意区域均能正确提取,这并不影响到该模型在目标检测和图像压缩等方面的应用.表l给出了两种算法在各幅图像所消耗的时间,其中,按照从左往右、从上到下的顺序对输入图像进行编号.

(a)(b)(c)(d)(e)(f)(g)(h)

Fig.10Comparisonoftheresultsf.romthispaper如dMeur’smodel

图lO本文结果与Mellr模型结果的对比

3252乃Ⅳ埘口,矿s妒M甩软件学报v01.20,No.12,Decernber2009ThblelComputationaltimeofMeur’salgorinlmandthispaperinsomeimages

6.omBerkeleyimagesegmentationdatabaseinFig.1O

表1与Meur算法在图10中Berkeley分割图像库部分实例上运行时间对比

(s)(秒)

A螂mm—广—r—r—下—了—{1笙与—1广—广—矿—丌可

Meur’s3_3032.5002.5312.5002.4532.5622.4692.5472.6872.5472.4542.453

卫生P望竺!:!!!!:j;§!:i!!!:;箜!::箜!:j!i!::!!!::;!!::311:!;!!:j!i!:;翌

5总结

视觉注意模型在目标检测、图像分析和场景理解等领域中具有重要作用.它不仅可以减小系统的时空开销,而且还能在多方面提高系统性能.但是,现有视觉注意模型因为要计算各个特征通道的高斯金字塔,具有较高的时空开销,从而使得其应用范围受到很大的限制.本文用矩形平均算子近似离散高斯卷积核,并以此为基础得到基于近似高斯金字塔的视觉注意模型,实现了基于c明ter.surround算子的多尺度多通道特征分析快速算法,并将圆形窗口近似为矩形窗口,提出了带反馈的wTA快速算法.实验结果表明,这些快速算法在允许的误差范围内极大地降低了模型的计算时空代价.故本文提出的快速算法有望拓展视觉注意模犁的应用范围。如在嵌入式实时系统中实现场景分析.文中将离散高斯卷积核近似为最优矩形平均算子、将圆形邻域窗口近似为最优矩形邻域的方法,在其他图像分析相关问题中也有可能得到应用.

Refbrences:

【l】Naje舢ikJ.GeislerwS.opdmleyemovements仃ategiesinVisuaIse甜ch.Nan鹏,2005,434(3):387—391.

【2】I仕iL,KochC.Asali曲cy.b鹪edse眦h咄ch皿ismforoVert如dc0VenshiftsofVis岫l雒ention.visionResc眦h,2000,40(5):1489一l506.

【3】Mcur0L,calletPL,BarbaD。Tho他肌D.Acoher朗tco唧u眦io蚰l印pm∞htomodelbonom-upVislIala仳锄tion.IEEETr缸s.∞PattemAnalysis蛐dM∽hineIntcIlige∞e,2006,28(5):802—817.

【4】KochC.Ullm粕S.ShiftsinsclectiveVisual撕nti伽:Towardsthe

underlyingneuronalci托ui订y.Hum蛆Neufobiolo时,1985,4:

219—227.

【5】IttiL,l(ochC,Ni曲lIrEModelofsali印cy-b龉edvis眦Iatt锄tionforr叩idsccnc锄alysis.IEEETra地.onP此m

Analysis蛆d

MachineIntellig印ce,1998,20(11):1254一1259.

[6】waItherD,Kochc.Modelingan锄tiontos“即tproto—objects.Ne吼lN咖orks,2006,19(9):1395—1407.

f7】IniL,KochC.Co叩uta“o皿lmodelofVisIlal撕ntion.Nat岍RcVi删sNe啪scie眦e。200l,2(3):194—203.

【8】LeeK。BuxtonH,FengJ.cIIe.G1lided∞盯ch:AcomplItationalmodelof驼lectivc嘣皿ti彻.IEEE

Tram.仰N∞INetworks,2005,16(4):9lO一924.

f9】H如删,Ng姐KN,“MJ,zh龃glIJ.unsuperviscdex仃actionofVisul且n即tionobjec协incolorim唱cs.IEEETr缸s.∞circui协蚰dsyste眦forVideoTechllology,2006,16(1):14l—145.

【101ch蜘z.H龃J,Ng蛆KN.Dyn锄icbjtallocationformultiplc“d∞0bjectcod咄.IEEET珊s.∞Mullimcdia,2006,8(6):1117一1124.

【1l】IttiLAutomaticfoveationforvideo∞mprcssion璐ingan眦robiologicalmodclofVimalan∞ti仰.IEEETr蛆s.onImgeProccssing,2004,13(10):1304一1318.

【12】办柚gP,w柚gRS.Detec血gsali朋t障gionsb鹊edonIocationsh讯andextentn.ace.Jo哪alofsofhⅣ盯e,2004,15(6):89l一898(inchinesewithEnglishabs订∽t).h卸:,,w刚yjos.org.c“1000—9825,15/891.h咖

【13】PriVit盯acM,starkLw.Algorithmsfordefiningvis吡Ircgio璐一of.intc他st:Compafisonwithcyefixatio璐.IEEE

Tr锄.叩P缸啪

AnalysisandM∞hineIntellig印ce,2000.22(9):970一982.

[14Jsiagi柚C,IniL.RapidbioIogicaIIy-impiredsc即ecI豳sific砒ion璐ingfcahnssh盯edwithvisu丑lan饥tion.mEETr姐8.onPatt唧A阻lysis柚dM∽hineIntellig%ce,2007,29(2):300一312.

张国敏等:基于近似高斯金字塔的视觉注意模型快速算法【15】

【l6】3253

BunPJ,AdeIs∞阴.TheL印laci如pyra_mid龉acompactimgecode.IEEETr枷.onComm如icati∞s,1983,c0M-3l(4)532—540.

Berkele叫im鹋esegm∞tati伽data_b鹋e.2007.htIp://刚哪.cs.bcrkcley.cd嘶印i∞协/visio嘶印uping,segb∞cll/

附中文参考文献:

【12】张鹏,王润生.基于视点转移和视区追踪的图像显著区域检测.软件学报,2004,15(6):89l一898.http:/^^一阿rj08.盯g.cn,1000一9825/15,891.h咖

张国敏(1980一).男,四川隆昌人,博士生,CCF学生会员,主要研究领域为图像处理。模式识别.

殷建平(1963一),男,博士.教授,博士生导师,ccF高级会员,主要研究领域为模式识别与人工智能.网络算法与信息安全.祝恩(1976一),男,博士,副教授,主要研究领域为图像处理.模式识别.

毛玲(1980一).女,博士生,主要研究领域为

智能信号处理.模式识别.

基于近似高斯金字塔的视觉注意模型快速算法

作者:张国敏, 殷建平, 祝恩, 毛玲, ZHANG Guo-Min, YIN Jian-Ping, ZHU En, MAO Ling

作者单位:张国敏,殷建平,祝恩,ZHANG Guo-Min,YIN Jian-Ping,ZHU En(国防科学技术大学,计算机学院,湖南,长沙,410073), 毛玲,MAO Ling(国防科学技术大学,电子科学与工程学院,湖南,长

沙,410073)

刊名:

软件学报

英文刊名:JOURNAL OF SOFTWARE

年,卷(期):2009,20(12)

引用次数:0次

参考文献(17条)

1.Najemnik J.Geisler WS Optimal eye movement strategies in visual search 2005(3)

2.Itti L.Koch C A saliency-based search mechanism for overt and covert shifts of visual attention 2000(5)

3.Meur OL.Callet PL.Barba D.Thoreau D A coherent computational approach to model bottom-up visual attention 2006(5)

4.Koch C.Ullman S Shifts in selective visual attention:Towards the underlying neuronal circuitry 1985

5.Itti L.Koch C.Niebur E Model of saliency-based visual attention for rapid scene analysis 1998(11)

6.Walther D.Koch C Modeling attention to salient proto-objects 2006(9)

7.Itti L.Koch C Computational model of visual attention 2001(3)

8.Lee K.Buxton H.Feng J Cue-Guided search:A computational model of selective attention 2005(4)

9.Han JW.Ngan KN.Li MJ.Zhang HJ Unsupervised extraction of visual attention objects in color images 2006(1)

10.Chen Z.Han J.Ngan KN Dynamic bit allocation for multiple video object coding 2006(6)

11.Itti L Automatic foveation for video compression using a neurobiological model of visual

attention 2004(10)

12.Zhang P.Wang RS Detecting salient regions based on location shift and extent trace 2004(6)

13.Privitera CM.Stark LW Algorithms for defining visual regions-of-interest:Comparison with eye fixations 2000(9)

14.Siagian C.Itti L Rapid biologically-inspired scene classification using features shared with visual attention 2007(2)

15.Burt PJ.Adelson EH The Laplacian pyramid as a compact image code 1983(4)

16.Berkelery image segmentation database 2007

17.张鹏.王润生基于视点转移和视区追踪的图像显著区域检测[期刊论文]-软件学报 2004(6)

相似文献(10条)

1.会议论文张国敏.殷建平.祝恩.胡春风视觉注意机制在车牌定位中的应用2007

车牌定位是车牌自动识别系统中需要计算资源较多,影响系统性能较大的关键步骤之一。本文基于视觉注意机制,结合车牌识别系统中车牌定位的特点,分别从图像采集、定位算法两个方面对现有的车牌定位方法进行了改进,得到了关于图像像素个数呈线性时间复杂度的车牌定位算法。以仅采用字符垂直方向边缘密度特征为例,本文实现了基于视觉注意机制的车牌定位算法。实验结果表明,该算法能够尽早有效地排除伪车牌区域的干扰,快速定位出车牌区域。

物体显著性研究是计算机视觉领域的热点问题之一,模拟人眼视觉注意特性的显著区域提取方法是其中一条重要的研究途径。目前为止,针对静态图像已有较为成熟的显著区域提取方法进行处理。对于视频,人的视觉系统有一个重要的特点,不仅需要考虑物体的静态显著度(如亮度、颜色、与周围物体对比度),而且需要考虑物体的运动显著度。如何设计物体显著区域提取方法,从而接近甚至达到人眼视觉注意性能,仍然具有挑战性。

视觉研究本身是一个跨学科领域的问题,涉及到计算机视觉及神经生物学这两个截然不同的学科。本论文研究视觉注意特征和物体显著性提取算法,主要从计算机视觉这一角度出发进行阐述,内容上,本论文就近年来在此领域内的进展作一综述,并着重分析自底向上的显著性提取模型;而后以计算机视觉的语言详细解析视频中物体的运动显著性和静态图像中物体的显著性,设计和提出了基于视觉注意机制的物体显著性提取算法,并完成了相关实验。实验结果表明了这种物体显著性提取方案的可行性。

本论文的主要工作和创新点包括以下几个方面:1. 研究和比较了视觉注意领域内的物体显著性提取模型和算法,并分析其优缺点。

2.基于视觉注意特征,提出视频中物体的运动显著性提取算法。

首先对视频进行分割,对于一组连续的视频帧序列,通过块匹配算法得到运动向量表示,然后从视频帧中提取区域显著特征,接着给出基于运动向量的运动显著性提取算法,建立算法的基本框架。

3. 研究静态图像中物体显著性的提取方法,分析了谱残余算法和增量编码长度算法的流程。相对于传统特征提取方法得到的静态显著图,谱残余算法更加明显地突出显著区域,增量编码长度算法具有一定的神经生物仿生依据。

4. 从视觉注意机制上考虑视频中物体的整体显著性,分析了运动显著性和静态显著性对视觉注意的影响,提出通过混合准则构成物体的整体显著性,给出了合成方法。计算机实验结果显示提出的算法有不错的效果。

3.期刊论文姜涛.蒋兴舟.JIANG Tao.JIANG Xing-zhou局部空间-时间显著性的表达过程蕴涵对空间显著性的表达

-海军航空工程学院学报2005,20(6)

建立的基于独立成分分析进行特征提取器的学习,进而模拟人类对视觉信息的局部空间-时间显著性的表达过程的计算模型,蕴涵了对局部空间显著性的有效表达;从而当据其设计为机器人主动视觉的注意机制的视线控制而用的算法,可以同一个处理过程适用于动态场景或静态场景的情形.对获自动态场景的特征提取器的频率特性的分析,揭示了此种内在的包含性的成因;算法的实验结果显示了局部空间-时间显著性表达过程对静态场景的局部空间显著性可有效表达.

4.学位论文陈嘉威视觉注意计算模型的研究及其应用2009

视觉注意是人类信息加工中一项重要的心理调节机制,是人类从外界输入的大量信息中选择和保持有用信息,拒绝无用信息的意识活动,是人类视感知过程中高效性和可靠性的保障。视觉注意计算模型的研究,不但有助于探索人类视觉信息处理的工作机理,而且对于解决数据筛选问题和提高计算机的信息处理效率有着重要的意义,在图像分析与图像理解领域、目标检测、信息检索、机器人视觉、视频通讯等领域也有重要的应用价值。

本文对视觉注意机制及其计算方法进行了深入而细致的研究:分析总结了视觉注意机制的认知神经学理论和神经加工机制;以人类视觉加工的生理学理论为依据,紧密结合计算机视觉计算的要求,构建了一个由特征加工、注意集中和注意控制三部分组成的动态视觉注意计算模型的体系结构。提出了一种双通路和层次化的特征加工结构;提出了一种深度特征和运动特征度量方法,以反映场景时空特性对视觉注意的影响;通过IFNN神经网络模拟双通路的特征整合过程,实现注意的集中;提出了一种具有注意保持和唤醒功能的注意控制方式。在此基础上,实现了一个基于客体选择的动态视觉注意计算模型。实验表明:本文所提出的计算方法是富有成效的。

本文首先总结了视觉注意机制的认知神经科学及心理学理论,从生物视觉领域找出计算机视觉可借鉴的神经生理学依据,并以之为出发点,寻找认知心理学中注意机制与计算机科学的结合点,构建一个动态视觉注意计算模型的体系结构,并将视觉注意计算划分为特征加工、注意集中和注意控制三个模块,实现认知神经科学与视觉计算的结合。

在特征加工的过程中,解决了特征的选择,特征的显著性度量和特征加工的层次三个方面的问题。在特征选择方面,将特征分为空间特征与非空间特征两类,空间特征的提取是通过提出一种深度特征与运动特征的计算方法来实现的,用以反映场景的时空特性对视觉注意的影响;非空间特征通过提取亮度、颜色和方向特征得到。各类特征的显著性度量依据视觉反差计算实现。根据生物视觉中特征加工层次和功能的差异,空间特征与非空间特征通过模拟what和where双通路理论进行加工,各类特征的显著图由子特征之间相互竞争和整合得到。

在注意集中方面,以视觉通路理论为指导,通过使用亮度特征、颜色特征和方向特征等非空间特征来描述物体的感受,模拟what通路的主要功能

;运动特征和深度特征等空间特征用来描述场景的运动和空间信息,模拟where通路的功能。两个通路的整合通过带有自学习和可调节机制的IFNN神经网络实现。根据神经网络的脉冲发放时间进行注意焦点的选择,当两个通路的输入相关联的时候,神经网络产生最大的增益,输出单元的脉冲发放时间会比非相关单元的发放时间更短。

在注意控制方面,根据视觉注意的神经控制特点,提出了一种动态视觉注意模型的注意控制方式。通过一个唤醒信号来描述视野中新异刺激的强度,根据唤醒信号的大小开启或屏蔽阈值来控制注意保持与注意唤醒状态的转换。采用注意焦点跟踪算法来实现动态场景的注意保持;并提出了一种位置增强方法,以提高新异刺激所在位置的视觉显著性。

本文的研究比较完整地给出了视觉注意计算的思想与方法,实现了一个适用性较强的动态视觉注意计算模型,并提高了该计算模型的理论价值和应用价值。实验表明,本文提出的模型较好地运用了视觉认知规律,使视觉注意处理结果更加符合人类视觉感知的基本特征。

5.期刊论文桑农.李正龙.张天序人类视觉注意机制在目标检测中的应用-红外与激光工程2004,33(1)

根据人类视觉感知理论,在介绍了两种比较有代表性的视觉注意模型的基础上,采用bottom-up控制策略的预注意机制和top-down控制策略的注意机制,提出了一种适用于自动目标识别的目标检测算法.从输入图像出发,采用Gabor算子建立多尺度、多方位的多通道图像,通过全波整流和各通道间的对比度增益控制,得到多尺度、多方位的方位特征图,这些特征图的线性组合则为显著性图.给出了仅采用bottom-up控制策略的船舶目标检测实验结果,待检测目标在显著性图中得到明显增强,有利于检测的实现.

6.期刊论文张鹏.王润生基于视点转移和视区追踪的图像显著区域检测-软件学报2004,15(6)

借鉴心理学中有关视觉注意的研究成果,提出了一个基于视点转移和视区追踪的显著区域检测模型.它首先通过视点转移利用全局显著性度量找到显著区域的位置,然后通过视区追踪利用局部显著性度量确定显著区域的尺寸,并通过视点转移与视区追踪的循环交替依次得到一系列显著区域.根据该模型开发出了一个新的显著区域检测算法.将其应用于多种真实图像,在检测效果、运算速度和抗噪能力等方面均获得了较为满意的实验结果.

7.期刊论文郑雅羽.田翔.陈耀武.ZHENG Ya-yu.TIAN Xiang.CHEN Yao-wu基于时空特征融合的视觉注意模型-吉

林大学学报(工学版)2009,39(6)

为了对人类视觉系统(HVS)中的注意机制进行建模,提出了一种基于时空特征融合的视觉注意模型.该模型以亮度对比度、纹理复杂度和前景物体的运动信息等三种初级视觉特征为基础,在自底向上的可计算架构上,采用空间域和时间域的特征融合方式,计算场景的视觉显著性图.试验结果表明,使用该模型可以对场景各个区域的显著性进行有效分析;与Wahher和You视觉注意模型的对比结果也证明了该模型可以更准确地提取出场景的注意焦点(FOA).

8.期刊论文田媚.罗四维.黄雅平.赵嘉莉.Tian Mei.Luo Siwei.Huang Yaping.Zhao Jiali基于局部复杂度和初级

视觉特征的自底向上注意信息提取算法-计算机研究与发展2008,45(10)

借鉴心理学中有关视觉注意的研究成果,提出了一种新的自底向上的注意信息提取算法.自底向上的注意信息由图像中每个点对应区域的显著性构成,区域的尺度自适应于局部特征的复杂度.新的显著性度量标准综合考虑了局部复杂度、统计不相似和初级视觉特征这3个方面的特性.显著区域在特征空间和尺度空间中同时显著.获取的自底向上的注意信息具有旋转、平移、比例缩放不变性和一定的抗噪能力.以该算法为核心,构建了一个注意模型,将其应用于多幅自然图像的实验证明了算法的有效性.

9.学位论文葛涛基于动态阈值的图像显著区域层次检测方法2006

显著区域检测是近年来非常活跃的研究方向。目前已经存在一些显著区域检测方法。这些方法主要有:基于对比的模糊增长方法、基于SVM的显著区

的相关性,因此,也无法得到令人满意的结果。

论文改进了基于层次的显著区域检测模型。把原始图像分层,首先针对每一层,计算显著性特征,然后再把各层的显著性特征值叠加,通过动态阈值获得最终的显著区域。

论文针对每一层,分别提取底层特征、计算显著性特征,包括:亮度显著性、饱和度显著性和色彩显著性。然后综合加权上述各个特征,得到较为合理的显著性。该改进模型综合考虑各个特征,可以减少噪音像素对显著区域检测的影响。

论文分析了图像的概率特性后,提出了用二维正态分布函数表示图像像素间的相关性的方法。该方法可以保证显著区域提取的连贯性,也综合考虑了像素间的关系,能减少噪音像素对显著区域提取的影响。

把各层计算所得的结果叠加,考虑到图像的统计特点,通过引入动态阈值,得到最后的显著区域。动态阈值方法不受原始图像的影响,有较好的适应性。我们将此方法应用于真实图像,得到了令人满意的检测结果。

10.期刊论文葛涛.冯松鹤.GE Tao.FENG Song-he基于层次和动态阈值的图像显著区域检测方法-计算机应用

2006,26(11)

发展完善了基于层次的显著区域检测模型.把原始图像分层,对每层分别提取底层特征,计算显著性特征,包括亮度显著性、饱和度显著性和色彩显著性.考虑到图像的概率特性,通过引入二维正态分布函数,准确合理地表示图像像素间的相关性.把各层计算所得的结果叠加,通过引入动态阈值,得到最后的显著区域.动态阈值方法不受原始图像的影响,有较好的适应性.将此方法应用于真实图像,得到了令人满意的检测结果.

本文链接:https://www.doczj.com/doc/fc3805340.html,/Periodical_rjxb200912011.aspx

下载时间:2010年5月10日

相关主题
文本预览
相关文档 最新文档