光 学 学 报
ACTAOPTICASINICAVol.28,No.4April,2008基于Contourlet变换的区域特征自适应图像融合算法
刘 坤 郭 雷 常威威
(西北工业大学自动化学院,陕西西安710072)
摘要 Contourlet变换克服了小波变换在处理高维信号时的不足,比小波变换具有更好的方向性、较高的逼近精度和更好的稀疏表达性能。因此将Contourlet变换应用于图像融合领域,能更好的提取图像边缘特征,为融合提取更多的特征信息。基于Contourlet变换的区域特征自适应图像融合算法是将图像进行Contourlet变换分解后,针对不同的频率域特点选择不同的融合规则,针对高频系数特性选用了区域特征自适应的融合规则,最后通过重构得到融合图像。将基于小波变换的融合算法和本文所提算法进行了主观和客观的对比,结果表明,基于Contourlet变换区域特征自适应的图像融合算法是一种有效可行的图像融合算法。关键词 图像处理;图像融合;Contourlet变换;融合规则中图分类号 TP391 文献标识码 A
RegionalFeatureSelf2AdaptiveImageFusionAlgorithmBasedon
ContourletTransform
LiuKun GuoLei ChangWeiwei(SchoolofAutomation,NorthwesternPolytechnicalUniversity,Xi’an,Shaanxi710072,China)
Abstract Contourlettransformovercomestheweaknessofwavelettransformindealingwithhigh2dimensional
signals.itprovidesaflexiblemultiresolution,localanddirectionalimageexpansionandasparserepresentationfortwo2dimensionalpiecewisesmoothsignalresemblingimages.Itcansatisfytheanisotropyscalingrelationforcurves,andthusoffersafastandstructuredcurvelet2likedecomposition.Whencontourlettransformisappliedtoimagefusion,thecharacteristicoforiginalimagescanbeeffectivelyextractedandmoreimportantinformationispreserved.Thefusionalgorithmbasedoncontourlettranformcanbedividedintothreesteps.Firstly,theoriginalimagesaredecomposedwithcontourlettransform.Secondly,becausedifferentfusionrulesfitdifferentfrequencybands,wedesignedtheregionalfeatureself2adaptivefusionruleisusedinhigh2frequencydomain.Finallythefusedcoefficientsarereconstructedtoobtainfusionresults.Twosetsimagesaretakenasexperimentaldata,subjectiveandobjectivestandardsareusedtoevaluatetheresults,andcomparisonwithresultsbasedonwavelettransformisalsocarriedout.Theresultsshowthatthismethodgetsbetterfusionresultsthanwavelettranform.Andtheregionalfeatureself2adaptiveimagefusionalgorithmbasedoncontourlettransformisaneffectiveandfeasiblealgorithm.Keywords imageprocessing;imagefusion;contourlettransform;fusionrule
1 引 言
目前传感技术的迅速发展使得获取图像的方式越来越多,随着数据量的剧增大量的信息难以利用,因此图像融合技术成为研究的热点。图像融合技术就是将不同传感器获得的冗余及互补信息进行整合,提高图像信息的可靠性及信息的利用率。小波分析变换在时域和频域的局部性、多分辨率方面有良好的特性,因此将小波变换应用在图像融合是研
收稿日期:2007207220;收到修改稿日期:2007210222
基金项目:国家自然科学基金(60675015)资助课题。
究的热点内容[1～3]。当推广到二维或更高维时,由一维小波张成的可分离小波只具有三个方向而且是
各向同性的,又由于小波基的支撑区间为不同尺寸大小的正方形,因此小波变换适合于描述各向同性的点状奇异性,不能“最优”表示含“线”或者“面”奇异性的高维函数,因此无法精确的表达图像边缘方向信息[4]。针对上述缺点,需要发展新的高维函数的最优表示方法,Do等[5]提出了一种“真正的”二维
作者简介:刘 坤(1982-),女,河北唐山人,博士研究生,主要从事图像融合等方面的研究。E2mail:cc_liukun@163.com导师简介:郭 雷(1956-),男,山东人,教授,博士生导师,主要从事神经计算、视觉计算、图像和视频处理以及模式识别等方面的研究。E2mail:lguo@nwpu.edu.cn
682
光 学 学 报28卷图像的表示方法,即Contourlet变换。Contourlet基的支撑区间是随尺度而变化的“长条形”结构,因
而具有比小波变换更好的多分辨率、局部性、方向性和各向异性,能更加有效地捕获图像的边缘信息。
将Contourlet变换引入图像融合,可以更好的保留原始图像的细节信息,提取图像的轮廓特征,为融合图像提供更多更全面的特征信息。根据Contourlet变换的特点本文研究了有效的图像融合规则,提出了一种基于Contourlet变换的区域特征自适应图像融合算法。通过两组图像融合的实验,结果表明,本文提出的算法是一种有效可行的图像融合算法,也验证了Contourlet变换在图像边缘信息表达的良好能力。
除后运用DFB以捕获高频信息。
图1为Contourlet变换对图像的多尺度多方向分解过程。假设输入图像是a0[n],LP的输出为J个带通图像bj[n],j=1,2,…,J以及一个低频图像aJ[n],即LP的第J级分解将图像aj-1[n]分解成低频图像aj[n]和一个高频图像bj[n],每一个高频图像bj[n]进一步被lj层DFB分解为2lj个方向高频图像cj,k[n],k=0,1,...,2lj-1。
(l)j
2 图像的Contourlet变换
Contourlet变换是2002年Do等提出的一种
“真正的”二维图像表示方法,可以很好地抓住图像的几何结构[5]。Contourlet变换将多尺度分析和方向分析分开进行,首先由拉普拉斯金字塔(Laplacianpyramid,LP)变换对图像进行多尺度分解以“捕获”点奇异,LP分解是将一个原始信号分解为一个低频信息以及原始信号和预测信号的差值的带通信号。随后对每一级金字塔分解的带通信号进行方向滤波,由方向滤波器组(Directionalfilterbank,DFB)将分布在同一方向的奇异点合成为一个系数。LP和DFB都具备完全重构特性,其组合而成的离散Contourlet变换也能实现完全重构。1992年,Bamberger和Smith构造了一个二维分布反馈(Distributedfeedback,DFB)[5],是一个完全重构的方向滤波器组。DFB对图像进行L层的树状结构分解,在每一层将频域分解成2个子带,每个子带呈楔形。在Contourlet变换中,Do等[6,7]提出了一种新的构造方向滤波器组的方法,该方法使用扇型结构的共轭镜像滤波器组以避免对输入信号的调制,同时将L层树状结构的方向滤波器变换成2l个并行通道的结构,简化了树分解的规则。即通过一个扇形结构滤波器组的扇形方向频率切分滤波器和二次取样的“旋转”的适当组合对方向频率实现精确的划分,同时保持样本数目不变。将LP和DFB结合到一起,可以构成一个双滤波器组结构。由于DFB的设计是针对捕获图像中的高频信息的,对于
l
图1Contourlet变换对图像的多尺度多方向分解Fig.1Multi2dimensionalmultidirectionalcontourlet
transformdecompositionframework
由一维小波张成二维小波基的支撑区间是正方形的,因此在逼近奇异曲线时最终表现为用“点”来逼近的过程。当尺度变细时,非零的小波系数的数目以指数形式增长,出现了大量不可忽略的系数,最终表现为不能“稀疏”地表示原函数。Contourlet基的支撑区间具有随尺度而长宽比变化的“长条形”结构,这种结构可达到用最少的系数来逼近奇异曲线,因此“稀疏性”较小波更好,而这种结构实际上是方向性的一种表征,因此Contourlet变换的每个尺度可以有不同数目的方向。Contourlet变换的最终结果是用类似于轮廓片段(Contoursegment)的基结构来逼近图像,这也是称之为Contourlet变换的原因[8,9]。
3 基于Contourlet变换的区域特征
自适应图像融合算法
Contourlet变换继承了小波变换空间和频域的
局部性,由于Contourlet基的长宽比可变,所以它是一种灵活的多分辨率多尺度分解,比小波变换具有更强的方向性,可以非常有效的表示信号中具有方向性的奇异性特征,如图像的轮廓、边缘以及纹理等,因此将Contourlet变换引入图像融合可以为融合图像提供更多的特征信息。本文提出一种基于Contourlet变换的区域特征自适应图像融合算法,融合算法的具体实现如下:
1)Contourlet变换分解:对已配准的待融合图
低频信息的处理是有限的。因此仅仅依靠DFB不能有效地对图像稀疏进行表示,这就需要将DFB与多尺度分解相结合,通过多尺度分解将低频信息去
4期刘 坤等: 基于Contourlet变换的区域特征自适应图像融合算法683
像A和B分别进行Contourlet变换分解,得到各自的Contourlet变换系数CoA和CoB,图1表述了
Contourlet变换分解系数的中所包含的高频信息图像和低频信息图像。
2)融合规则:由于Contourlet变换分解后的低频信息和高频信息具有不同的物理意义,因此在融合过程中,需要对图像的高频细节信息和低频近似信息加以区分,采用不同的融合算子和融合规则。
)低频信息融合规则:Contourlet分解后的低ⅰ
频信息反映的是图像的概貌信息。由于分解过程中的抽取,经过多层分解后低频子图像成倍缩小,为使融合图像中保留的更多的两幅图像中的原始信息,故对变换后两幅图的低频信息取加权平均分量作为融合图像的低频分量。
)高频信息融合规则:Contourlet变换中的高ⅱ
频细节信息中包含着丰富的图像特征细节信息。其中高频信息中绝对值较大的系数对应着一些突变,如图像的边缘、纹理等重要特征信息。由于图像的特征信息不是由单一的一个像素所表征的,而是由这一区域特征的多个像素来表征和体现,且这一区域内各个像素具有较强的相关性[10,11]。基于区域特征的融合规则是将某位置处的区域能量、方差等特征作为一种测度来选取该位置处的系数,区域窗口大小一般取3×3或5×5窗口。根据区域特性确定该区域的中心像素点的值,该像素点值是考虑了相邻区域内的信息,增强了图像区域内像素点的相关性。因此高频信息的融合规则选择基于区域特征的算法有利于提取原始图像中的特征信息。高频分量选择以空间频率为度量标准结合自适应因子进行基于区域的自适应融合。图像的空间频率反映了一幅图像在空间域的总体活跃程度。图像的空间频率定义为
FS=
M-1N-1
尺度下相同方向的以(i,j)为中心的局部区域的空间频率,根据(4)式可以得到对应尺度下相同方向的融合后高频系数中(i,j)处的灰度值I(i,j),即 I(i,j)=
α+HB(i,j)×FSB×βHA(i,j)×FSA× ,(4)
α+FSB×βFSA×
式中HA(i,j)和HB(i,j)分别为两幅待融合图像相应尺度下相同方向的高频信息中对应的像素点,
α和β分别为FSA和FSB分别为对应的空间频率值。
调节因子,且通常在01之间。如果FSA≥FSB时,α=1且β为FSB与FSA的相对比例;如果当FSA 合的高频成分中保留更多有用的信息。 3)Contourlet变换重构:根据上述步骤中确定的新的融合低频分量和不同尺度下不同方向上的高频分量进行Contourlet变换重构,得到最终的融合图像。 4 实验结果及分析 在以往的研究中,基于小波变换的图像融合多采用Mallat分解以及átrous分解。因此本文通过两组实验对其进行比较和分析。首先,我们选取一组经过严格配准的多聚焦图像进行融合实验。为了验证算法的有效性,将基于Contourlet变换的区域特征自适应图像融合算法和目前经典的基于Mallat分解的小波算法以及经典的Contourlet高频绝对值极大法进行了对比。其中,经典的基于Mallat分解的小波算法采用分解3层,高频信息选择常用的绝对值最大的融合规则。从图2中可以看出,基于Mallat的经典算法得到的融合图像在边缘特征的表述上较为模糊并出现了重影现象,在小闹钟的上边缘出现了明显的断裂感;经典的Contourlet高频绝对值极大法在边缘的表述上有了改善,但对图像中的细节信息表述效果一般,如钟表中的数字以及字母;本文的算法得到的融合图像能够有效集中源图像中清晰部分特征信息,对边缘以及图像细节信息表述得更为清晰突出,主观目视效果更好。 FR+FC, 22 (1) 式中RF为图像的行频率,FC为图像的列频率。 FR= 1M×N i=0 ∑∑ j=1 [F(i,j)-F(i,j-1)], (2) 2 FC= 1M×N N-1M-1 j=0i=1 [F(i,j)∑∑ -F(i-1,j)], (3) 2 首先,需要把Contourlet变换分解系数分割为 一些互不重叠的大小为3×3或5×5区域;其次,分别计算两幅图像Contourlet变换分解系数中对应 684 光 学 学 报28卷图2多聚焦图像融合实验Fig.2Multi2focusimagefusionexperiments 图3对小波变换以及Contourlet变换得到的融合图像局部区域放大效果进行了对比,其中图3(a)中上侧和图3(b)中左侧的为小波变换得到的融合图像的区域放大图,图3(a)中下侧和图3(b)中右侧的为Contourlet变换得到的融合图像的区域放大图,可以清晰地看出小波变换得到的融合图像在边缘部分出现了明显的重影和模糊现象,Contourlet变换在边缘特征的表述上要优于小波变换,且Contourlet变换得到的融合图像的边缘也更加光滑 失真小。由于小波变换的支撑区间为不同尺寸的正方形,而Contourlet变换支撑区间为长宽比可变的“长条形”结构,因此Contourlet变换能比小波变换更加有效地捕获图像中的边缘信息。 除了主观的视觉评价,还需要定量的对融合效果进行评价,选用相关系数(Correlationcoefficient)、扭曲程度(Distortdegree)、信噪比(Signal2to2noiseratio,SNR)以及信息熵(Entropy)这四种客观指标对融合结果进行评价。其中,相关系数和信噪比越大表示融合图像与理想图像的差异越小;扭曲程度越小表示图像的失真程度越小;信息熵是衡量图像信息丰富程度的重要指标,信息熵越大表示图像包含的信息越丰富。表1对比了图2中三种算法对多聚焦图像获得融合图像的客观评价指标。与主观视觉分析一致,本文算法获得的融合图像对应的四项指标在 图3融合图像局部区域放大效果对比 Fig.3Comparisontheamplifiedeffectsoflocal2region offusionimages 这三种算法中都是最优的。表明基于Contourlet变换的区域特征自适应图像融合算法获得的融合图像与理想图像的差异最小,且能有效地提取原始图像的信息。 表1多聚焦融合图像性能客观评价 Table.1Objectiveevaluationoffusionperformanceaboutmulti2focusimages Correlationcoefficient ClassicalMallatalgorithmClassicalcontourletalgorithmContourletself2adaptive 0.98910.98920.9915 Distortdegree 4.11644.12003.5360 SNR16.536916.306417.0288 Entropy7.34817.43547.4498 4期刘 坤等: 基于Contourlet变换的区域特征自适应图像融合算法685 为了进一步验证基于Contourlet变换的区域特征自适应图像融合算法的有效性,进行了第二组 实验。实验选取如图4(a)和图4(b)所示的红外与可见光图像进行融合。图4(c)～图4(f)分别为经典的基于Mallat分解的高频绝对值极大法、经典的基于átrous分解的高频绝对值极大法、基于átrous分解且选择与本文算法相同的融合规则átrous自适应法以及本文的基于Contourlet变换的区域特征自适应图像融合算法。可以看出基于Mallat算法分解的抽取使融合图像4(c)中出现锯齿现象,为后续处理引入噪声不利于进一步的分析 和理解。átrous算法在一定程度上弥补了Mallat算法的缺陷。átrous算法分解时没有抽取和重构时插值的操作,避免了引入虚假信息,但是以冗余度代价换得小波变换的平移不变性。图4(d)～图4(f)都获得了较为清晰和光滑的融合效果,但是从主观视觉上可以明显看出本文算法获得的融合图像[图4(f)]衬比度高,效果清晰,背景信息丰富,图像中的栅栏、草丛、道路以及房屋的特征相对于其他融合算法获得的融合图像都更为清晰。从主观目视角度,基于Contourlet变换的区域特征自适应图像融合算法更加清晰地显示整个图像所包含的信息。 图4红外与可见光图像融合实验 Fig.4Infraredandvisuallightimagefusionexperiments 除了主观视觉的评价,通过清晰度(Averagegradient)、信息熵以及标准差(Squaredifference)定量评价不同的方法用于红外与可见光图像融合的性能。从表2中可以看出基于Contourlet变换的区域特征自适应图像融合算法各项指标均为最优的,与目视结果一致。选择有效的融合规则是提高融合图像视觉效果的重要途径。实验表明,选择与本文算法相同融合规则的átrous算法得到的融合图像的各项指标也高于基于átrous分解的高频绝对值极大法,说明本文的融合规则能够提高图像的清晰度以及信息熵,因此该融合规则是有效且可行的。 通过以上两组实验,验证了将Contourlet变换引入图像融合能有效提取图像特征,且对边缘特征的表述比小波变换更加清晰光滑。选择有效的融合 规则更能凸现Contourlet变换的优势,提高融合图 像的清晰度以及人眼的分辨能力。因此基于Contourlet变换的区域特征自适应图像融合算法是一种有效的、可靠的图像融合算法。 表2红外与可见光融合图像性能客观评价 Table2Objectiveevaluationoffusionperformanceabout infraredandvisualimages AveragegradientClassicalátrousalgorithm 3.73054.31044.3112 Entropy Squaredifference6.376822.42226.462727.07927.019636.1404 átrousself2adaptive Contourletself2adaptive 5 结 论 Contourlet变换作为新的多尺度几何分析工具 686 光 学 学 报28卷能有效的捕获图像的几何特征,比小波变换具有更好的方向性和各向异性,因此将Contourlet变换引 入图像融合,可以为融合图像提供更为丰富和全面的图像信息。针对不同频率信息的特点选择适当的融合规则也是获得一高质量的融合图像的关键。本文将Contourlet变换与区域特征自适应的融合规则相结合,通过实验验证该算法是一种可行有效的图像融合算法。 Contourlet变换作为目前多尺度几何分析的一种新工具,在构造方法以及理论框架还有许多需要发展和完善的地方。Contourlet变换选用拉普拉斯变换来实现多尺度变换,使得Contourlet变换的冗余度和过程的不确定性增加,因此Contourlet理论以及Contourlet变换的快速实现方式是目前的研究热点。虽然Contourlet变换作为一种新的多尺度几何分析工具成功的应用于图像融合领域,并使得多尺度几何分析工具在图像融合中的应用又进一步。但如何根据Contourlet变换系数的特点制定有效的融合规则,如何实现智能融合、自适应融合的问题,以及深入研究多尺度几何分析工具在图像融合中的应用都将是未来的研究重点。参考 文 献 宗思光,王江安.多尺度形态算子融合图像滤波技术及滤波质量评价[J].光学学报,2005,25(9):1176～1180 3WangHong,JingZhongliang,LiJianxun.Animagefusionapproachbasedonobjectregion[J].Chin.J.Lasers,2005,32(3):351～355 王 宏,敬忠良,李建勋.一种基于目标区域的图像融合新方法[J].中国激光,2005,32(3):351～355 4LiHuihui,GuoLei,LiuHang.Researchonimagefusionbasedonthesecondgenerationcurvelettransform[J].ActaOpticaSinica,2006,26(5):657～662 李晖晖,郭 雷,刘 航.基于二代Curvelet变换的图像融合研究[J].光学学报,2006,26(5):657～662 5M.N.Do,M.Vetterli.Thecontourlettransform:anefficientdirectionalmultiresolutionimagerepresentation[J].IEEETrans.ImageProcessing,2005,14(12):2091～2106 6M.N.Do,M.Vetterli.Pyramidaldirectionalfilterbanksandcurvelets[C].ProcIEEEInt.Conf.onImageProc.,Thessaloniki,Greece,2001,3:158～161 7M.N.Do.DirectionalMultiresolutionImageRepresentation[D].Ph.D.dissertation,DepartmentofCommunicationSystems,SwissFederalInstituteofTechnology(EPFL),Lausanne,Switzerland,2001 8LiangDong,ShenMin,GaoQingweietal..Amethodforimagede2noisingbasedontheContourlettransformusingrecursivecyclespinning[J].ActaElectronicaSinica,2005,33(11):2044～2046 梁 栋,沈 敏,高清维等.一种基于Contourlet递归CycleSpinning的图像去噪方法[J].电子学报,2005,33(11):2044～2046 9YuHanlong,YuShengsheng,ZhouJinglietal..Animagecompressionschemebasedonmodifiedcontourlettransform[J].ComputerEngineeringandApplications,2005,14:40～43 喻汉龙,余胜生,周敬利等.一种基于改进的Contourlet变换的图像压缩算法[J].计算机工程与应用,2005,14:40～43 10LiHuihui,GuoLei,LiuHang.Aregion2basedremotesensingimagefusionmethod[J].ActaPhotonicaSinica,2005,34(12):1901～1905 李晖晖,郭 雷,刘 航.基于区域分割的遥感图像融合方法[J].光子学报,2005,34(12):1901～1905 11ZhenghuaLi,ZhongliangJing,ShaoyuanSun.Pixel2clarity2basedmultifocusimagefusion[J].Chin.Opt.Lett.,2004,2(2):82～85 1LiuBin,PengJiaxiong.Imagefusionbasedonnon2separableorthogonalcompactsupportedwavelet[J].ActaOpticaSinica,2004,24(9):1214～1218 刘 斌,彭嘉雄.具有紧支撑正交非张量积小波的图像融合[J].光学学报,2004,24(9):1214～12182ZongSiguang,WangJiang′an.Multi2scalemathematicalmorphologyfusionfilteringandtheevaluationofthefilteredimage[J].ActaOpticaSinica,2005,25(9):1176～1180 因篇幅问题不能全部显示，请点此查看更多更全内容