图像融合（精选十篇）
图像融合 篇1
如果已知一个信号在某个变换基下是稀疏的或者是可压缩的,那么它可以通过对其在此变换基下的投影值来准确重构出来,这样就使得能够通过很少的采样信息来得到所需要的信号。本文结合传统图像融合方法与压缩感知融合方法,使得在降低图像融合成本的基础上,得到视觉上可以接受的融合结果,并对得出的结果进行指标评价,结果表明,本文提出的压缩感知融合方法可以有效降低成本,且效果比传统的融合效果有所提高。文中先对压缩传感理论进行了简要的介绍,接着着重介绍如何应用压缩感知进行图像融合,用熵和互信息作为指标来衡量融合的效果,对传统的图像融合方法与压缩感知图像融合方法做了对比,最后阐述了应用前景和下一步计划。
1 压缩感知及其应用于图像融合的可能性
如果一个信号本身是稀疏的或者在某个变换基(如小波基,Gabor字典,Curvelet基等)下是稀疏的,则可以通过它在测量矩阵下的投影值精确重构出来,如果信号不是稀疏的或者在变换基下也不稀疏,但如果它是可压缩的,也可以通过重构算法将其精确重构出来。
假设一个长度为N的信号x∈RN,如果它在某个变换基下是稀疏的,并且非零元素的个数为k,则称其为k-sparse,即,
式中:Ψ为变换基;θ为x在基Ψ下的等价表示,其中只有k个元素为非零,且K<<N。我们的目的是求出θ,在压缩感知中,我们无法得知θ,但可以知道其压缩测量值,即,
式中:A为M×N维的测量矩阵;y为x在A下的投影值,y∈RM,且M<N,这样在知道A和y的情况下求得x的问题就是一个病态的求逆问题,现在压缩感知中有很多重构算法,如BP算法,OMP算法,l1-magic等,都可以准确求解出未知信号x。
目前在压缩感知领域有很多学者都在研究重构算法,很少有人做关于压缩感知的图像融合,本文通过大量的实验证明压缩感知可以用于图像融合中,并且实验结果比传统的小波方法得出的结果更好。
2 在小波域下的压缩感知图像融合
传统方法中的图像融合方法很多,本文主要讲解如何将小波多分辨率分解方法应用于压缩感知图像融合中。小波多分辨率分解(MR)是基于小波分解的图像融合,它有一些比较好的优点,主要是因为它对信号的分层处理,使得可以针对不同分辨率下信号的特征来区分得使用融合规则,并且MR在计算复杂度上和鲁棒性上占有很大的优势。在这节中,将详细讲解小波多分辨率分解图像融合规则与压缩感知图像融合方法结合,使得在不降低视觉效果和指标等的情况下,大大降低硬件要求。在MR方法中,对于一幅图像来说,对其进行N层小波分解后会得到一个低频带和3N个高频带,低频带采用的融合规则为求其平均权值,高频带则采取基于区域特性量测的融合算子。在压缩感知图像融合中,只知投影矩阵A、图像经小波分解后高频系数在投影矩阵A下的投影值Y(这里的Y实际上是个矩阵),如何在只知两个已知条件的情况下准确融合两幅不同聚焦下的图像,其做法是,对图像经小波分解后得到的低频系数采用权值平均的融合规则,而对高频系数在投影矩阵下的投影值Y,采用基于区域特性两侧的融合算子。对于高频系数在投影矩阵下的投影值Y,采用下列融合算子:
(1) 分别计算两幅图像对应的小波高频系数的投影值Y对应局部区域的能量ξ
式中:ξ
(2) 计算两幅图像对应小波高频系数投影值的局部区域的匹配度M
(3) 确定融合算子
先定义一个匹配阈值θ,若M
式中:ε=1,2,3。
若M
式中:
(4) 在已知投影矩阵A和融合后的投影值的情况下,使用重构算法,如BP算法,重构出图像。
具体算法步骤:
(1) 随机生成高斯观测矩阵A,并得到输入图像的投影矩阵Y;
(2) 对投影矩阵Y使用传统的小波融合规则进行融合,得到YF,具体的操作步骤及计算见式(3)～式(6);
(3) 在已知YF和观测矩阵A的情况下,使用重构算法恢复出图像。
(4) 图像融合结果的评价指标。
如果仅从主观的视觉效果来评价融合结果可能不会使人信服,在实验的结果中加入了客观评价融合效果的指标,下面是在评价融合图像效果常用的一些指标。
熵:信息论中的熵是信息的度量单位,是由信息论的创始人香农提出来的。融合后的图像,其熵值定义为:
式中:H为融合后图像的熵值;L为图像的总灰度级;pi表示灰度值为i的像素数与图像总像素数之比。如果对相同的数据做融合实验,获得的融合数据的熵越大,则表示该融合方法的性能越好。
交叉熵:它是用来度量两幅图像之间的差异,其值越小,则融合后图像与参考图像的差异就越小。均方根误差RMSE:如果已知标准参考图像,可以考虑用均方误差来评价融合效果,均方误差越小,融合效果越好。峰值信噪比PSRN(Peak to Peak Signal to Noise Ratio),在已知标准图像的情况下,可以使用峰值信噪比来评价融合效果,其值越高,融合效果越好。当然在实际应用中,可能并不是所有的情况下都能够得到标准参考图像,那么可以选择性地使用其中的指标来加以评价。本文选用的评价指标为熵。
3 实验结果和指标评价
文中使用多聚焦图像clock和遥感图像作为实验的数据,对2种不同的方法得出的实验结果进行比较,在基于CS的图像融合中,使用的采样率为50%,图1和图2分别为从不同角度得到的待融合的图像,图3为用小波系数融合得到的结果,图4为本文基于CS方法得出的融合结果。从结果和评价指标可以看出,不管是从视觉效果,还是从指标显示,此方法都显示出很大的优势,而且节省了硬件成本,降低了计算复杂度。目前压缩感知现在已应用于军事、医疗等各个领域,显示出极为广泛的用途和强大的生命力。图1为原始融合图像A,图2为原始融合图像B,图3为小波融合结果,熵为0.133 9,图4为结合传统方法的CS融合方法,熵为6.846 2。
4 结 语
压缩感知是近年来新兴的热点,主要是因为它能够节省硬件成本,并且尽可能地利用已有的先验知识来重构出待求信号,这也就使得它在军事、医疗等各个领域都有很好应用。本文就是从减少硬件开销且不降低融合效果的前提出发,将压缩感知应用于图像融合中,目前很少有人做这方面的研究,从理论和实验等方面给出了融合结果,从最后的结果显示可以看出,其理论不论从视觉效果、边缘保持,还是指标的客观显示,都表现出不可小觑的优势。本文中,只是对基于压缩感知的图像融合做了一些初步的实验,来证明压缩感知应用于图像融合的可行性,后面还有更多的工作,如将边缘检测应用于文中算法,将是下一步需要展开的工作。
摘要：目前图像融合的方法大多数都是基于小波变换的图像融合方法,通过对小波变换之后的低频系数和高频系数分别采用不同的融合准则,来达到所需要的图像以进行下一步处理,这些方法需要知道原始图像,也就是对硬件要求较高。采用压缩感知图像融合,即,将压缩感知用于图像融合,使得只知道原始图像在某个变换下的投影值的情况下,通过对已知的投影值使用融合规则得到融合后的投影值,然后用重构算法重构出图像,大大降低了对硬件的要求。在此给出了压缩感知融合方法与基于小波变换的图像融合方法的实验结果,融合结果表明,在不降低融合效果和视觉效果的基础上,该方法能够极大地降低硬件成本。采用熵作为衡量融合效果的指标,并对用两种方法融合的结果图像做了对比,研究结果表明,CS融合方法要优于基于小波变换的图像融合方法。
关键词：图像融合,压缩感知,投影值,熵
参考文献
[1]DONOHO D L.Compressed sensing[J].IEEE Trans.onInform.Theory,2006,52(4):1289-1306.
[2]TAO Wan.Compressive image fusion[C]//2008 15thIEEE International Conference on Image Processing.SanDiego,CA:IEEE,2008:1308-1311.
[3]TAO Wan.Region-based multisensor image fusion using gener-alized Gaussian distribution[C]//Proceedings of the IEEE2007International Workshop on Nonlinear Signal and ImageProcessing(NSIP).Bucharest,Romania:IEEE,2007:111-121.
[4]CANDSE,ROMBERG J,TAO T.Robust uncertaintyprinciples:exact signal reconstruction from highly incom-plete frequency information[J].IEEE Trans.on Inform.Theory,2006,56(2):489-509.
[5]TSAIG Y,DONOHO D L.Extensions of compressed sens-ing[J].Signal Process,2005,86:549-571.
[6]CAND?S Emmanuel,ROMBERG Justin.l1-magic:recov-ery of sparse signal via convex programming[EB/OL].[2009-01-22].http://www.l1-magic.org.
[7]楚恒.一种基于小波变换的多聚焦图像融合方法[J].光电工程,2005,32(8):90-92.
[8]玉振明.基于边缘检测小波变换的图像融合研究[J].电子学报,2005,33(8):10-13.
常用的图像融合方法研究 篇2
本文对THS融合方法和PCA融合方法分别进行了融合实验,融合后图像上的.细部特征更加清晰,光谱信息更加丰富.但IHS方法扭曲了原始的光谱特性,产生了光谱退化现象,不利于影像的分类.PCA方法由于光谱信息的变化,使融合图像不能用于地物识别和反演工作,但是它可以改进目视判读的效果,提高分类制图的精度.
作 者：熊荣清 何湘春 作者单位：熊荣清(江西省地球物理勘察技术院,江西新余,338000)
何湘春(南昌市测绘勘察研究院,江西南昌,330046)
结合图像融合的地图分割方法研究 篇3
摘 要：传统的地图分割主要是对单幅图像进行分割，在实际的公安工作中我们往往能拿到不同比例尺的图像，基于此，本文提出了一种结合图像融合的地图分割方法，在传统的FCM算法的基础上引入多层级城市地图综合分割的概念，对不同层级图像像素点隶属度的选择进行了相关探索。首先，对传统的模糊c均值理论进行介绍；其次，介绍结合图像融合的分割思路及具体实施过程；最后，通过仿真实验验证用这种算法进行地图分割提取路网的效果。本方法的思路主要是实现图像信息的互补，在不同层级图像中选择较为清晰的分割结果。
关键词：图像分割；图像融合；模糊聚类
中图分类号：TP391.41
随着公安工作的不断推进，视频侦查已成为侦查的重要手段，各地也在不断探索视频侦查应用的新方法与新技术。目前公安视频监控综合应用滞后于视频监控基础设施建设的步伐已成为公安信息化的突出问题。要实现视频监控的综合应用，一个很好的思路就是将包括视频图像、犯罪热点等信息与传统的地图结合起来，在地图上完成犯罪热点分析、犯罪轨迹跟踪等相关工作。
对于给定的图像，我们希望较好地把图像中的信息提取出来，从而应用于后续的轨迹推演、热点分析。传统的分割方法主要利用单幅图像的信息进行分割，信息往往不够全面，在实际工作中，我们有可能获得不同比例尺的图像，基于此，我们提出了一种结合图像融合的地图分割思路。
本文将首先介绍传统的图像分割方法，然后阐释如何结合多层级图像信息进行图像融合，最后按隶属度相加与隶属度选择算法分别进行实验，并分析仿真结果。
1 视频侦查发展现状
2003年公安部全面推進“金盾工程”建设，即公安部公安信息化工程建设。在“金盾工程”的推动下，公安信息系统不断完善，初步形成资源共享的良好局面。“金盾工程”的一项重要内容就是建设公安部门专用的视频监控系统。2005年发生了伦敦地铁爆炸案，视频监控在侦查破案中起到的重要作用引起了世界各国警方的高度重视。随着视频监控系统建设的日趋完善，目前视频侦查已成为侦查破案的重要手段。在破案过程中，侦查员会第一时间调取犯罪现场的监控视频，如果现场没有监控视频，还可以在来去通道、路口、卡口等犯罪人员可能出现的地方提取监控视频。这为侦查破案提取了重要的线索。
目前，各地公安系统都相继成立专门的视频侦查队伍。武汉市公安局成立了全国第一支视频侦查支队，并且通过在实际办案中不断探索，提炼了一套较为详尽的视频侦查操作流程[1]。在实际调研中，我们发现视频侦查与警务地理信息系统结合紧密，由此我们希望对得到的地图进行有效分割处理，提取有利于侦查办案的路网信息。同时由于公安部门能得到较为丰富的多层级地图，我们希望能将不同层级或比例尺下的地图进行综合图像信息的提取，基于此，我们进行了如下探索。
2 模糊聚类原理
模糊c均值算法是由Dunn[2]提出并经过Bezdek[3]发展起来的一种模糊聚类算法，并已经被广泛应用到图像分割之中，其算法[4]可以描述如下：
其中，m>1是模糊系数；U=uij是c×n的模糊矩阵，uij是第j个样本xj属于第i类的隶属度，隶属度越大，说明该样本与该类相似的程度越大；V=[v1，v2，…，vc]是由c个聚类中心向量所构成的s×c的矩阵；dij=‖xj-vi‖表示样本xj到中心vi的距离。可以得到：
记Ij={（i，j）|xj=vi，1≤i≤c}。根据上述约束条件可以得到：
算法的具体步骤：
（1）设定聚类个数c和模糊指数m；初始化各类中心V（0）；设定迭代收敛的精确度ε>0；令迭代次数k=0。
（2）用（6）式迭代计算U（k+1）。
（3）用（5）式计算V（k+1），令k=k+1。
（4）重复（2）和（3），直到满足终止条件：‖V（k）-V（k-1）‖≤ε，k≥1。
由于图像是由二维像素点组成的，所以我们将隶属度表示为uxij，表示像素点（i，j）属于第 类的隶属度。这里我们选择颜色作为分割的依据，对于RGB图像，我们可以把距离定义为dnij=‖xij-vn‖，表示示样本xij到中心vn的距离[5]。算法的迭代步骤仍按照前述基本FCM算法步骤进行迭代。
3 结合图像融合的分割算法
在实际的图像分割中我们往往希望充分利用现有的图像信息，基于这种情况，我们提出了结合多层级图像融合的地图分割方法，希望能达到一定程度的信息互补[6]。我们的思路是选择同一区域合适的若干层级图像，对于不同层级的图像进行适当的放缩，使它们的图像大小一样，对于这些不同层级的图像分别进行图像分割。对于每一像素点，我们选取在这几个层级中较为清晰的分类作为分类结果，所以这是一个决策的过程。
3.1 隶属度相加算法
具体实验步骤如下：
（1）选取合适的层级，如m层和m+1层。
（2）将m层地图瓦片放大为原来的4倍，再拆分为4个256×256的地图瓦片，找到两个层级之间地图瓦片的一一对应关系。
（3）对m和m+1层的每一组对应地图瓦片分别进行一次模糊c均值划分，把得到的隶属度um1ij，um2ij，…，umnij和 进行一次合成，即选择um1ij，um2ij，…，umnij与 对应隶属度的和作为（i，j）点的新隶属度u1ij，u2ij，…，unij，并记录新的隶属度矩阵。
（4）根据新隶属度对每一张256×256的图片进行分割，存储分割图片。
（5）把分割结果进行图像拼接，合成完整的分割结果。
3.2 隶属度选择算法
具体实验步骤如下：
（1）选取合适的层级，如m层和m+1层。
（2）将m层地图瓦片放大为原来的4倍，再拆分为4个256×256的地图瓦片，找到两个层级之间地图瓦片的一一对应关系。
（3）对m和m+1层的每一组对应地图瓦片分别进行一次模糊c均值划分，把得到的隶属度um1ij，um2ij，…，umnij和 进行一次决策，选取对应同一像素点隶属度之间离散程度较大的点的隶属度作为该像素点的隶属度，这里我们用方差表示，即选择um1ij，um2ij，…，umnij与 中方差较大的一组隶属度作为（i，j）点的新隶属度u1ij，u2ij，…，unij，并记录新的隶属度矩阵。
（4）根据新隶属度对每一张256×256的图片进行分割，存储分割图片。
（5）把分割结果进行图像拼接，合成完整的分割结果。
4 实验结果与分析
4.1 实验结果
实验中，我们以公安大学木樨地校区15、16层级地图作为分割对象来提取路网，在Matlab2010环境下进行仿真实验，其中15层级木樨地校区对应16张256×256像素的图像，而16层级对应64张256×256像素的图像，为了方便观察，我们把它们拼接起来，如图1所示：
我们采用隶属度相加算法与隶属度选择算法分别进行图像分割、拼接，得到的路网如图2所示：
4.2 分析
实验分成两部分：第一，采用隶属度相加算法进行分别进行图像分割、拼接，得到木樨地校区的路网；第二，采用隶属度选择算法分别进行图像分割、拼接，得到木樨地校区的路网。由实验结果可以看出：
（1）两组方法都可以较好地分割出我们所需要的路网；
（2）采用隶属度选择得到的路网更加完整，细节信息也更为丰富。
所以我们采用隶属度选择的算法较好，能更好的分割出我们所需要的路网。
5 结束语
目前视频侦查与地图的深度结合应用已成为视频侦查的一个重要方向，而从地图中较好地分割出路网则是这一应用的前提。本文提出了一种基于多层级地图融合的路网提取思路，并且给出两种具体算法：隶属度相加算法与隶属度选择算法。实验结果显示，这两种方法都能较好地分割出路网信息，而隶属度选择算法的效果更好。
参考文献：
[1]王禹，黄明方，徐扬.视频侦查实战技能[M].北京：中国人民公安大学出版社，2014.
[2]Dunn J C.A fuzzy relative of the ISODATA process and its use in detecting compact well separated clusters[J].J.Cubernet，1973（03）：32-57.
[3]Bezdek J C.Pattern Recognition with Fuzzy Objective Function Algorithms[M].New York：Plenum Press，1981.
[4]曲福恒，崔广才，李岩芳，胡雅婷.模糊聚类算法及应用[M].北京：国防工业出版社，2011.
[5]朱小雨.基于FCM聚类的彩色图像分割算法研究[D].吉林大学，2011.
[6]姚为.像素级和特征级遥感图像融合方法研究与应用[D].大连理工大學，2011.
作者简介：褚哲（1989-），男，安徽人，硕士，研究方向：视频处理，图像侦查；杨文倩（1988-），女，陕西人，硕士，研究方向：视频处理，图像侦查。
多源图像融合综述 篇4
图像融合[1] (Image Fusion) 是关于同一个场景的两个或两个以上图像中感兴趣的信息相结合的过程, 通过这一过程得到一个更多信息量的图像。图像场景中感兴趣的信息的选取取决于的应用程序。融合后系统工作频段范围与探测能力显著提升, 获取信息的效率与整体系统可靠性明显提高。融合图像是无法从其中任何单一传感器获得。
图像融合技术的应用相当广泛[2], 涵盖日常生活的许多方面, 大到国家的航空航天、军事国防等领域, 小到医疗方面的医学造影、小区的安全监控等应用。图像融合技术在某些方面替代了人类视觉某些难以完成的工作。图像融合就其应用所起作用主要包括:
(1) 图像增强[3]。通过融合来自不同传感器的图像, 从而获得更清晰的图像。例如, 在遥感领域应用中, 常用两种传感器获得同一区域地貌的高分辨率图像和多光谱图像, 对这两种图像进行融合, 可以获得该区域地貌的细节和轮廓更清晰的图像。如红外与可见光融合技术, 可用于火灾预防与探测、敏感区域的治安监控等等。
(2) 特征提取。融合多传感器的图像后, 可以得到某些特征更加突出的图像, 从而方便这些特征的提取 (比如线条, 边缘轮廓等特征) 。
(3) 图像去噪。目前有学者提出一种基于多个小波基的图像融合去噪方法。与传统的图像去噪滤波方法 (均值滤波、中值滤波、维纳滤波等方法) 相比, 该去噪方法保留了更多图像的细节信息。
(4) 目标识别与跟踪。单一传感器往往会受环境及传感器成像范围的限制, 不能完全反应场景信息, 要获得更清楚的目标的细节以及运动轨迹图像, 往往通过图像融合来达到。比如, 有的研究人员研究的基于红外与可见光的人脸识别等已经应用于机器人的智能识别系统。
(5) 三围重构。通过分析多源图像多样性与相关性特征, 运用提升小波进行快速图像融合, 然后根据微表面图像纹理相似性, 抽取出高程数据, 通过顶点数组方式快速重构三维立体场景[4]。
2 多源图像融合的层次
图像融合的层次可分为:像素级、特征级和决策级。
像素级融合是在基础数据层面上进行的信息融合, 是最低层次的图像融合, 像素级图像融合的结果为图像, 所以该类融合结果可以给予观察者对现场以更快捷、直观和全面的认识, 同时也更适合机器的进一步处理和分析。特征级融合是对边缘、形状、纹理和区域等特征信息进行综合与处理, 是中间层次的图像融合, 其特点是可对信息进行压缩处理, 方便实时化处理。决策级融合利用对初始目标的检测和分类的输出作为输入的融合算法进行数据集成决策级融合是以一定的准则以及每个决策的可信度做出最优决策, 是最高层次的图像融合。其特点是融合实时性比较较, 同时由于信息量较少, 容错能力比较强。像素级图像融合可以保持尽可能多的源图像数据, 而特征级和决策级图像融合可能会导致不准确、不完整的传递的信息。
3 图像融合的主要研究内容
图像融合研究的主要内容根据各层次融合在实际应用中的不同, 产生了许多不同的图像融合处理方法。
3.1 像素级图像融合
像素级图像融合是目前图像融合领域研究最早, 也是研究得最多的图像融合。像素级图像融合一般可分为图像预处理、图像变换、信息综合和图像反变换四个处理阶段。在预处理阶段, 主要是对源图像进行滤波去噪和图像配准处理。变换阶段最常使用的方法有PCA、IHS变换、多分辨率方法等。在综合阶段就是对变换后的图像以一定规则进行综合。反变换阶段通过对综合阶段的那组系数进行逆变换操作, 从而得到融合图像。
3.2 特征级图像融合
特征级图像融合处理先是对图像进行特征提取后再对这些特征信息进行综合分析与处理的一种融合方法。它是融合层次的中间层次, 所提取的特征信息一般都是一种像素信息的充分统计量或表示量, 具体包括目标的边缘、方向等信息。随着科技的不断发展, 图像信息压缩算法得到不断提高, 特征级图像融合在实时处理方面的优势逐渐凸显出来, 目前的C4I系统的数据融合研究大都在这一层次上展开。特征级图像融合一般可分为目标状态数据融合和目标特性融合两大类。目标状态数据融合实现过程首先是校准图像预处理完成的数据, 再矢量估计主要参数的相关状态, 一般应用在多传感器目标跟踪领域。目标特性融合属于特征层面的联合识别, 即在融合前对图像特征进行分类组合等相关处理。
3.3 决策级图像融合
决策级图像融合是目前最高层次的融合, 其结果为各种控制或决策提供依据。因此, 决策级图像融合必须结合具体的应用以及后续决策的需求, 有目的有选择的提取或测量有关图像数据的各类特征信息, 从而实现融合目标, 其结果直接影响决策水平。决策级图像融合的输入信息为各种特征信息, 输出结果为决策描述, 因此就具备数据量小、抗干扰能力强的特点。其主要优点有: (1) 信息传输要求不高。这是尤其数据量少决定的。 (2) 容错性能好。通过适当的融合方法可以消除对传感器的数据干扰。 (3) 决策能力强。能全方位有效反应目标及目标所在环境的真实信息。 (4) 数据要求低。传感器可以相同类型或不同类型, 对传感器的依赖和要求降低。
摘要：图像融合 (Image Fusion) 是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等, 最大限度的提取各自信道中的有利信息, 最后综合成高质量的图像, 以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率, 利于监测。本文主要介绍一下图像融合的基本概念以及图像融合的研究内容。
关键词：图像融合,图像增强,特征提取
参考文献
[1]敬忠良, 肖刚, 李振华.图像融合——理论应用[M].北京:高等教育出版社, 2007.10.
[2]覃征, 鲍复民, 李爱国等.数字图像融合[M].西安:西安交通大学出版社, 2004.7.
[3]张兆礼, 孙圣和.基于一种自组织神经网络的图像数据融合算法研究.电子学报, 2000, 22 (9) :40～43.
图像融合 篇5
安海中学
一、教学内容分析：
本节课是闽教版八年级上Photoshop活动四《图像的合成》中第二课时的内容，主要介绍选框工具、套索工具、魔棒工具与自由变换工具等的使用方法，通过这些知识技能的学习，最终让学生学会利用相应的选择工具创建适合的选区，进行图像的选取，并结合图层操作相关知识技能，最终实现图像的合成。
二、教学对象分析
学生在第一课时中，学习了图层的概念以及图层面板的组成，也掌握了图层的建立、删除、移动、合并等操作方法。
本课采用以学生为主体，通过教师演示和课前准备的微课视频引导学生自主学习如何创建选区（即抠图）和合成图像作为知识技能。
三、教学目标
1、知识与技能：
（1）掌握选框工具、套索工具、魔棒工具的使用方法。（2）图形自由变换命令的设置方法。
2、过程与方法： 能根据实际创作的需求，使用相应的选择工具进行抠图，以及利用图层合成图像。
3、情感态度与价值观：
（1）经历创作图像作品的过程，形成积极主动学习和利用图像处理技术，参与图像作品创作的态度，培养学生的创新能力，表达能力。
（2）在师生、生生的互动交流合作中，培养合作意识和合作精神，提高交际能力。
四、教学重点
掌握选框工具（矩形选框、椭圆选框、单行单列选框）、套索工具（磁性套索、多边形套索、手画套索）、魔棒工具进行抠图的方法。
五、教学难点
1、根据实际情况选择应用不同工具进行抠图。
2、选框工具、魔棒工具的操作和属性参数设置。
六、教学方法
情景教学法、讲练结合、任务驱动、演示讲解法
七、教学准备
1、多媒体网络教室
2、软件：Windows操作系统、Photoshop
3、资源：PPT课件、微课视频、相关图像素材
八、教学过程：
（一）复习导入，情景体验（4分钟）
1、师：同学们好！上节课我们学习了图层面板的组成以及图层的建立、删除、移动、合并等操作。
2、课件展示（结合PPT）
师：现在请同学们来看大屏幕，一起来欣赏一组图片。在欣赏的过程中请同学们思考：看了图片后你有什么感想？
（设计意图：展示有趣幽默（晋江旅游景点合成图、、本人旅游景点合成图、憨豆先生合成图、华南虎假图）、体育海报、广告艺术（安踏平面广告、环境保护公益广告）等合成图片。激发学生兴趣，转移学生注意力，引入新课。）师：（请学生分享）看了图片后你有什么感想？
生： a.图片让人开怀一笑。b.图片想象力丰富，有穿越的境界。c.很美，吸引人，让人感觉很舒服。d.侵权，欺骗社会和公众。
3、点评：
师：日常生活中，我们经常都能看到类似的拼接照片。师：那它们是怎么制作的呢？（请学生回答）（学生积极响应。）
师：对了，他们都是通过图像合成创作的。师：同学们想不想也来试一试呢？（学生积极响应。）
师：好，今天我们要学习的新技能就是图像的选取和融合。
（设计意图：设置问题情境，让学生感受原有知识技能的不足，激发学生学习知识的欲望和学习兴趣。）
（二）大屏幕课件显示课题：图像的选取与融合（10分钟）
师：图像合成就在我们身边，它是依靠想象力和技术的翅膀，让不可能的事情发生！它们都是通过不同的图像各取一部分结合在一起，从而创造出一个新的图像。
1、阅读教材，归纳总结：
师：现在请同学们两分钟时间阅读教材P43-45，思考：图像合成的步骤（请学生回答： …………）师：（描述和板书）
a、(生：打开图片选中图像区域）创建选区——抠图 b、（生：把图像搬到另一张图像里）移动复制图像到目标文件 c、（生：图像大小、位置调整）合理编辑、修饰图像
2、教师边演示边讲解选区工具。（通过电脑演示操作，学生观看）
师：选区即选中的部分，是由一些闭合的虚线环绕而成，类似于蚂蚁行军，又叫做蚁行选区。创建选区可以用ps工具面板中的选框工具（包括矩形选框、椭圆选框、单行选框、单列选框）、魔棒工具、套索工具（磁性套索、多边形套索、手画套索）等。
3、布置任务，上机实践
师：现在请同学们观看老师下发到你们电脑桌面的《图像的选取与融合》文件夹下的《微课1》视频进行学习，并用发下去的图片素材完成教材P44~46“将卡通人物合成到风景照中”的任务。同桌或前后桌同学之间可以进行小组讨论，也可以举手跟老师提问。
（设计意图：学生自主学习并上机实践，完成任务，掌握魔棒工具和选框工具创建选区的使用方法。）
4、师巡视全班，个别辅导，对知识的操作适当讲解。师：（通过大屏幕课件展示一下几点操作注意事项，并讲解。)a、使用魔棒工具时的面板属性设置：
容差值设置：容差值大小表示颜色相近程度，数值越小，对颜色精度要求越高，选择范围也就越小。
“连续的”属性：勾选时表示在图像中只能选择与鼠标落点处相连的部分，不勾选时，则选中所有与鼠标落点处颜色相近的部分。
选区的反选：通过“选择”菜单，选择“反选”命令。
b、选框工具操作：（按住Alt键拖动鼠标可以画椭圆或矩形，按住Shift键拖动鼠标可以画圆或正方形)柔化选区设置：
方法
1、可以使用属性面板中“消除锯齿”设置。
方法
2、可以使用属性面板“羽化”。
d、图片的移动复制操作：选择移动图像，通过“编辑”菜单，选择“拷贝”命令；选择目标图像，选择“编辑”菜单，选择“粘帖”命令。
e、图像大小、位置修饰： 选中图像所在的图层，选择“编辑”菜单，选择“变换”—“自由变换”命令。（设计意图：对知识的操作讲解适可而止，留给学生操作的空间，并及时了解学习情况，根据实际情况进行讲解。）
5、点评归纳
师：大多数同学都能较好的完成本次任务，个别同学创建选区技术还有点生疏，操作较慢，稍后继续加强练习。
师：要懂得魔棒工具和选框工具适用范围。a、魔棒工具适用范围：
适用于选择的部分颜色较纯（单色，或者几种纯的单色）如果底色杂乱，基本不考虑魔棒工具。
b、选框工具适用范围：
适用于规则选区（椭圆、圆与矩形、正方形等选区）。
（三）布置任务，巩固提高：用现有的照片进行美化创作（略）
九、教后反思：
1、导入新课时创设的情境能否使学生意识到原来知识经验的不足，激发学习新知识的兴趣。
2、学生自学或操作有困难时，教师是否做到进一步的讲解。
基于多媒体融合的图像检索的技术 篇6
多媒体融合；图像检索；语言识别；模式识别
【作者简介】陆伟艳（1980—）壮族，女，桂林电子科技大学硕士，讲师;研究方向：信息与信号处理与移动通信系统网络
1.引言
随着多媒体技术和网组的迅速发展，以及3G、4G移动通信系统的发展，移动通信从语音业务过渡到移动宽带业务的发展出现了移动多媒体广播业务。多媒体信息的数据从以前的紧缺飞速的增，并随着人们日益需求的不断增加而迅速增加。图像信息的应用日益广泛，人们对图像数据的查询需要日益增长，对规模越来越大的图像数据库进行有效的管理就成为迫切需要解决的问题了。
2.基于多媒体融合的图像检索的概念
A.基于多媒体融合的图像检索
多媒体信息是指以文字、图像、影像、声音和动画等为表现形式的媒体信息。所谓的基于多媒体融合的图像检索是对图像对象的内容及上下文语义环境精心检索，如图像的颜色、纹理、形状、符号，描述图像的语音等语义特征来实现与图像内容信息相关的检索。
B.基于内容的图像检索技术的概念
基于内容的图像检索是依靠图像特征进行标引和检索。所谓图像特征的画面内容特征（图像颜色和纹理等），以及图像的主题对象特征。基于内容的图像检索主要技术着重于图像的画面内容特征和主题对象特征来进行检索。它直接对图像内容进行分析，抽取特征和语义，利用这些内容特征建立索引进行检索，还融合了模式识别、计算机视觉及图像理解等技术。
图1 基于内容的图像检索技术的概念模型
a.基于颜色特征的检索
颜色特征是图像检索中所使用的最直观的视觉特征。在基于颜色检索中除了采用颜色直方图外，还引用了空域信息，它确保检索的精度。在引用空域信息的时候要兼顾不变性的问题。同样，为了更好的保存图像色彩空间的信息，PASS提出了图像的色彩聚合向量（CCV）來做图像的索引。
b.基于形状特征的检索
形状特征也称为轮廓特征，是指整个图像或图像中子对象的边缘特征。采用形状特征进行检索时，用户可以通过勾勒图像的形状或轮廓，从图像库中检索出形状相似的图像。基于形状的检索更多的用于当用户粗略的画出一个轮廓进行检索的情况。用户可以选择某一形状或勾画一副草图，利用形状特征或匹配主要边界进行检索。基于形状特征的检索方法主要有两种：
针对轮廓线进行的形状特征检索，也就是分割图像进行边缘提取后，得到目标的轮廓线。
直接针对图形寻找适当的向量特征进行检索。
c．基于纹理特征的检索
纹理检索与纹理分类技术有着密不可分的关系，包括有两种方法：一种是统计方法，人们提出以图像像素的颜色的分布统计信息和轮廓点的位置分布统计信息作为图像的特征量，并使用该特征量实现图像的检索。另一种是结构方法，通过对纹理颜色的定性描述，把检索空间缩小到某个颜色范围，然后再以示例查询的方法为基础，调整粗糙度、方向性和对比度三个特征值，逐步逼近要检索的目标。
d.基于对象特征的检索
基于对象特征的检索就是对图像中所包含的静态子对象进行查询，检索条件可以利用综合颜色、纹理、形状特征、逻辑特征及客观属性等，例如综合利用颜色和纹理特征。基于对象特征的检索首先要对图像进行预处理，将原始像素信息分割成一些颜色和纹理在空间上连贯分布的区域，计算出每个区域的颜色、纹理和空间特征。这种方法用于检索图像对象或子对象，所以出来对图像要做预处理外，还需要进行图像分割，在难度和复杂度上，比基于颜色和纹理的检索技术更进一步。对于分割后的每个区域，用一个多维向量来表示其颜色、纹理、形状及空间关系等特征，这样对于一个给定的区域，所得到的多维向量是确定的。检索的时候，根据用户所提供的信息或草图，利用高效的检索算法进行匹配，再根据相似性测度函数进行过滤，将相似度高的图像提供给用户。
3.基于语音识别的图像检索方法与实践
基于多媒体融合的图像检索技术主要分为两大模块：语音识别模块和图像检索模块。在文献中采用的是手动图像标注的方式进行语音识别对数字图像进行检索，这种方法有一定的创造性，但是运用起来工作量繁重尤其是对海量的图像数据。针对此问题本文介绍一种图像语义自动标注的图像检索系统，如图2所示为本文将介绍的基于多媒体融合的图像检索系统流程图。
基于语音识别的图像检索系统的用户查询与基于文本的图像检索、基于内容的图像检索系统不同的是用户是说出查询关键词，算法通过分析将查询要求转化为计算机内部描述，从而获得查询图的特征，然后借助特征库中的特征匹配从图像数据库提取出用户需要图像。
在语音识别模块中包括语音库的建立、端点检测、特征提取、特征匹配。在语音识别模块中，首先要建立一个语音库作为参考模板，以便与用户读入查询词形成的测试模板进行匹配，识别出用户要检索的关键词。在语音录制存储后，对语音信号分帧，然后对分帧后的语音信号进行语音增强，然后对增强后的语音信号进行端点检测。特征提取部分的作用是从语音信号波形中提取一组或几组能够描述语音信号特征的参数，如平均能量、过零率、共振峰、倒谱、线性预测系数等，特征提取是模式识别的关键。最后是特征匹配。
基于多媒体融合的图像检索是个新兴的研究领域，在国内外仍处于研究探索的阶段。随着Internet的技术发展，移动通信从模拟语音时代发展到数字系统，语音与少量数据的传输发展到今天已是宽带业务的需要，更加需要语音识别检索取代的手写输入的检索方式的系统。本文在最后简单的介绍了基于语音识别的图像检索系统与实践，但这只能用于简单的检索测试，距离实际应用还需要不断的改进。
[1]朱学芳.多媒体信息处理与检索技术[M]北京：电子工业出版社.2002
[2]章毓晋.基于内容的视觉信息检索[M]北京:科学出版社.2003.58
数字图像融合新进展 篇7
近年来, 随着软硬件技术的发展及人类社会生产的发展, 数字图像融合在技术、算法、应用等领域都有了较大的变化, 多源、多维、多尺度、多时空、复杂环境等方面的因素及某些应用要求更高的处理效率催生了新的处理技术, 如并行处理技术、计算智能的仿生学、固件化专业处理设备等。
在深入讨论之前, 先对数字图像融合作简要介绍。数字图像融合是将2个或2个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合, 生成一个新的有关此场景的解释, 而这个场景是从单一传感器获取的信息中无法得到的[1,2,3]。数字图像融合的目的是减少不确定性。上述定义在现代得到进一步加强, 从单一场景到多场景, 从静态到动态。数字图像融合技术广泛应用于遥感影像处理、图像分析、机器视觉等领域。
数字图像融合的作用主要有:隐写加密[4,5]、去噪[6]、图像增强[7,8]、特征提取[9]、目标识别与跟踪[10]、三维重构[11]等方面。
2. 数字图像融合技术动向
鉴于数字图像融合的不同数据基础及不同应用目的, 可对其进行简单的层次划分:信号、像素、特征、决策。
在信号级数字图像融合研究方面, 技术相对成熟, 主要从处理效率方面有较大的改进, 逐步从通用到专用, 从软件到固件, 针对特定领域应用的专用数字图像融合预处理设备表现出更好的性能。
像素级数字图像融合有着较广泛的应用需求, 多源多尺度多时空遥感影像融合、图像拼接、隐写加密等多方面的应用需求, 促使新技术的不断引入。首先, 在遥感影像处理方面, 由于多源多尺度多时空高光谱遥感影像海量数据的广泛应用, 超光谱图像压缩算法、多视角图像配准技术、多分辨小波变换、并行图像处理技术被深度引入, 同时也促进了海量数据的存取和检索技术的发展。其次, 在图像拼接方面, 要将具有重叠区域的多幅数字图像或多帧视频图像通过数字配准和融合, 获得单幅宽视场图像或动态全景图, 需要处理图像间平移、缩放、旋转等多种几何失真及色度亮度不一致、部分模糊、图像拍摄视点差异、场景中的运动物体等。基于区域的拼接算法主要有基于空间的像素匹配算法及基于频域的拼接算法。另外, 在数字隐写方面, 较有代表性的空域LSB隐写算法和频域JPEG图像隐写算法及相应的隐写分析算法研究方面都有了较大的发展, Jpeg-steg、F5等算法在隐藏图像的抗视觉怀疑性、隐藏信息的抗检测性、鲁棒性、防容量估计性等方面都有较好的表现。
特征级数字图像融合属于中间层次, 处理过程可归结为:对来自不同传感器或相同传感器不同时段获取的原始信息进行特征提取, 再对提取的多个特征信息进行综合分析和处理, 以获取目标状态融合数据或目标特性融合数据。特征提取基于图像分析, 在图像分割、目标表达和描述、纹理分析、形状分析及运动分析等方面都存在较大的发展空间。在军事应用中主要用于军事目标的检测、定位、跟踪和识别, 民用则非常广泛, 如工业生产中的故障检测、天气变化、农作物分布及收成、OCR (Optical Character Recognition) 、人的身份识别、交通监管、远程诊断、矿产资源调查、城市热岛效应分析等。在特征级数字图像融合技术方面, 大量引入的统计学习算法及仿生算法使得特征级数字图像融合技术成果非常丰富:贝叶斯估计、信息熵、表决、加权平均、聚类分析、支持向量机[15]、模糊逻辑[16]、神经网络[17]、微粒群算法[18]等方法。
决策级数字图像融合必须和具体的应用相结合, 层次最高, 数据量最小, 在决策知识表达方面还需进一步研究。
3. 数字图像融合研究热点及问题
在军事领域, IR ATR (Infrared imaging automatic target recognition) 、基于二维成像声纳的水下运动目标三维运动轨迹测量、动态目标跟踪、水下自主机器人 (ROV) 及多目标定位技术等为主要研究热点。
IR ATR在精确武器系统有着广泛的应用, 要求工作帧频高、信号动态范围大、实时性强、处理精度高和具有高度的灵活性, 但红外成像图像细节模糊不清、传输过程中易受到噪声的污染, 严重影响后续目标检测、匹配的精度, 另外, 其复杂背景低、信噪比小、目标还容易受到虚假目标及随机干扰的影响, 还存在进一步研究的必要。
水下运动目标三维运动轨迹测量有内测和外测两种方法, 内测是在运动目标自身内部安装速度、姿态等相关传感器来感知运动目标的运动过程中的状态信息, 可同步提取并处理, 但对敌方移动军事目标大多只能采用外测, 以光学和声学成像系统对运动目标进行轨迹测量。基于光学的测量设备的测量效果受环境影响较大, 特别是水体的浑浊度, 主动高分辨成像声纳能较好地解决恶劣环境的负面影响。高分辨的三维成像声纳实现的技术环境不成熟, 多部二维高分辨声纳成像是现阶段采用较多的技术, 实时高速处理二维高分辨声纳图像、超分辨率重建及相关的水下多目标定位、ROV等都是有待于今后进一步深入研究的问题。
在医学领域, 脑部磁共振成像 (Magnetic Resonance Imaging, MRI) 与单光子发射计算机断层成像 (Single Photon Emission Computed Tomography, SPECT) 的融合、CT图像分析、人体病理部位的三维重建在辅助医学诊断及治疗过程中的应用日益广泛和深入。在预处理、配准、特征提取、融合过程中所使用的算法对其它领域的应用也具有借鉴价值。另外, 基于ITK和VTK的二次开发使得医学图像分割、三维重建更加方便快捷。近几年在中医辨证和人体体表特征的相关性研究也逐步深入, 但离临床应用还存在一定的距离。
在工农业生产领域, 水下及特殊环境下的自主机器人视觉是代表数字图像融合技术应用的前沿方向之一, 与军事领域应用研究部分重叠, 值得进一步关注。此外, ICT (Industrial Computed Tomography) 无损检测技术通过射线扫描物体获得投影数据, 进一步重建物体断面图像和体数据, 较适合分析复杂封闭的检测对象, 关键问题是特征提取, MSG (Multiscale Geometric Analysis) 是继小波分析之后对高维数据进行有效分析的工具, 工业CT体数据面特征的提取包括两种思路:一种是先将CT体数据按某个方向进行切片划分, 再对每张切片进行线特征的提取, 最后由线特征堆砌出面特征;另一种是直接对CT体数据进行面特征的提取, 这方面存在的主要问题是找到合适的方式描述工业CT体数据面特征。其它工业应用如工业流水线监控过程的连续帧图像分析、故障诊断等方面的研究则异彩纷呈, 由于其分析与故障表征模型的专用性, 在数据预处理、分析、特征提取等阶段所采取的处理方式也各不相同, 但努力的方向都是一样的:准确、实时, 在这方面也还存在期待解决的问题:能否构建通用的特征表示模型, 算法是否有并行的解决方案等。在农业生产方面, 多源多时空多尺度遥感影像融合技术在农作物长势分析、收成预测、水土保持、病虫害信息提取等方面都有丰富的研究成果, 随着超光谱遥感影像数据的广泛使用所产生的海量数据处理技术应用需求更加迫切。超光谱数据压缩、特征提取、并行计算、海量数据存取及检索方法方面还有较多的改进空间。
其它领域应用如电力设施在线监控、交通监控、矿业资源及林业资源调查、矿体三维可视化、矿区环境监测、矿区开发现状动态监测、地质灾害监测及危险性评价也都是近年来的研究热点。
4. 数字图像融合算法
数字图像融合算法种类繁多, 在信号级、像素级、特征级及决策级图像融合过程中都有着丰富的研究成果, 本文仅就其中关键过程做简要评述。
先讨论洗配准问题, 像素级图像融合的四个步骤:预处理、变换、综合及反变换 (也即是重构图像) 。在预处理阶段中的配准处理算法SIFT及SURF都有着较强的匹配能力, 可以处理两幅图像之间发生的平移、旋转、放射变换情况下的匹配问题, 但在多模态遥感影像配准中特征匹配正确率极低, 如何有效地引入边缘、轮廓信息提高匹配正确率及速度期待解决。像素级数字图像融合方法从PCA、IHS到金字塔算法、多分辨小波变换方法, 到现阶段智能算法的深度引入, 如KBNNF (knowledge-based neural network fusion) 、SVM、PSO、模拟退火算法等, 目的是尽可能利用多源多时空影像中提取的特征进行配准, 减少配准过程中的人工交互干预。
其次在去噪过程中, 基于小波变换的去噪方法被广泛应用。此外, 由于Bandelet变换它能对图像局部方向进行最优逼近, 可选择效果较好的半软阈值函数。还有Directionlet基函数的方向与图像中各向异性目标匹配时, 对图像的逼近效果较好, 不匹配时则退化为小波, 逼近效果很差, 可通过自适应地寻找图像的主要方向, 构造Directionlet变换的采样矩阵, 使Directionlet的变换方向和队列方向尽量与图像的主要方向一致, 能够自适应地捕捉图像中的各向异性特征。随着多分辨率概念的提出及Contourlet变换的发展, 可对目标多个极化强度图像分别利用Contourlet变换进行多尺度、多方向分解, 从而得到含有低频系数的子图和一系列具有不同分辨率和不同方向的高频系数的子图, 再为每个方向的高频子带系数进行区域差异信息的测量, 最后对得到的融合系数进行Contourlet逆变换, 重构图像。
最后就模糊图像融合、仿生计算及并行图像处理做简要评价。在数字图像融合的智能融合算法中引入模糊集合、模糊关系及模糊逻辑和推理, 便产生了相应的模糊图像融合智能算法:模糊聚类、模糊模式识别、模糊神经网络、模糊专家系统、模糊综合评判、模糊决策等。另外, 由于计算智能中的仿生学发展迅猛, 仿生过程算法 (模拟进化计算、遗传算法) 、仿生结构算法 (人工神经网络) 、仿生行为算法 (Fuzzy逻辑与Fuzzy推理) 在图像融合中应用日益广泛和深入。而并行图像处理技术则主要应实时图像分析的需要而发展的, 也必将更深远地影响数字图像处理及应用的深度和广度。
5. 总结
数字图像融合技术及其应用涵盖的内容较多, 本文只就其中主要的技术和关键的应用做出分析和评价, 代表着数字图像融合技术的发展前沿, 也希望在未来的工作中在某些方面有所超越。
摘要：本文对数字图像融合技术的最新发展动态做简要的分析, 特别是数字图像融合算法、应用及存在的问题, 为进一步研究数字图像融合提供参考。
多源遥感图像数据融合 篇8
关键词：图像融合
1 图像融合的基本原理
由于成像原理不同以及技术条件等方面的限制，采用任何一个单一遥感器所获取的遥感数据都不能全面的反映目标对象的特征，都存在着一定的特点和其局限性。而一些非遥感数据也具有它自身的特点与局限。如果能将多种具有不同特征的遥感以及非遥感数据集合起来，相互取长补短则可以在发挥它们各自优势的同时又弥补相互的不足。同时可以更加全面的反映地面目标，提供更强的信息解译能力和更加可靠的分析结果。图像融合是一个对多遥感器的图像数据和其他信息的处理过程。它着重于把在时间或空间中存在冗余或者互补的数据按照一定的法则进行运算，获得比任何单一数据都更为精确、更为丰富的信息，从而得到一幅具有新的空间、波谱、时间特征的合成图像。目前图像融合可以在三个不同的层次上进行[1]。
1)像元，基于基本像元的图像融合是指直接在采集的原始数据层上进行融合，是对不同图像信息在像元基础上的综合，必须对栅格数据进行相互间的几何配准。要求在进行像元级合并处理之前应首先使各像元一一对应。
2)特征，基于特征的图像融合是指应用不同的算法，先对各种数据源进行目标识别的特征提取，比如边缘提取、分类等等。对从初始图像中提取的如范围、形状、邻域、纹理等空间结构信息进行综合分析与融合处理。
3)决策层，基于决策层的图像融合是指在图像理解和图像识别的基础上进行的融合。常用方法有：用Markov随机场模型方法加入多元决策分类、模糊集理论、专家系统方法等[2,3,4]。
2 图像数据融合方法
影像融合算法有很多，主要分为两大类方法即在空间域的融合、变换融合，具体方法如图1所示。
3 图像数据融合与地学相联系的相关应用
地学信息主要指专题地图和专题数据。其中专题地图指土地利用图、植被图、土壤图、行政区划图等各类专题图，以及等值线图、地形图等。而专题数据指各种采样分析数据、野外测量数据、调查统计数据、DEM等。地球化学信息的变化和地物的地学属性常常与它们的影像特征之间有明显的相关性。将它们结合起来综合考虑可以更全面、科学的表达所研究的内容。如在地形起伏的山区，将遥感图像与DEM相融合，可以用来纠正因地形起伏所造成的图像畸变，提高遥感对土地覆盖、森林覆盖等的分类精度;或将遥感提取的如绿度、温度、湿度、亮度等与生态环境有关的专题信息，与气象台所提供的各项气候信息相融合，可以反映区域环境变化以及气候与环境的关系等[5]。
4 结束语
目前对地观测中使用的各种不同类型的遥感器提供了多时相、多分辨率、多频段的遥感图像数据，它们各自都具有自己的优势与局限，利用数字图像融合技术可以扩大数据的应用范围，提高相应的分析精度、应用效果和实用价值。(下转第7844页)(上接第7838页)
参考文献
[1]Pohl C,Van Genderen J L.Multisensor Image Fusion in Remote Sensing:Concepts[J].Methods and Application,Int,J.Remote Sensing,1998,19(5):823-854.
[2]贾永红,李德仁.四种HIS变换用于SAR与TM影像复合的比较[J].遥感学报,1998,2(2):103-106.
[3]孙家柄,刘继林,李军,多源遥感影像融合[J].遥感学报,1998,2(1):17-50.
图像融合 篇9
近距离相干光图像处理系统用光实现图像的空频域转换及滤波处理,4f系统是其典型代表。D.Mendlovic和N.Konforti用它实现了图像光学小波变换[1],才德,严瑛白,金国藩等则将其用于虹膜识别领域中[2,3]。但目前,由于器件和环境问题,其处理的图像还有一些噪声。传统4f系统图像特点是,首先它有一定的低通特性,这要求后处理时要特别注意保护图像信息;其次4f系统是一个近距离的相干光系统,其处理图像中除了常见的随机噪声外,还有相干光带来的低频段相干噪声需要处理。而目前常用的数字去噪算法主要针对加性高斯白噪声,对低频段噪声处理效果较弱,同时还难免对图像信息有所损伤,在这里的应用效果有限。
本文设计一种基于多谱点图像融合的去噪方法,先利用系统中空间光调制器矩阵结构带来的图像复制功能,获取多个谱点图像,每个图像中包含了同样的有用信息和不同的噪声情况,再利用图像融合技术将它们进行合并,在不损失图像信息的情况下,既处理随机噪声,又抑制低频相干噪声。
1 4f系统及其输出图像
图1(a)是典型的4f系统,P1面上是加载输入图像的空间光调制器(SLM1),P2面是频谱面,放置另一个空间光调制器(SLM2)加载需要的频域滤波器,实现图像频域滤波处理,再经逆傅里叶变换于P3面上得到滤波后的图像,用CCD采集。(b)是我们的试验平台,由波长632.8 nm的DH-HNKW250P型He-Ne激光源S、72 lp/mm的Sony LCX029液晶板构成的SLM、焦距400 mm、直径100 mm的GCO-0203M型消色差傅里叶透镜、佳能EOS 350D CCD相机及辅助器件构成。本文暂不考虑滤波处理,故假设SLM2上加载全通滤波器。
图1(c)、(d)是我们系统处理前后的Lena图,对比可以看到其效果。系统处理图像的特点是:首先,它有一定低通效果。一般光学图像系统的低通特性是指CCD和SLM类的采集或显示器件的带限低通效果,由这些器件的采样间距决定。而4f系统中用傅里叶透镜来实现空频变换,而傅里叶透镜只有在近轴条件下才有较准确的变换性能,即它也是一个低通器件,这使得系统输出图像往往已经是SLM1上的图像被傅里叶透镜低通滤波后的结果,故要求后处理时要特别注重保护图像信息。
其次,4f系统图像既有随机噪声,又有相干噪声。在不考虑实验操作误差前提下,用式(1)近似表示其输入输出关系,f′和f表示输出和输入图像,n表示随机噪声,它来自灰尘、杂质、光电器件的热噪声等,是这类多器件复杂系统常见的噪声形式,通常合起来看成高斯白噪声处理(有的文献中也将n写成乘的形式,但只要再取对数就也能转换成加的形式)。m表示相干噪声,来自于相干光的干涉、衍射现象,表现为相干条纹的形式,如图1(d)中的横向大条纹,Lena帽子左部分的同心圆环等,这些相干条纹幅值变换较缓慢,主要分布在低频段,与图像信息的混合程度很重,这使得用后期算法直接分离m与f很困难。
最后,由于光衰减和CCD曝光时间等因素,输出图像有一定的亮度变化,但它对获取图像的纹理结构信息影响不大,而且目前已有很多成熟方便的调整亮度的方法,所以本文不针对它进行研究。总之,本文方法的目的就是在保护图像信息前提下,既要去除高斯白噪声,又要抑制低频段相干条纹噪声。
2 多谱点图像融合降噪
针对上述特性,本文设计了多谱点图像融合降噪的方法,先利用空间光调制器的图像复制性能,在同一次试验平台上获取多个输出图像,其中包含了相同的图像信息和同分布但不同数值的噪声,再用图像融合技术将它们合并,实现抑制噪声且不损伤图像的目的。
2.1 多谱点图像获取
在4f系统中,常用SLM来加载输入图像,SLM是点阵结构的数字器件,相当于对图像采样,根据傅立叶变换的性质,空域乘积对应频域卷积,即会带来频谱复制现象:
同样如果对图像的频谱采样,则会带来逆变换后的图像复制现象,即SLM1会在P2面上复制出多个频谱,而SLM2又会在P3面上复制出多个输出图像。本文称这种由系统中的采样结构器件复制出的多个图像谱“多谱点图像”。
图2(a)示意了这一过程,f表示原图像,F0、F1、F-1是复制的频谱,f'0、f'1、f'-1是复制的逆变换图像,在P2面和P3面上放置遮光板(图中用带箭头的虚线表示)。合理调整遮光板、SLM和CCD的位置,就可以控制光路,从而采集到不同光程的谱点图像。在实际操作中,我们采取的是固定P2面上的器件在光轴线上,只用F0谱,调整P3面上CCD和遮光板位置来采集不同光程图像。
图2(b)是P3面上的多谱点图像分布情况,我们用坐标形式标示出以光轴为中心的9幅图像。在实际中,当图像远离光轴时,光衰减会越多,图像质量会下降,所以我们最终选择了离光轴较近的(-1,0)、(0,-1)、(0,0)、(0,1)、(1,0)图像,在CCD用相同的曝光时间情况下,它们的质量大体相当,其图像见图4。
这些多谱点图像是同一次试验平台、同一幅输入图像产生,所以都满足式(1),含有同样的图像信息f,由于各自所经历的光程有所不同,所以其中的噪声虽然符合相同的统计分布规律,但却有不同的具体数值形式。以式(3)、(4)表示其中两幅:
式中:n1、n2是遍布于图中的随机噪声,由各种随机因素综合而成,都遵循同分布的高斯白噪声统计规律,但具体数值不同;m1、m2都是干涉、衍射环类的相干噪声,如后面图4中的同心圆环,背景上的横向大条纹等,但是它们的空间位置和数值是不同的。
2.2 融合降噪
根据多谱点图像的上述特性,再利用图像融合技术将它们进行合并,可以削弱n和m,同时不改变图像信息。
图3以两幅图像为例说明我们融合方案的流程。首先各图做稀疏分解,将图像分成低频子块a(i,j)和一组高频子快d(i,j),分别处理[4,5,6]。按照第一节中的介绍,需要抑制的高斯白噪声n分布在整个频带上,相干噪声m主要分布在较低频段:
在高频段中,主要抑制高斯白噪声n,采取融合规则H,其表达式为
其中:d'0是融合后的高频子块,d'1~d'5是我们的五幅图像,c12是融合系数,k=1+c12+c13+c14+c15是归一化系数。
融合系数c用局域比较法来确定:由于各谱点图像的光程差和相干光源可能的不均匀性,不同图像局部间可能有一定亮度差异,所以融合前要先进行能量配准。我们将(0,0)图作为标准图像进行配准,以式(7)两幅图的情况为例,假设d'1和d'2是(0,0)图和另一幅图的高频子块,对它们逐点取对应邻域M1和M2,计算邻域能量1E和E2:E=∑M[d'(i,j)]2,用1E做标准将M2调整为
这样M1和M'2有相近的明暗程度,它们包含了相同的图像细节信息和同分布的高斯白噪声n1、n2的分解信息,这时用式(7)进行融合得:
图像信息不变,噪声系数方差变为,能使方差减小,即两幅图的点对点加权平均可以抑制高斯白噪声,多幅图像同理,而且图像越多效果越好。另外,如果稀疏分解的级数较高,高频段中也可能有一些相干条纹信息,这时只要这些信息的空间位置不同,用式(7)方法也可以起到削弱淡化的作用。
低频子块中要同时处理随机噪声n和相干噪声m,对n的处理思路同高频子块中一样,而相干噪声m我们增加融合系数t来处理,式(10)是低频融合规则L,即以a'1(i,j)为标准图像,将另外几幅谱点图像融合到其中。
还是以两幅图的情况式(12)为例来说明式(10)的含义。仍然采用局域比较法,假设a'1和a'2是(0,0)和另一幅图的低频子块,分别逐点取邻域M1和M2,先以M1为标准将M2调整为相同亮度的M'2,c是能量融合系数,同式(8)。这时M1和M'2中含有同分布的an1和an2,以及可能的受相干条纹噪声干扰的图像信息af×m,相干条纹是正、余弦波动形式的干涉、衍射环,它们会使得图像信息产生波动,增大该处的局域方差,根据这个原理我们设定式(11):当M'i的方差大于M1方差的l倍时,认为此处局域位置上,M'i中有相干条纹的干扰,所以给它一个衰减系数,减小它参与融合的程度;反之,当M1的方差大于M'i方差的l倍时,认为此时是M1中有相干条纹,所以给M'i一个较大的融合系数增大其参与融合的程度,反向减弱M1在融合中的比例;如果方差相近,则ti取1。最后再用k=1+∑tic1i归一化处理,得到融合的低频子块,同时由于该因子的存在,也可以使融合后有用信息的数值保持与原图基本一致。
对低频块的融合与对高频块的融合相比,采用了同样的方式处理随机噪声,不同的是增加了对相干条纹的处理,增加了因子ti。没有用局域方差小的系数来直接作为融合系数,是为了在处理相干噪声时同时处理随机噪声。参考目前的融合技术中比较局域方差或活跃度时常取比值l为1~1.5[7,8,9],本文中也取l为1.5。用N幅图像进行融合时,将ti取为N和1/N,有5幅图,所以是5和1/5。
最后用融合后的低频、高频子块重建图像,实现抑制噪声且保留原图像信息。
这种多幅图像点对点累积以抑制噪声的思想,和CCD用较长曝光时间采集图像以抑制随机噪声的方法,以及视频图像处理中的“时域平均法”的思想是类似的,但CCD的曝光时间毕竟有限,而且累积不能处理固定位置的相干条纹,所以用多幅图像融合方法来代替,这可以说是一种“用空间换时间”的方法。
3 结果与分析
下面给出一组实验例,首先在同一次试验平台中,在SLM1上输入尽量大的Lena图像,原则是使复制的图像相互不交叠,在我们实验平台中是616×616点。用2.1节方法采集了图2(b)所示的5幅多谱点图像,(0,0)图就是图1(d),图4给出其它4个1级谱图像。
然后将图像按2.2节方法进行合并,用NSCT共做了3级分解,邻域M取5×5点。图5(a)给出原(0,0)图做对比,它与标准Lena相比的PSNR为18.957 6 d B,其他4幅谱点图像的PSNR也在18~19 d B左右;图5(b)是2.2节中用(0,0)和图4(a)融合的例子,PSNR值是19.826 4 d B;图5(c)是用5幅图像做融合后的结果,PSNR为20.512 9 d B;图5(d)给出(c)再简单调整亮度的结果,仅供参考,PSNR为22.354 8 d B。
可以看出处理后随机噪声明显减弱,背景中的横向条纹和同心圆环也被淡化,Lena帽子左边的大环变化太平滑,还没有完全消除,但是也变淡了。多幅图像累积后,随机噪声得到更好的消除,相干噪声也基本被抑制了,只有帽子左边的大环还有微弱的痕迹。同时Lena本身的信息基本没有变化,这是很好的性能。
4 结论
本文提出了一种多谱点图像融合以抑制相干光系统图像中的随机噪声和相干噪声的方法。该方法先利用空间光调制器的点阵结构带来的图像复制功能获取多幅含同样图像信息和不同数值噪声的图像,再根据噪声特性用图像融合技术将这些图像做类似累积平均的处理,以实现对噪声的抑制,同时不改变图像本身的信息。其原理与“时域累积平均抑制噪声”的方法相似,可以说是一种“以空间换时间”的处理。该方法与目前常用的数字去噪算法相比,它既能处理高频段随机噪声,还能处理低频段的相干噪声,同时对图像本身的信息基本没有改变,具有良好的降噪性能。本方法的难点在于,多谱点图像的采集对实验时的操作技能要求较高,需要较准确的CCD定焦、调整角度等操作,同时还要求光源有足够的功率,以提供较好质量的多谱点图像。
摘要：为处理4f相干光图像处理系统中存在的随机噪声和低频相干噪声,提出一种基于多谱点图像融合的相干光图像处理系统降噪方法。先利用空间光调制器的点阵结构带来的图像复制功能,在同一次试验中获取多个谱点图像,其中各图像包含有相同的图像信息和同分布规律但不同数值形式的噪声信息。再使用图像融合技术将这些图像合并,用类似于时域累积平均的方式淡化随机噪声和相干噪声。理论分析和物理实验表明,该方法既能处理随机噪声,又能有效处理低频段的相干噪声,并且对图像信息几乎没有损失。
关键词：信息光学,多谱点图像,图像融合,图像降噪,4f系统
参考文献
[1]David mendlovic,Naim Konforti.Optical realization of the wavelet transform for two-dimensional objects[J].Applied Optics(S1559-128X),1993,32(32):6542-6546.
[2]才德,严瑛白,金国藩.双多通道虹膜识别系统的研究[J].光子学报,2006,32(2):308-310.CAI De,YAN Ying-bai,JIN Guo-fan.The research on the dual multichannel iris recognition system[J].Acta Photonica Sinica,2006,32(2):308-310.
[3]才德,严瑛白,金国藩.光学可分离小波变换的研究[J].光学技术,2005,32(2):296-298.CAI De,YAN Ying-bai,JIN Guo-fan.Improving optical wavelet transform by optical separable wavelet transform[J].Optical Technique,2006,32(2):296-298.
[4]楚恒,李杰,朱维乐.一种基于小波变换的多聚焦图像融合方法[J].光电工程,2005,32(8):59-63.CHU Heng,LI Jie,ZHU Wei-le.Multi-focus image fusion scheme with wavelet transform[J].Opto-Electronic Engineering,2005,32(8):59-63.
[5]戴光智,陈铁群,薛家祥.小波图像融合改善超声图像分辨率[J].光学精密工程,2008,16(11):2290-2295.DAI Guang-zhi,CHEN Tie-qun,XUE Jia-xiang.Improvement of resolution for ultrasonic image based on wavelet image fusion[J].Optics and Precision Engineering,2008,16(11):2290-2295.
[6]Ghantous M,Ghosh S,Bayoumi M.A Gradient-Based Hybrid Image Fusion Scheme Using Object Extraction[C]//15th IEEE International Conference on Image Processing,ICIP2008,San Diego,CA,Oct12-15,2008:1300–1303.
[7]SONG Meng-xin,CHEN Xin-yu,GUO Ping.A fusion method for multispectral and panchromatic images based on HSI and Contourlet transformation[C]//Image Analysis for Multimedia Interactive Services,London,May6-8,2009:77–80.
[8]Zaveri T,Zaveri M.Region Based Image Fusion for Detection of Ewing Sarcoma[C]//Seventh International Conference on Advances in Pattern Recognition,Kolkata,Feb4-6,2009:240–243.
图像融合 篇10
生物特征识别不同于传统身份标志物识别,是以身体部位的特征为标志的识别方式。比如:基于形态的指纹、掌纹、虹膜纹理、手指静脉、手掌静脉,以及基于行为的签名、步态等识别方式。生物特征不仅具有难以被复制、盗取、滥用的特征,而且还具有随时可使用、信息含量丰富、识别率高等优点。其中手掌静脉采集方便,包含静脉多,并且重复的概率低于指纹,因此通过分析手掌的静脉特征可实现高精度的身份认证。此外,手掌静脉的是活体特征,作为身份认证的依据,具有更高的安全性。
手掌静脉识别系统[2]基于人体血管中的血红蛋白成分能够吸收大量特定波长的近红外光的原理,采用特定波长的近红外光源照射手掌,通过CMOS图像传感器拍摄装置获取静脉的原始图像,再通过对原始图像进行ROI区域提取、图像预处理、特征提取、特征匹配等5大步骤判别图像是否属于同一手掌。手掌静脉识别作为生物特征识别的一个研究较为深入的方面,有众多成熟的算法,识别精度高于同等条件下的指纹的识别精度。
手掌静脉识别性能的高低很大程度上取决于手掌静脉图像的质量。其中,影响手掌静脉图像质量的因素有采集装置的固有缺陷[3]、掌脉的外周皮肤组织的非透性、光照的不均匀性等。上述问题导致照射手掌静脉的近红外光发生散射[4],进而造成手掌静脉成像不清晰、静脉纹理不明显,并且掌纹过于突出。因此学者提出众多掌脉图像预处理算法,用来获得具有静脉灰度值集中、背景灰度值集中、静脉与周围皮肤组织对比度大、静脉网络连贯等特点的优质掌脉图像。例如:文献[5,6]采用直方图均衡化算法(histogram equalization)和灰度归一化方法提高掌脉图像的清晰度,增强手掌静脉图像;文献[7—11]用局部均值估计背景图像,并与原图像作差,降低皮肤组织在近红外光源照射下形成的背景信息对静脉的干扰,得到手掌静脉增强图像。文献[12]采用Do G-He(difference of gaussian and histogram equalization)算法得到静脉纹理明显的手掌静脉增强图像。文献[13—15]先将感兴趣区域分为大小一致、互不相交的子块,计算每个子块的平均灰度值,利用双三次插值方法得到ROI图像的背景灰度估计值矩阵;然后,将背景估计矩阵与原图像作差,得到初步增强图像;最后,采用CLAHE(contrast limited adaptive histogram equalization)或HE(histogram equalization)的增强方法得到静脉明显,静脉与皮肤组织对比明显的增强图像。文献[16,17]首先采用大小为5×5的均值滤波器处理ROI图像,降低图像噪声,然后采用大小为51×51的低通高斯滤波器得到静脉纹理更为明显的掌脉图像,再与原手掌静脉图像作差,进行归一化得到增强图像。文献[18]先用CLAHE(contrast limited adaptive histogram equlization)方法增强掌脉图像,再采用σ=0.8的二维高斯低通滤波器减少掌纹对手掌静脉图像的干扰,得到增强图像。
在上述方法中,绝大部分方法用于降低图像噪声,增强图像对比度等,极少部分用于去除掌纹,其中文献[18]采用低通高斯滤波器去除掌纹的干扰,但是效果并不理想。本文提出基于去掌纹的增强方法,消除掌纹对手掌静脉图像的干扰,从而提高手掌静脉识别系统的识别性能。通过对大量手掌静脉图像的观察分析,提出8个效果明显的方向滤波器,用于提取掌纹。并将掌纹提取图像与原掌脉图像进行加权融合、阈值分割,得到掌纹掌脉的融合图像。去掌纹增强方法得到的融合图像消除了掌纹的干扰,解决了掌纹引起静脉不连贯的问题,得到静脉与背景信息对比度大的手掌静脉图像。实验结果表明,与目前常用的三种手掌静脉图像增强方法相比,提出的去掌纹增强方法得到的融合图像具有更高的识别率。
1 方法流程
手掌静脉识别流程如图1(a)所示。第一步,用手掌静脉图像采集装置获取手掌静脉原始图像;第二步,获得大小一致、手掌静脉含量丰富的掌脉ROI图像;第三步,对ROI图像进行预处理;第四步,提取手掌静脉特征;第五步,计算数据库手掌静脉特征与待测手掌静脉特征间的相似度,最终做出判断,图像是否属于同一手掌。
本文方法是对手掌静脉识别系统预处理步骤的改进,本文增强方法流程图如图1(b)所示。第一步,对手掌静脉ROI图像进行去噪、增强,解决光照不均等导致手掌静脉图像噪声大、图像不清晰的问题,提高静脉与皮肤组织的对比度,得到静脉较明显的初步增强图像。如图1(b)中的I图所示。但是I图中可以看到手掌静脉和掌纹同时被增强,而且增强的掌纹“破坏了”静脉的结构,因此需要下列步骤去除掌纹。第二步,通过构建方向滤波器,提取掌脉图像的掌纹,得到掌纹明显的掌纹提取图像,如图1(b)中的I'图所示。第三步,将掌纹提取图像与初步增强图像加权融合,消除掌纹对静脉的干扰,增大静脉与皮肤组织的对比度,得到增强图像,如图1(b)中的In图所示。
2 去掌纹增强方法
正如上述所言,高质量的手掌静脉图像有利于提高手掌静脉识别系统的识别精确性,并且影响图像质量的主要问题是掌脉成像不清晰,静脉纹理不明显,掌纹过于突出。因此,通过估计背景灰度矩阵与原图作差,对图像进行CLAHE增强得到初步去噪、增强的手掌静脉图像;构建8个方向滤波器,提取掌纹;将掌纹提取图像与原掌脉图像进行加权融合,从而解决了掌纹干扰手掌静脉成像的问题,使静脉网络更加连贯,静脉更加明晰。
2.1 手掌静脉图像初步增强
采集图像时,采集装置差异、光照不均匀、噪声干扰造成背景灰度变化较大,使得获取的原始手掌静脉图像质量较差,背景信息占有的图像比例较大。为了解决这个问题,可以将图像分为大小为32×32的子块,对每一块分别选取其均值作为背景灰度估计值。原图像为Ir,图像中每个点的灰度值为Ir(i,j),每一子块的阈值为T,可用式(1)来进行灰度值求取:
式(1)中,m×n表示图像的大小,分块大小可以根据实际情况选择,如八块、十六块等。
为了使估计的背景灰度值更接近原图像的背景灰度值,这里选用双三次插值[[19]]对分四块算法求得灰度平均值进行背景灰度值估计,得到背景估计图像Ib。
估计背景灰度矩阵与原始图像中皮肤组织的成像灰度接近。而且,原始图像中静脉含量少,静脉与皮肤组织对比度小,故将原图像Ir与背景灰度矩阵Ib作差,减少皮肤组织对静脉的干扰,得到初步增强图像Is0。由于作差生成的图像Is0的灰度范围发生改变,因此需要对图像进行灰度归一化,得到灰度值范围为0~255的掌脉图像Is。公式如下:
归一化得到的手掌静脉图像,静脉与皮肤组织的对比度较小,用CLAHE(contrast limited adaptive histogram equalization)的方法增强图像,得到图像I's。因为I's是整体增强后的图像,静脉更加清晰的同时,图像噪声也增加。对再次增强的图像进行均值滤波,得到更为平滑的手掌静脉图像I,图像灰度值为I(i,j)。其中,i,j=1,2,…,128。
2.2 构建掌纹提取的方向滤波器
通过观察初步增强图像,我们发现在手掌静脉图像中,掌纹的存在使手掌静脉呈现为“断裂”的现象。这是因为用近红外光源照射手掌静脉时,近红外光被静脉中的血红蛋白大量吸收,在CMOS传感器上的成像中呈现为较黑的纹理。手掌表面的纹理信息,不吸收近红外光,生理上表现为手掌皮肤组织向内凹陷的纹理,且颜色比周边皮肤组织深。因此在灰度图像中呈现为不同于静脉灰度值和背景灰度值的灰度分布。因此手掌静脉图像中,深色的手掌静脉灰度值小,浅色的掌纹灰度值大,两者灰度值差异大。为此提出8个方向滤波器,提取掌纹。其中,设计8个大小为5×5的掌纹提取方向滤波器,如图2所示。
128×128的手掌静脉ROI图像中,手掌表面的纹理的大小约为2到3个像素,设计的大小为5×5方向滤波器能够提取完整的掌纹。如果方向滤波器宽度设计为3×3,则不能够完整提取掌纹,如果方向滤波器设计为7×7或者更大,就会在提取掌纹的
同时,把掌脉图像中与掌纹灰度值相似的背景误认为是掌纹而提取,反而增加了“噪声”,不利于后续的步骤。虽然图2中8个方向的滤波器中,相邻滤波器的夹角大小不一致,但这8个方向滤波器能够提取中心像素5领域的所有像素位置,从而不会遗漏任何一个方向的掌纹。
手掌静脉图像中,掌纹的灰度值比两侧皮肤组织的灰度值大。根据两者的灰度值差异,可以采用图2提出的8个方向滤波器提取掌纹。取(i0,j0)作为滤波的中心位置,原始灰度值为I(i0,j0),结合图2的方向滤波器。取8个方向卷积值中的最小值作为新的灰度值I'(i0,j0)。以方向模板(a)为例:
式(3)中,i0,j0=1,2,…,128。
当I(i0,j0)>I(i0,j0-2),I(i0,j0+2)时,中心像素的新灰度值I'(i0,j0)会减小。在手掌静脉图像外观上表现为:原图像上为白色或者灰白色的掌纹,经滤波操作之后,变为与掌脉接近的黑色或者黑灰色。
当I(i0,j0)、I(i0,j0-2)、I(i0,j0+2)大小相近时,由式(3)可知,I'(i0,j0)≈I(i0,j0)。外观解释为:手静脉图像中静脉纹理宽度较大(一般都在10像素以上),灰度值较小且较集中。外周组织的灰度值大且集中。因此用5×5大小的上述方向滤波器对图像进行滤波,两者的灰度值不会发生大幅度变化。
经方向滤波后的手掌静脉图像的灰度值的范围改变,不再为0~255。所以需要对掌纹提取图像进行阈值分割,分割公式如下:
式(4)中,i,j=1,2,…,128。
2.3 图像加权融合去掌纹
掌纹提取图像中,掌纹连贯、手掌静脉灰度值变化小,保存了的原始图像的大部分信息。但因静脉边缘两侧的灰度值差异比较大,由式(3)可知,边缘附近的灰度值改变、图像的噪声增加。因此需要对掌纹提取图像进行中值滤波处理降低噪声的干扰,得到更为平滑的掌纹提取图像I'。通过观察,可知初步增强图像I,手掌静脉的灰度值小,掌纹、皮肤组织的灰度值大,中值滤波得到的掌纹提取图像I',掌纹、静脉的灰度值较小,皮肤组织的灰度值大。本文将图像I和I'加权融合得到新的图像I'n。公式为:
式(5)中,i,j=1,2,…,128。a为调整参数,用来控制图像I和I'融合比例。
融合后的图像的灰度范围会超出0~255。为使图像灰度范围在0~255,设定阈值调整图像。公式如下:
式(6)中,i,j=1,2,…,128。经过图像加权融合去掌纹操作得到的融合图像I'n,灰度变化较大。因此用中值滤波平滑图像,得到最终增强图像In。图像I和I'中,静脉的灰度值均较小,因此两者加权后得到的灰度值变化较小,即仍旧显示为黑灰色,融合图像中静脉灰度值较小。图像I中,掌纹灰度值大,图像I'中,掌纹灰度值小,因此需调整参数a,使其灰度值与静脉灰度值相近。图像I和I'中,皮肤组织的灰度值均较大,两者加权后得到的灰度值变化小,加权融合图像上呈现为灰白色、白色。因此去掌纹增强方法使手掌静脉更加连贯,静脉与外周组织对比度差异大,有利于提高手掌静脉识别系统的性能。
3 实验结果与分析
本文采用类内类间匹配实验评测算法[23]。类内匹配是指同一个人的掌脉图像的匹配,类间匹配是指不同人的掌脉图像匹配,通过绘制类内类间匹配分布曲线,选择合适的阈值,按照固定阈值原则来判别两幅静脉图像是否来自同一个人。
实验采用香港理工大学生物特征识别研究中心(Poly U_BRC)手掌静脉数据库[24]中的ROI图像,原始图像大小为128×128的256色灰度图像。数据库图像是250位男性和250为女性分别在两个时期采集的照片,每个时期采集6张手掌静脉图像。
本文实验的测试环境为安装了MATLAB软件(版本:2014a)的台式计算机,主机配置为主频3.4GHz的Intel(R)core(TM)i3-3240,4 GB RAM。
本文设计了5个实验,定性和定量地评价去掌纹增强方法。实验分别为调整参数a的选择实验、定性评价去掌纹增强方法与其他增强方法的实验、定量评价去掌纹增强法方与文献[11]、文献[14]、文献[18]的实验。
3.1 参数a的选择
为了使掌纹与手掌静脉更好融合,获得连贯的静脉图像,本节实验寻找最优调整参数a。结合式(5)中,改变调整参数a的大小,探究参数a的大小对掌纹和手掌静脉融合效果的影响,实验结果如图3所示。从图3中可以看到,随着参数a的增大,图像的静脉损失越多,掌纹的灰度值增大,不利于去除掌纹。由图3(d)可以看到掌纹的灰度值比较大,掌纹与掌脉的融合效果差。图3(a)中,图像的掌纹不能被完全消除,且静脉与外周组织对比度小,故调整参数a的取值不能过大也不能过小。经过多次试验证明,当a=0.7,掌纹掌脉的融合效果最好。
3.2 增强方法的定性比较
为了定性评价去掌纹增强方法与目前效果较好的三种增强方法的效果。本节设计去掌纹增强方法与Lee[11]提出的增强方法、Wang等[18]提出的增强方法和周宇佳等[14]提出的增强方法的比较实验。其中文献[11]的增强方法为首先将掌脉图像分成互不重叠的16×16的子块,计算每个子块的平均灰度值,利用双三次插值方法估计背景灰度矩阵,然后原图像与背景灰度图像作差,得到增强图像,结果如图4(b)所示。文献[18]的增强方法为首先,对图像进行CLAHE(contrast limited adaptive histogram equlization);然后,采用σ=0.8的二维高斯低通滤波器去除掌纹的影响,结果如图4(c)所示。文献[14]的增强方法为首先,对感兴趣区域分块,每个子块大小为32×32,计算每个子块的平均灰度值,利用双三次插值方法得到ROI图像的背景灰度估计值矩阵;然后,通过对图像背景灰度估计值矩阵和原图像作差得到增强图像;最后,采用CLAHE(contrast limited adaptive histogram equlization)或HE(histogram equalization)的增强方法进一步增强图像,结果如图4(d)所示。
由图4(b)可以看出,采用文献[11]的增强方法得到的掌纹依然很模糊,此外,掌纹更加明显,这对于提取掌纹具有很大的干扰;图4(c)和图4(d)中可以看到文献[18]和文献[14]的增强方法虽然增大了掌纹与背景图像的对比度,但是掌纹的干扰依旧很明显。相比之下,从图4(a)中可以看到去掌纹增强方法不仅很大程度上降低了掌纹的干扰,提高了静脉纹理的连贯性,而且增大了掌纹与背景图像的对比度,得到清晰的掌脉图像。
3.3 本文方法与文献[11]的增强方法的定量比较
为了定量评价去掌纹增强方法与文献[11]的增强方法的效果,采用文献[11]的识别方法进行实验。文献[11]中,首先用(2D)2LDA对预处理之后的图像训练样本集的行方向进行的降维,得到新的训练集,再用(2D)2LDA对新的训练集的列方向进行降维,得到最优两个特征矩阵;然后,用最优的特征矩阵对所有测试图像进行降维,得到6×8大小的特征矩阵用于图像识别;最后,采用最近邻分类,得到图像的识别率。分别采用文献[11]的图像增强方法和本文的去掌纹增强方法得到图像作为待降维图像,得到识别率分别为97.00%和99.00%,其中两种方法的ROC曲线如图5所示。图5中,可以看到本文增强方法下ROC曲线面积要比文献[11]中的大,并且识别率也更高,说明了去掌纹增强方法提高了手掌静脉的识别率。
3.4 本文方法与文献[18]的增强方法的定量比较
为了定性评价去掌纹增强方法保持静脉连贯,提高图像质量的效果以及定量评价去掌纹增强方法与文献[18]的增强方法的效果,采用文献[18]的识别方法进行实验。分别采用本文提出的去掌纹增强方法和文献[18]增强方法处理原始掌脉ROI图像得到不同待提取特征的图像,再采用文献[18]的动态阈值分割得到二值化图像,如图6所示。
图6(a)中存在静脉断裂的现象,这主要是因为掌纹的灰度值与静脉不一致,对静脉网络的提取造成干扰。这些断裂现象并不是静脉本来的端点,但是在细化图6(a)时,细化算法会将断裂处默认为静脉终点,这样会使提取的静脉的拓扑结构与静脉实际的拓扑结果有很大差异,降低手掌静脉识别的性能。图6(b)中,静脉网络连贯、图像噪声小,有利于静脉拓扑结构的提取。因此,可以得出结论,去掌纹增强方法有利于提取更符合事实的静脉拓扑结构、减少了图像的后续的膨胀、平滑、去除二值图像中小面积非静脉的黑色部分等操作,而这些操作往往会在一定程度上损失手掌静脉图像的信息。
采用文献[18]的去噪、平滑以及细化等提取拓扑结构的算法,分别对上述两种增强方法下得到的初步增强图像进行相关操作;然后,分别提取两种方法下得到的拓扑结构提取Gabor小波特征;最后采用文献[18]的决策方法分别计算匹配分数。实验结果表示,去掌纹增强方法与文献[18]的增强方法得到的识别率分别为97.34%和94.75%。图7为两种方法下的ROC曲线。实验结果表明,本文提出的去掌纹增强方法提高了基于Gabor小波特征的掌静脉识别的识别率。
3.5 本文方法与文献[14]的增强方法的定量比较
为了定量评价去掌纹增强方法与文献[14]的增强方法的效果,采用文献[14]的识别方法进行实验。分别采用本文的增强法方法和文献[14]的增强方法,结合周宇佳等[14]的基于方向特征的手掌静脉识别的算法,分别提取方向特征矩阵,计算匹配分数真假匹配分。计算得到识别率分别为99.96%和99.83%。图8是分别采用本文的去掌纹增强方法与文献[14]的增强方法的ROC曲线比较结果。实验结果表明,采用本文提出的去掌纹增强方法提高了基于方向特征的手掌静脉识别方法的识别率。
4 结论
通过对静脉图像中掌纹像素宽度、灰度值的观察和分析,提出去掌纹增强方法。其思想是采用的8个大小为5×5的方向滤波器,对手掌静脉图像逐点滤波,提取手掌静脉图像中的掌纹。将掌纹提取图像与原手掌静脉图像加权融合。去掌纹增强方法消除了掌纹的干扰、使静脉更加连贯、静脉与外周组织的对比度增大。从而提高手掌静脉图像的质量、进而提高手掌静脉识别性能。采用香港理工大学生物特征识别研究中心(Poly U_BRC)手掌静脉数据库中的ROI图像,将去掌纹增强方法分别与基于修改后的(2D)2LDA的手掌静脉识别方法、基于Gabor小波特征的手掌静脉识别方法和基于方向特征的识别方法中的增强方法进行定性和定量比较。实验结果表明,上述三种识别方法的识别率分别为97.00%、94.75%和99.83%,而本文增强方法下的识别率分别为99.00%、97.34%和99.96%。因此,可以得出结论,本文的增强方法提高了多种识别方法的识别率。下一步研究工作将分别提取同一幅图像中掌纹和掌脉两种图像纹理信息作为图像特征,从而提高图像的利用率,得到更高的识别率。
摘要：针对手掌静脉识别系统中预处理算法不能够很好地解决掌纹造成静脉网络“断裂”,导致识别性能降低的问题,通过对手掌静脉图像的观察和分析,提出8个方向滤波器提取掌纹;并将掌纹提取图像与原掌脉图像加权融合,消除了掌纹对手掌静脉图像的干扰,使静脉网络更加连贯,增大了静脉与背景的对比度。实验结果表明,与目前已有的手掌静脉增强方法相比,去掌纹增强方法提高了图像质量,进而提高了手掌静脉识别系统的识别精度。
【图像融合】相关文章：
图像信息融合05-07
多聚焦图像融合05-26
小波变换及其在图像融合中的应用09-11
基于小波变换的遥感图像融合技术研究11-11
《Photoshop图形图像处理》课程融合渗透职业核心能力训练研究09-10
数字图像处理图像描述03-05
基于图像SIFT特征的图像检索方法09-11
手绘线条图像立体图像的表达说课稿04-28
数字图像04-08
图像认证05-02