专利名称：基于方向波域隐马尔可夫树模型的多源图像融合方法
技术领域：
本发明属于图像处理技术领域，涉及对多源图像的融合方法，可用于多源图像的目标识别与计算机的后续处理。
背景技术：
图像融合是一种对不同来源的图像进行综合处理的技术，早期被应用于多光谱卫星遥感图像的分析和处理中；20世纪80年代初期，Daily, Laner和Todd进行了雷达图像、Landsat-RBV图像、Landsat-MSS图像的融合实验。到80年代后期，图像融合技术开始引起人们的关注，并逐步利用遥感光谱图像的融合来进行地质、矿产、气候、环境的探测与研究。90年代后，随着遥感卫星JERS-1、ERS-U Radarsat等的出现，图像融合技术成为遥感图像处理的研究热点，其研究领域扩展到对SAR图像、航拍图像、可见光图像、红外图像、医学图像的处理。近年来，图像融合技术已经成为计算机视觉、自动控制、机器人、目标识别跟踪、军事应用等领域的关键技术之一，在遥感、国土探测与规划、地理信息系统、反恐怖安全检测、军事国防方面的目标探测识别与精确定位，以及在农业产量评估、医学图像分析、环境保护和灾情检测与预报等领域的应用有着重要的意义。传统的图像融合方法如线性加权法、主分量分析法等，这些方法虽然实现简单，但容易产生图像细节模糊。80年代出现的基于多分辨率的方法主要有基于金字塔和基于小波变换的两种融合方法，其基本思想是首先对原始图像分别进行多尺度分解，在不同尺度上对图像进行融合，最后通过重构获得融合图像。不足之处是不能很好的捕捉图像的边缘和纹理信息，不能充分利用数据之间的相关性，“振铃效应”和块效应很明显。之后Crouse等人对传统的基于小波变换的融合方法进行了改进，利用小波系数具有非高斯性和持续性的统计特性，同一尺度内及不同尺度间的邻域系数存在相关性的特性，将小波理论与隐马尔可夫模型HMM联系起来，提出了小波域隐马尔可夫模型JinzhongYang等人采用小波域隐马尔可夫树HMT统计模型来捕捉小波系数不同尺度间的相关性，并将该模型用在图像融合上，应用统计学方法对模型参数进行训练来得到融合图像，这类方法存在以下不足I)小波系数低频部分的融合规则过于简单，导致许多信息丢失；2)小波基的特点使得对图像特征的选择缺少方向性，只能有效地表达图像中水平、垂直和对角三个方向的信息，因而不能充分提取出原始图像中的细节信息，影响融合效果;3)图像中的边缘和轮廓奇异性属于图像的各向异性特征，不能被各向同性小波变换有效地捕捉。
发明内容
本发明的目的在于针对现有方法存在的融合规则简单，未能充分捕捉图像中的边缘等奇异性特征，存在细节模糊和块效应的问题，提出一种基于方向波域隐马尔可夫模型的多源图像融合方法，以提高融合图像的质量。本发明的技术思路是，利用基于小波变换的融合方法从两幅原始图像得到一幅初始融合图像，使用Velisavljevic' V等人提出的方向波即Directionlet变换,对两幅原始图像和初始融合图像分别进行分解，分别得到三幅图像的Directionlet低频系数和高频系数。对两幅原始图像的Directionlet低频系数进行自适应加权,得到融合图像的Directionlet低频系数；对初始融合图像的Directionlet高频系数建立HMT统计模型,根据Dempster等人提出的EM算法,分别计算两幅原始图像的Directionlet高频系数的后验概率，根据显著性测量的融合规则选择最优的Directionlet高频系数作为融合图像的Directionlet高频系数。通过Directionlet逆变换得到最终的融合图像。其实现步骤包括如下(I)输入两幅原始图像，并利用基于小波变换的融合方法从两幅原始图像中得到一幅初期融合图像；(2)对两幅原始图像与得到的初期融合图像分别进行Directionlet变换，分别得到三幅图像的Directionlet低频系数和高频系数；(3)对得到的初始融合图像的Directionlet高频系数建立HMT模型,构造该模型的参数集e ；(4)利用期望最大算法即EM算法对构造的参数集0进行训练得到它的估计值表根据S分别计算两幅原始图像的每个Directionlet高频系数的后验概率；(5)对两幅原始图像的Directionlet低频系数采用自适应加权融合规则进行融合，得到融合图像的Directionlet低频系数；(6)根据步骤(4)中得到的参数集S和后验概率，对两幅原始图像的Directionlet高频系数采用显著性测量的融合规则进行融合，得到融合图像的Directionlet高频系数；(7)对上述的融合图像的Directionlet系数进行Directionlet逆变换得到融合图像。本发明与现有技术相比具有以下优点1.本发明中采用了方向波对图像进行变换，相比基于小波变换的方法，能够提取出原始图像中更丰富的边缘和纹理等各向异性特征，能够充分利用原始图像的优势和互补信息，选择最佳的融合系数，且在融合过程中，能够抑制基于小波变换的融合方法存在的方向性混叠和“振铃现象”。2.本发明利用HMT模型对图像的Directionlet高频系数建模，与传统的基于小波变换的方法相比，能充分挖掘数据之间的相关性，达到更好的融合效果。3.本发明中，对原始图像的Directionlet低频分量采用自适应加权的融合规则，相比传统的取平均的融合规则更加合理。本发明对多组类型的图像进行了融合测试，分别从视觉效果和客观评价指标方面对融合结果进行评价，结果均表明本发明方法是有效和可行的。
图1是本发明的流程图2是本发明中初期融合图像的方向波域HMT模型参数训练子流程图；图3是本发明与其它方法对市区遥感图像的融合结果比较图；图4是本发明与其它方法对高光谱光学相机拍摄的林区图像融合结果比较图；图5是本发明方法与其它方法对多聚图像融合结果比较图。
具体实施例方式参照图1，对本发明的实现步骤如下步骤1:利用现有的基于小波变换的融合方法对两幅原始图像进行融合，得到一幅初期融合图像。(Ia)对两幅原始图像分别进行小波分解，得到其各自对应的小波低频系数和小波高频系数；(Ib)对上述的两幅原始图像的小波低频系数进行平均，得到初期融合图像的小波低频系数；(Ic)对上述的两幅原始图像的小波高频系数，取两者中绝对值较大的作为初期融合图像的小波高频系数；(Id)对上述的初期融合图像的小波低频系数和高频系数进行小波逆变换，得到初期融合图像。步骤2 :把得到的初期融合图像作为标准图像，分别与待融合的两幅原始图像一起进行Directionlet变换。(2a)给出一组为±30°，土45°，土60°，0° ,90°的方向，并从给出的方向中任意选择两个，分别作为变换方向和队列方向，构造采样矩阵Ma，
权利要求
1.一种基于方向波域隐马尔可夫树模型的多源图像融合方法，包括如下步骤 (1)输入两幅原始图像，并利用基于小波变换的融合方法从两幅原始图像中得到一幅初期融合图像； (2)对两幅原始图像与得到的初期融合图像分别进行Directionlet变换，分别得到三幅图像的Directionlet低频系数和高频系数； (3)对得到的初始融合图像的Directionlet高频系数建立HMT模型,构造该模型的参数集Θ ; (4)利用期望最大算法即EM算法对构造的参数集Θ进行训练得到它的估计值I根据乡分别计算两幅原始图像的每个Directionlet高频系数的后验概率； (5)对两幅原始图像的Directionlet低频系数采用自适应加权融合规则进行融合，得到融合图像的Directionlet低频系数； (6)根据步骤(4)中得到的参数集#和后验概率，对两幅原始图像的Directionlet高频系数采用显著性测量的融合规则进行融合，得到融合图像的Directionlet高频系数； (7)对上述的融合图像的Directionlet系数进行Directionlet逆变换得到融合图像。
2.根据权利要求1所述的多源图像融合方法，其中步骤(2)所述的对两幅原始图像与得到的初期融合图像分别进行Directionlet变换,按如下步骤进行 (2a)给出一组为±30°，土45°，土60°，0° ,90°的方向，并从给出的方向中任意选择两个，分别作为变换方向和队列方向，构造采样矩阵Μλ， M =卜味H’ 其中，X1, X2, V1 Y2是构成采样矩阵Μλ的四个整数元素值，X1和Y1由变换方向的斜率确定，X2和I2由队列方向的斜率确定，向量Cl1和d2分别为沿变换方向和队列方向的向量；(2b)基于整数格理论通过采样矩阵^将所述的两幅原始图像及初期融合图像依次划分为关于整数格Λ的|det(MA) I个陪集，每一个陪集对应一个位移矢量Sk= (skl，sk2)，其中Λ是由被划分的图像构成的整数格，表达式为Λ = (C1Cl^C2Cl2, C1, C2 e Z}，det(MA)是采样矩阵Μλ的行列式的绝对值，k = 0,1,2,... , det(MA) -1, skl, sk2 e Z，Z为整数域；(2c)对每个陪集沿变换和队列方向分别进行两次和一次一维正交小波变换，得到相应的高频和低频子带。
3.根据权利要求1所述的多源图像融合方法，其中步骤(3)所述的对得到的初始融合图像的Directionlet高频系数建立HMT模型,构造该模型的参数集Θ,按如下步骤进行 (3a)初始融合图像中的每个Directionlet高频系数建立两状态的高斯混合模型,分别得到其高斯混合模型的参数尽(m)- 其中，表示序号为j的节点的状态变量I取值为m时高斯模型的均值， 表示序号为j的节点的状态变量S」取值为m时高斯模型的方差， pS 表示序号为j的节点的状态变量S」取值为m时的概率， m为状态数,取值为I或2 ; (3b)利用Directionlet同一方向尺度系数状态间的依赖性，引入状态转移概率C,，ε表示序号为j的节点的状态Sj为m时它的父节点状态Sp (J)为η的转移概率，m和η为状态数,取值均为I或2 ;(3c)利用上述所得参数组成HMT模型的参数集Θ，g卩0=|/丨(// )，￡:,
4.根据权利要求1所述的多源图像融合方法，其中步骤(5)所述的对两幅原始图像的 Directionlet低频系数采用自适应加权融合规则进行融合,按如下步骤进行(5a)设两幅原始图像Directionlet系数的低频分量分别为A和B,分别计算A和B中以点(P^P2)为中心，大小为MXM的邻域内的灰度偏差Ra(Pl，p2)和Rb(Pl，p2)
5.根据权利要求1所述的多源图像融合方法，其中步骤(6)所述的对两幅原始图像的 Directionlet高频系数采用显著性测量的融合规则进行融合，按如下步骤进行(6a)设两幅原始图像的Directionlet系数的高频分量分别为C和D ;(6b)任意给定一个节点j,设C中节点j处的高频系数值为w。,D中节点j处的高频系数值为wD，比较W。的后验概率= 2 I KV, A与wD的后验概率= 2 I wD，而的大小，选择后验概率较大的系数值作为融合图像中该位置的Directionlet高频系数Clj d =k. PiScj =2\wcJ)>P(S^=2\wdJ)J — W =2\wcJ)<P(Sf=2\wD,θ),其中，巧和S13分别表示C和D中节点j的状态变量，取值为I时表示节点j处于小状态， 取值为2时表示节点j处于大状态j为步骤(4)中迭代得到的估计值。
全文摘要
本发明公开了一种基于方向波域隐马尔可夫树模型的多源图像融合方法，主要解决现有方法中融合规则简单和块效应明显的问题。其实现步骤是(1)从原始图像得到一幅初期融合图像；(2)用方向波分解原始图像和初期融合图像；(3)建立初期融合图像的方向波域HMT模型，训练得出参数集估计值(4)利用得到原始图像的方向波高频系数的后验概率；(5)根据得到的后验概率，采用显著性测量融合规则对原始图像高频系数融合；(6)采用自适应加权融合规则对原始图像低频系数进行融合；(7)对融合后的方向波系数进行方向波逆变换得到融合图像。本发明能提取原始图像更丰富的奇异性特征，充分挖掘数据中的相关性，可用于多源图像的目标识别与计算机的后续处理。
文档编号G06T5/50GK103020931SQ201210493328
公开日2013年4月3日 申请日期2012年11月27日 优先权日2012年11月27日
发明者白静, 焦李成, 王爽, 赵白妮, 胡波, 马文萍, 马晶晶, 李阳阳 申请人:西安电子科技大学