专利名称：一种基于小波域统计信号的图像融合处理方法
技术领域：
本发明涉及一种基于小波域统计信号的图像融合处理方法，属于图像处理的技术 领域。
背景技术：
图像融合处理方法利用从同一场景获得的多幅初始图像之间信息的冗余性和互 补性，最终得到一幅综合之前多幅初始图像优点的内容丰富的融合图像。其中，数码成像时 对多聚焦图像的融合是融合处理方法的主要应用之一。在图像融合处理方法中，基于小波变换的融合处理方法是其中很重要的一类，并 已经得到广泛应用。由于人眼视觉系统是在不同尺度上处理接收到的视觉信号，而且对细 节信息非常敏感，基于小波变换的图像融合处理方法就是针对上述特性，将图像分解到多 个尺度上，并对低频能量和高频细节分别进行处理，从而达到比其他融合处理方法更好的 融合效果。其中，基于小波域统计信号的融合处理方法，将待融合的一组初始图像建模为被 “模糊”的真实图像与非高斯噪声之和，再利用估计理论估计出真实图像(即融合图像)。尽管小波变换通常被认为是“去相关”变换，但Crouse证实了小波系数之间存在 着一定的相关性，它表现为尺度内的聚集性和尺度间的持续性。小波域隐马尔可夫树模型 能够充分反映小波系数在尺度内和尺度间的相关性，利用这个模型的树状结构，使用期望 最大的迭代算法，可以更准确估计出融合图像。Blum提出初始图像的高频小波系数形成模型的“模糊因子”为离散值_1，0，1，这 使得期望最大算法中迭代时更新“模糊因子”的步骤略为复杂。同时，在某些场景下，“模糊 因子”的离散取值显得较为单一。发明目的本发明的目的是提出一种基于小波域统计信号的图像融合处理方法，根据待融合 的初始图像的成像特点，使用连续的“模糊因子”，并且在期望最大算法更新“模糊因子”时 使用显式更新方法，以此减少图像处理的运算量。本发明提出的基于小波域统计信号的图像融合处理方法，包括以下步骤(1-1)对待融合的一组初始图像中的每个图像分别进行N层小波分解，分别得到 每个初始图像的低频尺度系数和每个初始图像在水平方向、垂直方向和对角方向上的N层 高频小波系数；(1-2)对初始图像的上述低频尺度系数进行加权融合，对显著性高的图像尺度系 数赋予大的权值，得到融合的低频尺度系数；(1-3)设各初始图像的高频小波系数为“模糊”的真实图像的高频小波系数与非 高斯噪声之和，对上述初始图像在水平方向、垂直方向和对角方向上的N层高频小波系数 分别建立隐马尔可夫树模型，使用期望最大的迭代算法对真实图像的高频小波系数进行估 计，得到融合的高频小波系数；(1-4)将上述融合的低频尺度系数和融合的高频小波系数进行小波逆变换，得到融合图像。上述方法中，步骤(1-2)对初始图像的低频尺度系数进行加权融合的方法，包括 以下各步骤(2-1)设Zi为第i幅初始图像的低频子带位于坐标(u，v)处的尺度系数，则初始 图像的尺度系数的显著性为
，其中， (2-2)根据上述尺度系数的显著性，得到坐标(u，v)处各幅初始图像的加权值为 为
(2-3)根据上述各幅初始图像的加权值，得到坐标(u，v)处的融合低频尺度系数 上述方法中，步骤(1-3)得到融合的高频小波系数的方法，包括以下各步骤(3-1)设各初始图像在X方向上的高频小波系数为、(_/) = &(_/)<(_/) +、(_/)，其
中，X = HL、LH或HH，Zi,k(j)表示第i幅初始图像在X方向上的第k棵小波树上第j个节点 处的小波系数，k=l，…，K，K为初始图像在X方向上的小波树总数，j = 1，…，P，P为每 棵小波树上的节点总数，一般P= (4N-l)/3,wk(j)表示真实图像在X方向上的第k棵小波树 上第j个节点处的小波系数，即待估计的融合后小波系数，i^.kG)为“模糊因子”，3 i, k(j) ^ 1，e ^(j)为加性非高斯噪声，由零均值和M态高斯混合模型拟合得到；(3-2)使用期望最大算法推导出迭代公式，迭代估计上述参数，得到真实图像在X 方向上的小波系数wk(j)，即融合后的小波系数。本发明提出的基于小波域统计信号的图像融合处理方法，具有以下优点(1)本发明方法在参数估计时，使用了小波域隐马尔可夫树模型，考虑了小波系数 尺度内和尺度间的相关性，因此估计的参数更准确，得到的融合图像效果更好。(2)本发明方法中的“模糊因子”采用连续值，更符合待融合的初始图像成像的实 际情况，这使得对初始图像的高频小波系数建模更加准确，因此能够得到较好的融合图像。(3)本发明方法中的期望最大算法在更新“模糊因子”时，有显式表达，使得计算简 化，减少了图像处理的运算量。
图1是本发明的图像融合处理方法的原理框图。图2是本发明方法中建立的高频小波系数的小波树树状模型的平面图。其中，S1 是一棵小波树的根节点，P (i)是节点i的父节点。
图3是单棵小波树的树状结构图。其中，S1是这棵小波树的根节点，P (i)是节点 i的父节点。图4是本发明方法中对高频小波系数进行融合的方法流程图。图5和图6分别是两幅待融合的初始图像。其中图5在右边大表面清晰聚焦，左 边小表面失焦。图6相反。图7是利用本发明方法对图5和图6的图像进行融合后的融合图像。
具体实施例方式本发明提出的基于小波域统计信号的图像融合处理方法，其原理框图如图1所 示，包括以下步骤(1-1)对待融合的一组初始图像中的每个图像分别进行N层小波分解，分别得到 每个初始图像的低频尺度系数和每个初始图像在水平方向、垂直方向和对角方向上的N层 高频小波系数，一般N = 3或4，图1所示，N = 3 ；(1-2)对初始图像的上述低频尺度系数进行加权融合，对显著性高的图像尺度系 数赋予大的权值，得到融合的低频尺度系数；(1-3)设各初始图像的高频小波系数为“模糊”的真实图像的高频小波系数与非 高斯噪声之和，对上述初始图像在水平方向、垂直方向和对角方向上的N层高频小波系数 分别建立隐马尔可夫树模型，使用期望最大的迭代算法对真实图像的高频小波系数进行估 计，得到融合的高频小波系数；(1-4)将上述融合的低频尺度系数和融合的高频小波系数进行小波逆变换，得到 融合图像。本发明方法中，对所有低频尺度系数进行加权融合的方法，包括以下各步骤(2-1)设Zi为第i幅初始图像的低频子带位于坐标(u，v)处的尺度系数，则初始
图像的尺度系数的显著性为
，其中， (2-2)根据上述尺度系数的显著性，得到坐标(u，v)处各幅初始图像的加权值为 (2-3)根据上述各幅初始图像的加权值，得到坐标(u，v)处的融合低频尺度系数 为 本发明方法中，得到融合的高频小波系数的方法，包括以下各步骤(3-1)设各初始图像在X方向上的高频小波系数为Zi,k(j) = ^ijk(j)wk(j)+ei,k(j)，其中，X = HL、LH或HH，HL为水平方向，LH为垂直方向，HH为对角方向，Zi,k(j)表示 第i幅初始图像在X方向上的第k棵小波树上第j个节点处的小波系数，k = 1，…，K，K 为初始图像在X方向上的小波树总数，j = 1，…，P，P为每棵小波树上的节点总数，一般P =(4N-l)/3,wk(j)表示真实图像在X方向上的第k棵小波树上第j个节点处的小波系数， 即待估计的融合后小波系数，Pi.^j)为“模糊因子”，由于初始图像可以认为由真实图像 部分模糊形成，变换到小波域则表现为对真实图像的小波系数的正负加权，所以，这里3 i, k(j)可以在[_1，1]之间连续取值，h.kG)为加性非高斯噪声，由零均值和M态高斯混合 模型拟合得到；(3-2)使用期望最大算法推导出迭代公式，迭代估计上述参数，得到真实图像在X 方向上的小波系数wk(j)，即融合后的小波系数。上述得到融合的高频小波系数的方法中，对水平方向、垂直方向和对角方向上的 小波系数分别建立模型，如图2所示。其中，S1是一棵小波树的根节点，一般选取最细尺度 (J= 1)上的小波系数作为小波树的根节点；节点P (i)与节点i互为父、子节点。在这个树 状模型中，尺度J(1<J<N)上的每一个节点都在尺度J+1上有四个子节点。设尺度J上 的节点在子带中的坐标为(uQ，V(l)，则它在尺度J+1上的子节点坐标分别为(2Uq-1，2V(i-1)， (2u0,2v0-l), (2u0-l,2v0)和(2uq，2v0)。上述期望最大的迭代算法在估计真实图像在X方向上的小波系数时，还要涉 及到一系列的参数，包括状态概率U^)=P(、C/)=岣，表示噪声￡i,k(j)为状 态m的概率，同时由于￡i,k(j)wk(j)是确定值，所以戋也表示ZuG)为状态m的 概率，这里认为在X方向上对任意的i，k，&,Q)(岣是一样的，因此及,(,)(㈣可简写为 PS(J) (m)，其中m = 1，…，M ；状态转移概率= P{S(j) = m丨S(p(_/))=…，表示父节 点P (j)处状态为n时其子节点j处状态为m的概率，其中n= 1，M ； o ffl2 (j)表 示h.kG)为状态m时的高斯方差。上述所有的未知参数构成了待估计的模型参数集
在期望最大算法中，上述模型参数集被迭代更新，
从而得到真实图像在X方向上的小波系数wk(j)，即融合后的小波系数。上述期望最大算法中，对模型参数进行估计的具体步骤包括(1)初始化模型参数集①；(2)利用模型参数集①中的参数，使用前向后向算法计算PGi.kG) =m|z,0)和 P(Si,k(j) =m，Si,k(P (j)) =n，|z，①)，其中，z表示所有初始图像在X方向上的所有小波 系数；(3)根据(2)步得到的概率值，逐步更新模型参数集，并记为①‘；(4)若| |①'-①| |充分小，则循环停止；否则，①=①'，回到⑵。上述初始化模型参数集，包括以下步骤(1)状态概率 Ps(J) (m) = 1/M，其中 m = 1，…，M ；(2)状态转移概率<p"⑴=1/M，其中m= 1，…，M，n=l，…，M;(3)将初始图像的小波系数的加权平均值作为真实图像小波系数wk(j)的
初始值，即
其中，权值由初始图像小波系数的显
著性来决定。小波系数的显著性为
，(u，v)表示Zi,k(j)在子带中的坐标。这时，权值⑷“模糊因子”
每个初始图像的小波系数都可以完全反映真实图像的小波系数；(5)高斯方差om2(j)的选取。令<(_/)=厂^⑴，这里取Y = 10。同时，各状态 上述使用前向后向算法计算PGi.kG) =m|z,①)禾口 P(Si,k(j) =m, Sijk(p (j)) =n, z, O)时，假设了小波树之间彼此独立，所以需要对每个初始图像在X方向上的每棵 小波树分别计算概率值。对于单棵小波树的计算，描述时可省略Zi,k(j)，^^(j)和Wk(j) 的下标，同时设小波分解的层数为N，J = 1为最细尺度，J = N为最粗尺度，P (j)是节点j 的父节点，c(j)是节点j的子节点的集合。前向后向算法包括以下步骤(1)设T」是以j节点为根的子树。若凡是T」的子树，则TAi是T」除去凡。由此
定义
上述更新模型参数集的过程，包括以下步骤 ⑴更新状态概率Ps(j)(m)和状态转移概率aj,p(j) (2)更新高斯方差om2(j)
q K (3)更新“模糊因子” 3 "(j)
-1设—zik(j)则/=
J = MJ)'(4)更新 wk(j)值
Pj “[-1,1] 1 ^>1
M；', ( f) = i=l m=1_° m、J)-
kKJJq M m ( j\
/=! m=l ^ m\J)
以图5和图6两幅初始图像为例，使用本发明方法进行融合，得到图7的融合结 果。在两幅初始图像中，两个表面分别聚焦，而得到的融合图像在两个表面都清晰聚焦，得 到了比较好的融合结果。
8
权利要求
一种基于小波域统计信号的图像融合处理方法，其特征在于该方法包括以下步骤(1-1)对待融合的一组初始图像中的每个图像分别进行N层小波分解，分别得到每个初始图像的低频尺度系数和每个初始图像在水平方向、垂直方向和对角方向上的N层高频小波系数；(1-2)对初始图像的上述低频尺度系数进行加权融合，对显著性高的图像尺度系数赋予大的权值，得到融合的低频尺度系数；(1-3)设各初始图像的高频小波系数为“模糊”的真实图像的高频小波系数与非高斯噪声之和，对上述初始图像在水平方向、垂直方向和对角方向上的N层高频小波系数分别建立隐马尔可夫树模型，使用期望最大的迭代算法对真实图像的高频小波系数进行估计，得到融合的高频小波系数；(1-4)将上述融合的低频尺度系数和融合的高频小波系数进行小波逆变换，得到融合图像。
2.如权利要求1所述的方法，其提特征在于所述的步骤(1-2)对初始图像的低频尺度 系数进行加权融合的方法，包括以下各步骤(2-1)设&为第i幅初始图像的低频子带位于坐标(u，ν)处的尺度系数，则初始图像的尺度系数的显著性为 其中， (2-2)根据上述尺度系数的显著性，得到坐标(u，ν)处各幅初始图像的加权值为 (2-3)根据上述各幅初始图像的加权值，得到坐标(u，ν)处的融合低频尺度系数为
3.如权利要求1所述的方法，其提特征在于所述的步骤(1-3)得到融合的高频小波系 数的方法，包括以下各步骤(3-1)设各初始图像在X方向上的高频小波系数为Zi, 其中，X = HL、LH或HH，zijk(j)表示第i幅初始图像在X方向上的第k棵小波树上第j个 节点处的小波系数，k= 1，…，K，K为初始图像在X方向上的小波树总数，j = 1，…，P， P为每棵小波树上的节点总数，一般P= (4n-1)/3，wk(j)表示真实图像在X方向上的第k 棵小波树上第j个节点处的小波系数，即待估计的融合后小波系数，i^.kG)为“模糊因 子”，-K β ^k(J) ^ 1, ε ^k(J)为加性非高斯噪声，由零均值和M态高斯混合模型拟合得 到；(3-2)使用期望最大算法推导出迭代公式，迭代估计上述参数，得到真实图像在X方向 上的小波系数Wk (j)，即融合后的小波系数。
全文摘要
本发明涉及一种基于小波域统计信号处理的图像融合方法，属于图像处理的技术领域。首先对一组初始图像进行小波分解；对低频尺度系数采用加权平均的方法得到融合后的低频尺度系数；对于高频小波系数，在三个方向上建立小波域隐马尔可夫树模型，使用期望最大算法估计融合后的高频小波系数；对融合后低频尺度系数和高频小波系数进行小波逆变换，得到融合图像。本发明在处理高频小波系数时，设各初始图像的高频小波系数为“模糊”的真实图像的高频小波系数与非高斯噪声之和，并使用了连续的“模糊因子”，这简化了图像处理方法的运算，同时能够达到较好的融合效果。
文档编号G06T5/50GK101877125SQ20091024306
公开日2010年11月3日 申请日期2009年12月25日 优先权日2009年12月25日
发明者才溪, 赵巍, 黄立东 申请人:北京航空航天大学