基于自适应分块的多序列图像融合方法与流程

本发明涉及图像融合技术，特别是一种基于自适应分块的多序列图像融合方法。

背景技术：

为了对不同深度的图像进行综合描述，可以对不同焦距的物体进行拍摄，将获得的多个不同焦距的图像融合在一幅图像中，保留不同图像中清晰的部分，此项技术成为多序列图像融合技术，它具有图像信息量大、细节丰富等特点。

多序列图像融合方法有很多，比如：加权平均法、小波变换图像融合法、图像分块融合法等等，现有的图像分块问题主要在于：1、在图像分块大小的选择上，分块太多或者太少，导致无法明确图像块区域特征，会产生严重的“块效应”；2、每一个图像块的清晰聚焦特性无法准确描述。这些会严重影响后续图像的融合效果，因此图像分块方法在图像融合过程中显得尤为重要。

技术实现要素：

本发明的目的在于提出了一种基于自适应分块的多序列图像融合方法。

实现本发明的技术解决方案为：一种基于自适应分块的多序列图像融合方法，具体步骤为：

步骤1、计算序列图像l1、l2、l3...ln中每一图像的清晰度数值，将清晰度值最高的图像作为样本图ltemp；

步骤2、将序列图像l1、l2、l3...ln以及样本图ltemp分别分块为若干个大小相同的图像块；

步骤3、按照序列图像l1、l2、l3...ln顺序将分块后的序列图分别与样本图进行清晰度比较并完成图像融合，具体融合方法为：

其中，li为两幅图第i块图像块融合的结果，ai为两幅图中进行比较的序列图第i个图像块，fia为比较的序列图第i个图像块的清晰度数值，bi为样本图第i图像块，fib为样本图第i块图像块的清晰度数值，thin为第n次分块后的图像块清晰度阈值；

步骤4、对步骤3需要继续细分的图像块进行进一步分块后返回步骤3，直至所分到的图像块大小小于设定的阈值时，将最小图像块中最清晰的图像块输入到最终融合的图像位置，完成图像融合。

优选地，步骤1中图像清晰度值的计算方法为：

步骤1-1、对图像进行去除噪声以及图像增强预处理；

步骤1-2、对预处理后的图像基于灰度梯度方向提取纹理特征信息，确定水平、垂直和对焦方向的梯度，从而确定图像单元不同梯度方向的数目以及各高频子带的权重因子；

步骤1-3、对预处理后的图像进行小波变换，得到变换后的低频子带和高频各子带；

步骤1-4、根据步骤1-3一级小波变换后得到的低频子带和高频各子带，计算各高频子带对应的小波系数，再继续对低频子带继续进行小波变换，即二级小波变换，并确定二级小波变换后的各高频子带对应的小波系数；

步骤1-5、根据步骤1-2得到的权重因子、步骤1-4中一级小波变换后得高频子带对应的小波系数以及二级小波变换后得到的各高频子带对应的小波系数确定图像清晰度评价函数，从而确定图像清晰度值。

优选地，步骤3中图像块清晰度值的计算方法与序列图像清晰度值的计算方法相同。

优选地，步骤3中图像块清晰度阈值的确定方法为：

步骤3-1、计算序列图中不同聚焦度位置对应图像块的清晰度数值：

dfi＝|fia-fib|

步骤3-2、观察进行融合的序列图源图像，确定边界领域在整个领域中占取的比例a％；

步骤3-3、将序列图中不同聚焦度位置对应图像块的清晰度数值dfi按照从小到大的顺序得到数组df，则初始清晰度阈值为：

其中，n表示分割次数，df(m)表示数组df中第m个元素，m＝[a％×n]

步骤3-4、清晰度阈值为：

阈值增量δthi的确定方法同初始阈值确定方法相同。

本发明与现有技术相比，其显著优点为：1)本发明根据图像的清晰度情况进行自适应图像分块，避免出现图像分块太多或者太少而导致严重的“块效应”问题；2)本发明图像图像块的清晰度情况判断效率高；3)本发明图像融合速度更快，效果更好。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1为本发明流程图。

图2为实施例1图像小波变换示意图，其中图2(a)两幅图像的原图；图2(b)原图经过一次小波变换后的效果对比图；图2(c)原图经过两次小波变换后的效果对比图。

图3为实施例1中本发明测量图像的清晰度结果与现有技术测量图像清晰度结果的对比图。

图4为实施例1中图像分块示意图，其中图3(a)是图像原图；图(b)是原图圈出区域分出的图像块。

图5为实施例1中本发明图像融合的结果与现有融合技术的结果对比图，其中图5(a)是融合图像原图；图(b)是融合图像结果和现有融合技术结果对比图，从左到右方法分别为：加权平均法融合图像结果示意图、本发明方法融合图像结果示意图、小波变换融合方法融合图像结果示意图；图(c)是融合图像细节结果对比图，从左到右方法分别为：加权平均法细节结果对比图、本发明方法细节结果对比图、小波变换融合方法细节结果对比图。

具体实施方式

本实施例具体实现步骤如图2所示。

一种基于自适应分块的多序列图像融合方法，具体步骤为：

步骤1、计算序列图像l1、l2、l3...ln中每一图像的清晰度数值，将清晰度值最高的图像作为样本图ltemp；

步骤2、将序列图像l1、l2、l3...ln以及样本图ltemp分别分块为若干个大小相同的图像块，例如4,9,16,25个，图像块的大小根据源图像的大小确定；

步骤3、按照序列图像l1、l2、l3...ln顺序将分块后的序列图分别与样本图进行清晰度比较并完成图像融合，具体融合方法为：

其中，li为两幅图第i块图像块融合的结果，ai为两幅图中进行比较的序列图第i个图像块，fia为比较的序列图第i个图像块的清晰度数值，bi为样本图第i图像块，fib为样本图第i块图像块的清晰度数值，thiⁿ为第n次分块后的图像块清晰度阈值；

步骤4、对步骤3需要继续细分的图像块进行进一步分块,，分块效果如图3，分块后返回步骤3，直至所分到的图像块大小小于设定的阈值时，将最小图像块中最清晰的图像块输入到最终融合的图像位置，完成图像融合，本发明融合效果和其他融合效果对比如图5。

进一步的实施例中，步骤1中图像清晰度值的计算方法为：

步骤1-1、对图像进行去除噪声以及图像增强预处理；

步骤1-2、对预处理后的图像基于灰度梯度方向提取纹理特征信息，确定水平、垂直和对焦方向的梯度，从而确定图像单元不同梯度方向的数目以及各高频子带的权重因子；

步骤1-3、对预处理后的图像进行小波变换，得到变换后的低频子带和高频各子带，效果图如图2；

步骤1-4、根据步骤1-3一级小波变换后得到的低频子带和高频各子带，计算各高频子带对应的小波系数，再继续对低频子带继续进行小波变换，即二级小波变换，并确定二级小波变换后的各高频子带对应的小波系数；

步骤1-5、根据步骤1-2得到的权重因子、步骤1-4中一级小波变换后得高频子带对应的小波系数以及二级小波变换后得到的各高频子带对应的小波系数确定图像清晰度评价函数，从而确定图像清晰度值，将清晰度值归一化和其他清晰度评价方法对比，效果如图4所示。

进一步的实施例中，步骤3中图像块清晰度值的计算方法与序列图像清晰度值的计算方法相同。

进一步的实施例中，步骤3中图像块清晰度阈值的确定方法为：

步骤3-1、计算序列图中不同聚焦度位置对应图像块的清晰度数值：

dfi＝|fia-fib|

步骤3-2、观察进行融合的序列图源图像，确定边界领域在整个领域中占取的比例a％；

步骤3-3、将序列图中不同聚焦度位置对应图像块的清晰度数值dfi按照从小到大的顺序得到数组df，则初始清晰度阈值为：

其中，n表示分割次数，df(m)表示数组df中第m个元素，m＝[a％×n]

步骤3-4、清晰度阈值为：

阈值增量δthi的确定方法同初始阈值确定方法相同。

实施例1

本实施例通过显微镜系统20×(na＝0.5)对水棉细胞采取了50幅不同对焦位置的序列图像，将采集的图像基于visualstudio软件进行图像融合处理。本发明方法具体实现过程如图1所示，包括如下步骤：

步骤1、采用20×(na＝0.5)显微镜系统对水棉细胞采取了50幅图像传输到计算机处理系统，其中图像的对焦位置相差1.25μm，采集到的每一幅图像的像素大小都为1280×960；对序列图像进行去噪、增强等预处理；将序列图像通过基于小波变换的清晰度评价算子求得序列图中每一图样的清晰度数值，取清晰度数值最大的图像作为样本图ltemp；其中，图像清晰度值的计算方法为：

步骤1-1、对图像进行去除噪声以及图像增强预处理；

步骤1-2、对预处理后的图像基于灰度梯度方向提取纹理特征信息，确定水平、垂直和对焦方向的梯度，从而确定图像单元不同梯度方向的数目以及各高频子带的权重因子；

确定水平、垂直和对焦方向的梯度的具体公式为：

其中，f(x,y)指单位像素的灰度值，ghor、gver、gdia分别为水平、垂直和对焦方向的梯度。

各高频子带的权重因子的确定公式为：

式中，nhor、nver、ndia分别表示图像水平、垂直、对角三个方向的纹理统计数目。

步骤1-3、对预处理后的图像进行小波变换，得到变换后的低频子带和高频各子带，高频子带为：

其中，n为小波分解级数，flhn(x,y)、fhln(x,y)、fhhn(x,y)分别为第n级小波变换各高频子带分量的小波系数，flln(x,y)为第n级小波变换低频子带分量。

步骤1-4、根据步骤1-3一级小波变换后得到的低频子带和高频各子带，计算各高频子带对应的小波系数，再继续对低频子带继续进行小波变换，即二级小波变换，并确定二级小波变换后的各高频子带对应的小波系数；

步骤1-5、根据步骤1-2得到的权重因子、步骤1-4中一级小波变换后得高频子带对应的小波系数以及二级小波变换后得到的各高频子带对应的小波系数确定图像清晰度评价函数，从而确定图像清晰度值，确定的图像清晰度评价函数具体为：

其中，(x,y)表示当前像素的位置，p(h)、p(v)、p(d)分别为各高频子带的权重因子，fhl1(x,y)、flh1(x,y)、fhh1(x,y)为一级小波变换后各高频子带对应的小波系数，fhl2(x,y)、flh2(x,y)、fhh2(x,y)为二级小波变换后各高频子带对应的小波系数，如图2所示。

步骤2、按照序列图的顺序和样本图ltemp进行图像分块处理、图像图像块的清晰度比较并完成图像融合，具体为将相比较的两幅图分别分解成16个大小为320×240的图像块；

步骤3、将序列图像以及样本图从左上角图像块开始，按照从左向右，从上到下的顺序，对两幅图的相同位置图像块按照基于小波变换的清晰度评价方法分别计算清晰度值，并按照如下融合规则分别对序列图按照顺序进行融合：

其中，li为两幅图第i块图像块融合的结果，ai为两幅图中进行比较的序列图第i个图像块，fia为比较的序列图第i个图像块的清晰度数值，bi为样本图第i图像块，fib为样本图第i块图像块的清晰度数值，为第n次分块后的图像块清晰度阈值；

图像块清晰度阈值的确定方法为：

步骤3-1、计算序列图中不同聚焦度位置对应图像块的清晰度数值：

dfi＝|fia-fib|

步骤3-2、观察进行融合的序列图源图像，确定边界领域在整个领域中占取的比例a％；

步骤3-3、将序列图中不同聚焦度位置对应图像块的清晰度数值dfi按照从小到大的顺序得到数组df，则初始清晰度阈值为：

其中，n表示分割次数，df(m)表示数组df中第m个元素，m＝[a％×n]

步骤3-4、随着图像图像块分解的越细，边界区域中包含的信息量比例会逐步增大，因此设定随着图像块分解的进一步进行，阈值会有相应的增量δthi，则图像块清晰度阈值为：

阈值增量δthi的确定方法同初始阈值确定方法相同。

步骤4、对步骤3需要继续细分的图像块进行进一步分块后返回步骤3，直至所分到的图像块大小小于设定的阈值时，停止细分，将最小图像块中最清晰的图像块输入到最终融合的图像位置，完成该幅序列图与样本图的图像融合。