一种基于二维耦合卷积的多聚焦图像融合方法与流程

本发明属于数字图像处理技术领域，具体涉及一种基于二维耦合卷积的多聚焦图像融合方法。

背景技术：

随着信息技术的快速发展，图像的获取已从最初的可见光传感器到现在的高光谱、雷达、多光谱等不同传感器，相应获取的图像数据量也大大增加。由于成像技术条件限制和成像原理的差异，对于任意一个单一的图像都只能反映目标对象的一方面特征，使得其应用范围极为有限。而图像融合技术就是对同一场景的两个或者两个以上图像的有效特征相融合成新图像的过程，使得获得的融合图像能更全面反映目标的特征，大大增加数据分析的精度和可靠性。例如对于可见光传感器成像系统来说，在一幅场景深度不同的图像中，图像中聚焦的目标会呈现出清晰的图像，而与该目标前后一定距离的其他目标都将会有不同程度的模糊。

作为数据融合技术的主要分支，图像融合可以减少单一图像对目标描述的不确定性，得到一个信息更为丰富、模糊较少、可靠度更好的图像以便于人观察或者计算机处理，其作用包括：图像增强、特征提取、识别、跟踪、分类等。图像融合技术已经在计算机视觉、医学图像、遥感图像、军事等领域得到了广泛应用。

现有的图像融合技术为了使得场景内所有目标都能呈现出清晰的图像，首先将成像系统聚焦在一部分目标上，得到一个部分目标清晰的图像，再聚 焦另一部分目标上，得到另一个部分目标清晰的图像，最后利用融合算法将这两幅图像加以融合，得到所有目标都清晰的图像(王亚杰,王晓岩,刘学平.基于小波变换的多聚焦图像融合评述[J].沈阳航空工业学院学报,2005,04:65-67)。

现有融合方法有小波变换融合方法和离散余弦变换法等，这两种方法都存在融合后图像边缘不清晰，会出现伪轮廓的问题。

技术实现要素：

本发明的目的是提供一种基于二维耦合卷积的多聚焦图像融合方法，该方法能获得较高质量的融合图像，解决了现有图像融合技术边沿细节不清晰的问题。

本发明所采用的技术方案是，一种基于二维耦合卷积的多聚焦图像融合方法，包括以下步骤：

步骤1，对同一场景采集多张聚焦目标不同的图像，然后进行图像配准；

步骤2，输入融合图像，I₁,I₂∈R^I×J，并用滑窗技术将其分成L个大小为M×N的图像块，表示第i张待融合图像的第j个图像块，初始化一个空矩阵O∈R^I×J用于存放融合后的图像；

步骤3，依次取j＝1,2,…,L，分别执行步骤3-1至3-4；

步骤3-1，将步骤2的数据建模成单输入多输出系统，I^j表示输入场景， 表示聚焦函数，表示经过不同系统的输出；构建二维耦合卷积模型：

根据按照下式构造矩阵X_j，

其中:

同理构造矩阵Y_j；

步骤3-2，按照下式计算R，

R＝[X_j-Y_j]^T[X_j-Y_j]

步骤3-3，用特征值分解计算模型中的成像系统和的最优解为R的最小特征值对应的特征向量；然后比较和的方差，选出清晰的图像块

步骤3-4，按原来在待融合图像中的位置，将叠放到矩阵O中；

步骤4，对于矩阵O中每一个像素除以其相加的次数，然后获得最终的输出融合图像。

本发明的特点还在于：

步骤2中p表示滑窗步长，p<M且p<N。

本发明的有益效果是，本发明的方法与现有方法相比，能准确的判断出清晰的图像块，使得融合图像具有较强的鲁棒性，可以很好地融合图像清晰 的重要细节，也不会引入人为的痕迹。

附图说明

图1是本发明成像系统示意图；

图2是本发明扩展的成像系统示意图；

图3-1表示第一种实施例的一个聚焦图像，图3-2表示另一个聚焦图像，图3-f表示融合图像；

图4-1表示第二种实施例的一个聚焦图像，图4-2表示另一个聚焦图像，图4-f表示融合图像；

图5-1表示第三种实施例的一个聚焦图像，图5-2表示另一个聚焦图像，图5-f表示融合图像；

图6-1表示第四种实施例的一个聚焦图像，图6-2表示另一个聚焦图像，图6-f表示融合图像；

图7是本发明方法与小波变换方法、离散余弦变换法融合细节对比图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明，但本发明并不限于该实施方式。

本发明的多聚焦图像融合方法，首先采用CCD照相机对同一场景采集多张聚焦目标不同的图像，然后进行图像配准，图像配准可采用现有的配准方法进行。

将大小为I×J的图像用滑窗技术将其分成大小为M×N的若干图像块，用 表示第i张待融合图像的第j个图像块，设定滑窗步长p(p<M且p<N)。

虽然图像块来自不同的待融合图像，但它们都是来自同一场中的目标所成的像(只是聚焦程度不一样)，因此将上述分析建模成单输入多输出系统。以两个输出为例，如图1所示：I^j表示输入场景，表示聚焦函数，表示经过不同系统的输出。

利用特征值分解求解出模型中的成像系统

根据图1我们有如下表达式：

其中*代表卷积运算，通过二维卷积的交换律和结合律，得到如图2、公式(3)所示扩展的成像系统。

构建如下二维耦合卷积模型：

然后，基于构造如下矩阵将上述模型的卷积形式写为数学相乘形式。

其中:

同理，将也写为矩阵Y_j，可得相乘的形式：

其中

化简上式，并且为了避免都为0的情况，增加约束项：

于是有：

其中：很明显，的最优解即为R的最小特征值对应的特征向量。

不失一般性，假设中的目标是聚焦拍摄的(清晰)，而是散焦拍摄的(模糊)。因此上式中解出的就相当于是模糊滤波器，相比它的方差更小一些。所以最终通过计算的方差即可判断出的清晰程度。

基于上述分析，该方法按照下述步骤执行。

第一步：确定图像分块的大小M，N。然后设定滑窗步长p(p<M，p<N)。

第二歩：输入融合图像，I₁,I₂∈R^I×J，并将其分成L个大小为M×N的图像块，其中初始化一个空矩阵O∈R^I×J用于存放融合数据。

第三步：

循环j＝1,2,…,L

①：通过构按照(5)(6)式构造矩阵X_j,Y_j。

②：计算R(通过X_j,Y_j)。

③：用特征值分解计算然后比较的方差，选出清晰的图像块(方差小的对应的图像块是清晰的图像块.)

④：将叠放到O中(按其原来在待融合图像中的位置)。循环结束。

第四步：对于O中每一个像素除以其相加的次数，然后获得最终的输出融合图像。

采用本发明的方法分别对六幅已对准好的多聚焦图像进行融合。图3-1左侧的表是聚焦拍摄(成像清晰的)，图3-2右侧的表是聚焦拍摄(成像清晰的)，图3-f是本发明方法的融合结果，可以看出，本发明的方法很好的融合了图3-1、图3-2的聚焦拍摄部分，融合后的图像的左侧和右侧的都很清楚。同理，图4-1左侧的表是聚焦拍摄(成像清晰的)，图4-2右侧的人是聚焦拍摄(成像清晰的)，图4-f是采用本发明方法的清晰的融合结果，融合后的图像的左侧的表和右侧的人等细节都很清楚。图5-1左侧的盆栽是聚焦拍摄(成像清晰的)，图5-2右侧的钟表是聚焦拍摄(成像清晰的)，图5-f是采用本发明方法的清晰的融合结果，融合后的图像的左侧的盆栽和右侧的钟表等细节都很清楚。图6-1花豹的头部是聚焦拍摄(成像清晰的)，图6-2花豹的足是聚焦拍摄(成像清晰的)，图6-f是采用本发明方法的清晰的融合结果，融合后图像的花豹身体的斑点整体都很清晰。本发明的方法可以很好地融合图像清晰的重要细节，也不会引入人为的痕迹。

将本发明融合方法与传统的小波变换融合法和离散余弦变换法进行对比， 如图7所示，左侧图像表示小波变换融合法的融合结果，中间图像表示离散余弦变换法的融合结果，这两种融合法人的头发边缘的细节信息非常不清晰，而右侧本发明方法的融合结果提供了非常清晰的边缘细节，效果明显优于传统方法。