基于模糊算子的图像融合处理方法及系统、计算机程序与流程

本发明属于图像处理技术领域，尤其涉及一种基于模糊算子的图像融合处理方法及系统、计算机程序。

背景技术：

目前，业内常用的现有技术是这样的：像素级融合是图像融合比较常见的方法。主要的像素级融合方法包括加权平均法、基于统计的融合方法、伪彩色图像融合法、基于人工神经网络的融合方法、基于多尺度分析的融合方法等。1)加权平均法，加权平均法是一种最简单的图像融合方法，它主要是将多幅源图像对应像素的灰度值进行加权处理。两种具有代表性的加权平均法是主成分分析(pca)方法和自适应加权平均(awa)方法。在pca方法中，首先求出源图像的协方差矩阵，然后根据该矩阵的最大特征值所对应的特征向量确定各源图像的权值。在awa方法中，主要根据目标特征和对比度大小确定权值。加权平均法的优点是简单直观，大多能够满足实时处理的要求。但当图像中的噪声具有较高的对比度，合成图像中将包含较强的噪声，会使合成的图像信噪比降低；当融合图像的灰度差异比较大时，会出现明显的拼接痕迹，不利于人眼识别和后续目标的识别过程。2)基于统计的融合方法，基于马可夫随机场和基于最大贝叶斯后验概率(map)方法是最常用的两种基于统计学的图像融合方法。马可夫方法是将图像定义为二维随机场，所有源图像看作是二维随机场集，图像融合则表示成与模型参数相关的一个代价函数。然后用模拟退火法、期望值最大法等进行全局寻优，找到使目标函数取最大值的模型参数，并以此参数的模型融合源图像，得到最终融合结果。贝叶斯方法是将图像融合问题表示为自然此案好的病态反问题，利用先验知识对融合的贝叶斯估计过程进行约束，得到最优的融合结果。3)伪彩色图像融合法，给予人类视觉系统(hvs)对颜色信息比较敏感的特性，waxman和toet等人分别提出了伪彩色图像融合方法，该方法主要通过某种彩色化处理技术将蕴含在原始图像灰度等级中的细节信息以彩色的方式表征出来，从而提高人类视觉系统对图像内容和细节的观察效率。就目前的硬件技术条件而言，该类方法也是较容易实现的图像融合方法。4)基于人工神经网络的融合方法，人工神经网络仿效了生物神经系统处理信息的过程，利用多层处理单元或节点组成各种互联网结构，实现了从输入数据到输出数据非线性的复杂映射关系。人工神经网络的特点使得它很容易实现多个输入到一个输出的数据处理任务，从而使神经网络也能很好地处理图像融合问题。另外神经网络通过样本学习的方式提供一种更加智能化的数据融合方法。然而，要将神经网络方法应用到实际的融合系统中，无论是网络结构设计还是算法规则方面，都有许多基础工作有待解决，如网络模型、网络的层次和每一层的节点数、网络学习策略、神经网络方法与传统的分类方法的关系和综合应用等。5)基于多尺度分析的融合方法，基于多尺度分析的图像融合算法是目前始常使用的像素级融合方法,基本思想是：先对每幅源图像进行多尺度分解(msd):然后依据一定的融合规则合并各尺度系数：最后利用反变换重速合并的系数得到融合图像。常用的图像多尺度分解方法有：金字塔分解、小波变换以及各种多尺度几何分析。基于多尺度分析的图像融合方法对图像进行融合的过程与人眼视觉系统对图像信的处理极为相似，这类方法对图像的不同频段、不同结构特征的细节信息分別进行处理，可以获取比较好的融合效果。6)其他融合方法，此外，偏微分、离散余弦变换、独立成分分析、形态学分析等技术也常用于图像融合。现有图像融合效率低，融合的图像视觉效果差，细节信息不明显，目标不清晰。加权平均法，当图像中的噪声具有较高的对比度，合成图像中将包含较强的噪声，会使合成的图像信噪比降低；当融合图像的灰度差异比较大时，会出现明显的拼接痕迹，不利于人眼识别和后续目标的识别过程。现有的图像融合算法复杂，执行时间效率低。如基于统计的图像融合中的马可夫方法，将图像定义为二维随机场，所有源图像看作是二维随机场集，图像融合则表示成与模型参数相关的一个代价函数，然后用模拟退火法、期望值最大法等进行全局寻优，找到使目标函数取最大值的模型参数，并以此参数的模型融合源图像，得到最终融合结果。用模拟退火法、期望值最大法等求得全局最优解时，内层循环需要反复多次迭代，很大程度上降低了程序执行的时间效率。现有图像融合方法中，有些基础工作有待解决。如基于神径网络的图像融合方法，其网络模型、网络的层次和每一层的节点数、网络学习策略、神经网络方法与传统的分类方法的关系和综合应用等等都是要首先考虑和需要解决的问题。现有的图像融合方法中，大多离不开传统经典的数学工具。如金字塔分解、小波变换、多尺度几何分析、马可夫随机场、最大贝叶斯后验概率、偏微分、离散余弦变换、独立成分分析等等。这些方法与模糊逻辑运算相比较过于复杂耗时。现有技术，缺乏在windows环境下，以visualstudio2010为平台，以mfc为编程技术，在同一台机器上实现基于lukasiewicz三角模算子tlu和lukasiewicz蕴涵算子rlu的图像融合的方法。

综上所述，现有技术存在的问题是：

(1)现有加权平均法合成的图像信噪比降低；当融合图像的灰度差异比较大时，会出现明显的拼接痕迹，不利于人眼识别和后续目标的识别过程。

(2)现有的图像融合算法复杂，执行时间效率低，很大程度上降低了程序执行的时间效率。

(3)现有的图像融合方法离不开传统经典的数学工具，与模糊逻辑运算相比较过于复杂耗时。

解决上述技术问题的难度和意义：

现有的图像融合方法离不开经典数学模型，运算复杂，有些方法需要大量循环迭代，有的涉及基础工具的解决问题等等。基于模糊算子的图像融合方法只需利用简单的lukasiewicz三角模算子tlu和lukasiewicz蕴涵算子rlu，实现需要融合图像的像素之间模糊逻辑运算即可得目标融合图像。此方法不需要复杂的经典数学模型和大量的循环迭代，算法简捷明了，执行效率高。基于经典数学模型的图像融合由于运算复杂，硬件实现难以解决，基于模糊算子的图像融合方法只需对图像像素数据进行简单的模糊逻辑运算，硬件实现简单可行，大大提高执行效率。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于模糊算子的图像融合处理方法及系统。

本发明是这样实现的，一种基于模糊算子的图像融合处理方法，所述基于模糊算子的图像融合处理方法根据需要融合的两幅图像即源图1和源图2，通过lukasiewicz蕴涵算子进行像素级学习训练，得到关系矩阵r；以源图1为输入信息，以r为关系矩阵，利用lukasiewicz三角模算子tlu，得到融合的目标图像。

进一步，所述基于模糊算子的图像融合处理方法具体包括：

第一步：读取源图像1存入二维数组矩阵x中；读取源图像2存入二维数组矩阵y中；矩阵x和矩阵y中的元素均为0～256的整数值；

第二步：将x数组转为double型，并存入m数组；将y数组转为double型，并存入n数组；

第三步：将读取的图像数据模糊化，将m数组中的每个元素除以256，并存入a1数组；将n数组中的每个元素除以256，并存入b1数组，将a1数组中的每个元素依次传到aa数组中；

第四步：利用lukasiewicz蕴涵算子rlu学习训练得到关系矩阵r；

第五步：以源图像1为输入信息，以r为关系矩阵，利用lukasiewicz三角模算子tlu运算，得到融合的目标图像的模糊矩阵bb；

第六步：去模糊化输出得到融合的目标图像。融合图像的模矩阵bb中的每个元素乘以256后再取整即可得到融合的目标图像矩阵intbb。

进一步，所述第四步根据lukasiewicz蕴涵算子rlu(x,y)＝min(1,1-x+y)，模糊化后的源图数组a1和模糊化后的源图数组b1，将数组a1中的元素与数组b1中的对应元素进行lukasiewicz蕴涵关系运算得关系矩阵r，关系矩阵r的第i行第j列元素r[i][j]＝min(1,1-a1[i][j]+b1[i][j])。

进一步，所述第五步根据lukasiewicz三角模算子tlu(x,y)＝max(x+y-1,0)，模糊化后的源图数组a1同时保存在矩阵aa中，对矩阵aa中元素与关系矩阵r中对应元素进行tlu运算，得到融合图像的模矩阵bb，模糊矩阵bb第i行第j列元素bb[i][j]＝max(aa[i][j]+r[i][j]-1,0)。

本发明的另一目的在于提供一种实施所述基于模糊算子的图像融合处理方法的基于模糊算子的图像融合处理系统，所述基于模糊算子的图像融合处理系统包括：

图像获取模块，用于读取源图像存入二维数组矩阵；

储存模块，用于转换二维数组矩阵；

图像数据模糊化模块，用于将读取的图像数据模糊化；

关系矩阵获取模块，用于学习训练得到关系矩阵；

模糊矩阵获取模块，用于得到融合的目标图像的模糊矩阵；

目标图像获取模块，去模糊化输出得到融合的目标图像。

本发明的另一目的在于提供一种应用所述于模糊算子的图像融合处理方法的图像融合处理平台。

本发明的另一目的在于提供一种包含所述于模糊算子的图像融合处理方法的计算机程序。

本发明的另一目的在于提供一种应用所述于模糊算子的图像融合处理方法的终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于模糊算子的图像融合处理方法。

综上所述，本发明的优点及积极效果为：与已有图像融合技术方法相比，本发明的优点及积极效果如下：本发明简洁高效易于实现，融合的图像视觉效果好，细节信息明显，目标清晰，具有一定的应用价值。除去金字塔分解、小波变换、多尺度几何分析、马可夫随机场、最大贝叶斯后验概率、偏微分、离散余弦变换等复杂方法外，以pca方法与加权平均法与本发明方法相比较；算法复杂度方面比较：

(1)pca图像融合算法

对于一幅大小为m×n的源图像，将其每列相连则构成一个大小为d＝m×n维的列向量,d就是源图像的维数，即图像空间的维数。设m是训练样本的数目，xj为第j幅源图像形成的图像向量，则所有训练样本的协方差矩阵为其中，u为训练样本的平均图像质量。设源图1的图像矩阵am×n，源图2的图像矩阵bm×n。

第一步:预处理源图矩阵a和b，即矩阵中每个元素除以255，预处理源图矩阵a后的矩阵为a1，预处理源图矩阵b后的矩阵为b1。

第二步：a1和b1为训练样本，利用公式：求出训练样本的平均图像质量。

第三步：利用公式：求a1和b1的协方差矩阵cov。

第四步：求协方差矩阵cov特征向量与特征值。

第五步：将特征值按从小到大排序，选择其中最大的k个特征值，然后将其对应的k个特征向量分别作为列组成向量矩阵w，从而得到各主成分分量。

第六步：将图像数据进行直方图匹配，使其与第一主分量图像数据具有相同的直方图。

第七步：用直方图匹配生成的图像代替第一主分量(即pc1)，将它同其他的主分量一起经pca逆变换，从而得到融合的图像。

(2)加权平均法

目前很多加权平均融合算法都是基于特定环境，与其他融合算法相结合产生图像融合算法，其中比较广泛的是自适应加权融合算法、动态加权融合算法等。这里分析自适应加权平均法的算法复杂性。

设n个传感器的方差分别为待估计的真值为x，传感器的测量值x1,x2,…,xn彼此相互独立，且x为无偏估计；各传感器的加权因子分别为w1,w2…,wn，则融合后的满足如下关系式：

总方差总方差为多加权因子的二次函数且存在最小值

根据多元孙数求极值理论(拉格朗日乘法)，求得总方差最小时所对应的最优加权因子为此时对应的总方差最小值为

对于待融合的两幅图像，其权值表达式为：

w1+w2＝1；

对于自适应加权融合，各传感器的方差是确定权值的关键，而权值是影响融合图像质量的主要因素。

因此，本发明与现有图像融合方法相比较，省去了大量的复杂数学推算和前期工作，简洁高效易于实现，无论是亮度信息还是细节信息都能将待融合的图像信息很好地互补融合，融合后的图像视觉效果好，细节信息明显，目标清晰。从下实例测试在同台电脑相同运行环境下用上述三种方法测得的融合图像，可以很清晰地比较出本发明融合方法的优于现有技术。

本发明方便硬件实现，只是像素与像素间进行简单的模糊逻辑运算，只需简单的逻辑门电路，便可通过硬件实现，大大提高执行效率；在windows环境下，以visualstudio2010为平台，以mfc为编程技术，在同一台机器上实现基于lukasiewicz三角模算子tlu和lukasiewicz蕴涵算子rlu的图像融合。该实验选取两组图像进行测试，第一组测试图像源图1和源图2的大小的均为256*256像素的灰度图。第二组测试图像的源图2的大小为256*256像素，源图1大小为768*256像素。从测试的视觉效果看，目标清晰，融合度高。

附图说明

图1是本发明实施例提供的基于模糊算子的图像融合处理方法流程图。

图2是本发明实施例提供的基于模糊算子的图像融合处理方法实现流程图。

图3是本发明实施例提供的基于模糊算子的图像融合处理系统示意图；

图中：1、图像获取模块；2、储存模块；3、图像数据模糊化模块；4、关系矩阵r获取模块；5、模糊矩阵bb获取模块；6、目标图像获取模块。

图4是本发明实施例提供的i_融合图像效果图；

图中：(a)i_源图1；(b)i_源图2；(c)i_融合图像。

图5是本发明实施例提供的ii_融合图像效果图；

图中：(a)ii_源图1；(b)ii_源图2；(c)ii_融合图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术合成的图像信噪比降低；不利于人眼识别和后续目标的识别过程；图像融合算法复杂，执行时间效率低，很大程度上降低了程序执行的时间效率；传统经典的数学工具与模糊逻辑运算相比较过于复杂耗时的缺陷；本发明简洁高效易于实现，融合的图像视觉效果好，细节信息明显，目标清晰，具有一定的应用价值。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于模糊算子的图像融合处理方法包括以下步骤：

s101：根据需要融合的两幅图像即源图1和源图2，通过lukasiewicz蕴涵进行像素级学习训练，得到关系矩阵r；

s102：再以源图1为输入信息，以r为关系矩阵，利用lukasiewicz三角模算子tlu，得到融合的目标图像。

本发明实施例提供的基于模糊算子的图像融合处理方法具体包括以下步骤：

第一步：读取源图像1存入矩阵(二维数组)x中；读取源图像2存入矩阵(二维数组)y中；

第二步：将x数组转为double型，并存入m数组；将y数组转为double型，并存入n数组；

第三步：将读取的图像数据模糊化。将m数组中的每个元素除以256，并存入a1数组；将n数组中的每个元素除以256，并存入b1数组，将a1数组中的每个元素依次传到aa数组中。

第四步：利用lukasiewicz蕴涵算子rlu学习训练得到关系矩阵r。

第五步：以源图像1为输入信息，以r为关系矩阵，利用lukasiewicz三角模算子tlu运算，得到融合的目标图像的模糊矩阵bb。

第六步：去模糊化输出得到融合的目标图像。

在本发明的优选实施例中，矩阵x和矩阵y中的元素均为0～256的整数值。

在本发明的优选实施例中，利用lukasiewicz蕴涵算子rlu学习训练得到关系矩阵r具体包括：

根据lukasiewicz蕴涵算子rlu(x,y)＝min(1,1-x+y)，模糊化后的源图数组a1和模糊化后的源图数组b1，将数组a1中的元素与数组b1中的对应元素进行lukasiewicz蕴涵关系运算得关系矩阵r，关系矩阵r的第i行第j列元素r[i][j]＝min(1,1-a1[i][j]+b1[i][j])。该步骤的核心代码为：

在本发明的优选实施例中，以源图像1为输入信息，以r为关系矩阵，利用lukasiewicz三角模算子tlu运算，得到融合的目标图像的模糊矩阵bb具体包括：根据lukasiewicz三角模算子tlu(x,y)＝max(x+y-1,0)，模糊化后的源图数组a1同时保存在矩阵aa中，对矩阵aa中元素与关系矩阵r中对应元素进行tlu运算，得到融合图像的模矩阵bb，模模矩阵bb第i行第j列元素bb[i][j]＝max(aa[i][j]+r[i][j]-1,0)。该步骤的核心代码为:

在本发明的优选实施例中，去模糊化输出得到融合的目标图像具体方法为:融合图像的模矩阵bb中的每个元素乘以256后再取整即可得到融合的目标图像矩阵intbb。

3、一种图像融合处理计算机程序，其特征在于，所述图像融合处理计算机程序实现权利要求1～2任意一

如图3所示，本发明实施例提供的基于模糊算子的图像融合处理系统，包括：

图像获取模块1，用于读取源图像1存入二维数组矩阵x中；读取源图像2存入二维数组矩阵y中；

储存模块2，将x数组转为double型，并存入m数组；将y数组转为double型，并存入n数组；

图像数据模糊化模块3，用于将读取的图像数据模糊化，将m数组中的每个元素除以256，并存入a1数组；将n数组中的每个元素除以256，并存入b1数组，将a1数组中的每个元素依次传到aa数组中；

关系矩阵r获取模块4，利用lukasiewicz蕴涵算子rlu学习训练得到关系矩阵r；

模糊矩阵bb获取模块5，以源图像1为输入信息，以r为关系矩阵，利用lukasiewicz三角模算子tlu运算，得到融合的目标图像的模糊矩阵bb；

目标图像获取模块6，去模糊化输出得到融合的目标图像。

下面结合具体实施例对本发明的应用原理作进一步的描述。

本发明实施例提供的基于模糊算子的图像融合处理方法，实现代码，包括：

下面结合实验对本发明的应用效果作详细的描述。

图4中的i_融合图像和图5中的ii_融合图像是本发明实施例提供的实现的融合目标图像效果图。在同台电脑同环境下，将图4中i_源图1存入数组x中，将图4中i_源图2存入数组y中，将x和y中的数组元素转为double型分别存入m和n数组中，将m和n数组中的元素除以256分别存入a1数组和b1数组中，同时将a1存入aa中，利用lukasiewicz蕴涵由a1和b1求得知系矩阵r，再将矩阵aa与关系矩阵r进行lukasiewicz三角模运算，得到融合结果图像矩阵bb，将bb矩阵中元素乘以256取整得最终融合结果图像矩阵intbb输出，即得图4中i_融合图像。同样方法步骤得到图5中的ii_融合图像。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。