一种图像融合及去噪的方法及系统与流程

本发明主要涉及图像处理领域，尤其涉及一种图像融合及去噪的方法及系统。

背景技术：

在安防监控过程中，如何在夜晚暗光甚至微光条件下对环境取景拍摄是一项亟待解决的技术难题。夜间拍摄时由于环境照度较低，传统的监控方案中必须在摄像头附近加装强闪光装置进行补光照明，但是正由于夜间的环境照度与强补光的对比度过大，导致在正常行人行车时对人眼的致盲效果明显。这种光污染在一定程度上反而对道路交通安全造成了隐患。因此需要一种方法来去除强补光过程，同时实现对夜间环境的清晰拍摄过程。

目前现有的解决方案是采用近红外光补光照明结合可见光拍摄的双光成像方式。由于近红外光的波段超出人眼的视觉波段，因此近红外补光不会被人眼察觉，也就不会引起致盲效果。但是近红外补光后的图像只有灰度，没有彩色信息，这在一定程度上降低了观察人员对实际环境的判断能力，因此加入了可见光拍摄过程来还原场景的彩色信息。但是由于近红外补光不能为可见光成像提供补光效果，因此可见光成像过程拍摄到的依旧是照度很低，必须经过动态范围拉伸后才能观察图像中的内容，而此时得到的拉伸后图像是一种噪声很大的图像，严重影响了最终的成像效果。因此，需要一种有效的融合及降噪方法来提高图像质量。

目前对本领域内的技术人员来说，如何提高近红外光和可见光图像融合成像的像质，是目前需要解决的技术问题。在本领域内，最新的方法是采用人工智能的方法进行处理，但是人工智能的方法对静态场景效果较好，对快速运动的场景及目标适应性较差。因此，需要一种方法能够仅利用当前帧图像信息实时进行处理。

技术实现要素：

为了解决上述技术问题，本发明现提供一种图像融合及去噪的方法及系统，本发明是通过以下技术方案实现的：

一种图像融合及去噪的方法，

所述方法包括：

分别提取可见光图像中rgb三个通道的图像，获取模板窗口区域内rgb三个通道中亮度最大的图像数据信息，并根据该亮度最大的图像数据信息分别拉伸相应模板窗口内rgb三个通道的图像亮度；计算同一目标的近红外图像的模板窗口区域内的像素均值，并分别计算相应模板窗口区域内的拉伸后的rgb三个通道的图像的像素均值；

根据近红外图像的像素均值和拉伸后的rgb三个通道的图像的像素均值，并通过引导滤波器分别计算拉伸后rgb三个通道的相应模板窗口区域内的图像融合及去噪后的数据；

根据rgb三个通道的图像融合及去噪后的数据以及rgb三个通道中亮度最大的数据信息生成可见光图像。

优选的是，所述引导滤波器的核函数为：

其中，ωk为核函数窗口模板，gi为模板窗口区域内强度域的高斯系数，gj为模板窗口区域内空间域的高斯系数，μ为近红外图像的模板窗口区域内的像素均值，μk为模板窗口区域内rgb三个通道的图像的像素均值，k代表rgb三个不同的通道，σk为模板窗口区域内的高斯标准差，ε表示标准差修正值，i和j代表相应rgb通道的坐标。

优选的是，获取模板窗口区域内rgb三个通道中亮度最大的图像数据信息包括：

创建物理模型；

筛选物理模型的模板窗口区域内的目标值；

对筛选出的最大的亮度值进行归一化。

优选的是，分别计算相应模板窗口区域内的拉伸后的rgb三个通道的图像的像素均值包括：

根据亮度最大值的归一化数据对该亮度最大值的通道的模板窗口区域内的图像进行亮度反演并得到反演后的数据；

根据该亮度最大值的归一化数据和反演后的数据计算亮度权重因子；

提取相应亮度最大值的通道的色度数据和饱和度数据，并结合亮度最大值的归一化数据和反演后的数据计算色度权重因子；

根据亮度权重因子和色度权重因子计算联合权重因子；

根据联合权重因子分别拉伸相应模板窗口内rgb三个通道的图像亮度。

优选的是，在通过所述引导滤波器进行计算的过程中，所述引导滤波器的核函数对选取的近红外引导图像和rgb三个通道的待处理图像进行计算，当选取的近红外引导图像和rgb三个通道的待处理图像对应像素点差异较小时，rgb三个通道的待处理图像中的对应像素点与近红外引导图像中的对应像素点可直接使用。

一种图像融合及去噪的系统，

包括图像预处理单元、融合及去噪单元和图像生成单元；

所述图像预处理单元用于分别提取可见光图像中rgb三个通道的图像，获取模板窗口区域内rgb三个通道中亮度最大的图像数据信息，并根据该亮度最大的图像数据信息分别拉伸相应模板窗口内rgb三个通道的图像亮度；计算同一目标的近红外图像的模板窗口区域内的像素均值，并分别计算相应模板窗口区域内的拉伸后的rgb三个通道的图像的像素均值；

所述融合及去噪单元用于根据近红外图像的像素均值和拉伸后的rgb三个通道的图像的像素均值，并通过引导滤波器分别计算拉伸后rgb三个通道的相应模板窗口区域内的图像融合及去噪后的数据；

所述图像生成单元用于根据rgb三个通道的图像融合及去噪后的数据以及rgb三个通道中亮度最大的数据信息生成可见光图像。

优选的是，所述引导滤波器的核函数为：

其中，ωk为核函数窗口模板，gi为模板窗口区域内强度域的高斯系数，gj为模板窗口区域内空间域的高斯系数，μ为近红外图像的模板窗口区域内的像素均值，μk为模板窗口区域内rgb三个通道的图像的像素均值，k代表rgb三个不同的通道，σk为模板窗口区域内的高斯标准差，ε表示标准差修正值，i和j代表相应rgb通道的坐标。

优选的是，获取模板窗口区域内rgb三个通道中亮度最大的图像数据信息包括：

创建物理模型；

筛选物理模型的模板窗口区域内的目标值；

对筛选出的最大的亮度值进行归一化。

优选的是，分别计算相应模板窗口区域内的拉伸后的rgb三个通道的图像的像素均值包括：

根据亮度最大值的归一化数据对该亮度最大值的通道的模板窗口区域内的图像进行亮度反演并得到反演后的数据；

根据该亮度最大值的归一化数据和反演后的数据计算亮度权重因子；

提取相应亮度最大值的通道的色度数据和饱和度数据，并结合亮度最大值的归一化数据和反演后的数据计算色度权重因子；

根据亮度权重因子和色度权重因子计算联合权重因子；

根据联合权重因子分别拉伸相应模板窗口内rgb三个通道的图像亮度。

优选的是，在通过所述引导滤波器进行计算的过程中，所述引导滤波器的核函数对选取的近红外引导图像和rgb三个通道的待处理图像进行计算，当选取的近红外引导图像和rgb三个通道的待处理图像对应像素点差异较小时，rgb三个通道的待处理图像中的对应像素点与近红外引导图像中的对应像素点可直接使用。

本发明的有益效果为：

本发明提供的图像融合及去噪的方法及系统利用近红外图像作为引导图像，分别对可见光图像的rgb三个通道的图像进行计算，通过引导滤波器直接获得需要的融合以及滤波后的图像，整个过程响应快速，反应灵敏，系统负载低。

附图说明

图1为本发明的图像融合及去噪的方法的流程示意意图；

图2为本发明的图像融合及去噪的系统的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的方法及系统做进一步的说明。

如图1所示，一种图像融合及去噪的方法，

所述方法包括：

s1：分别提取可见光图像中rgb三个通道中图像，获取模板窗口区域内rgb三个通道中亮度最大的图像数据信息，并根据该亮度最大的图像数据信息分别拉伸相应模板窗口内rgb三个通道的图像亮度；计算同一目标的近红外图像的模板窗口区域内的像素均值，并分别计算相应模板窗口区域内的拉伸后的rgb三个通道的图像的像素均值；

s2：根据近红外图像的像素均值和拉伸后的rgb三个通道的图像的像素均值，并通过引导滤波器分别计算拉伸后rgb三个通道的相应模板窗口区域内的图像融合及去噪后的数据；

s3：根据rgb三个通道的图像融合及去噪后的数据以及rgb三个通道中亮度最大的数据信息生成可见光图像。

本发明提供的方法主要面向自然低照度的环境，在这样的环境下拍摄的近红外光图像和可见光图像：对于近红外光图像而言在近红外补光灯的效果下，即使是低环境照度依然能够很好地拍摄场景中的目标，但是近红外图像基于其成像原理的特性，其图像为黑白图像，不能体现环境中的色彩信息；而可见光图像虽然能够采集色彩信息，但是在低环境照度并且没有补光灯的情况下，不能完整地体现出环境中的色彩。为适应人眼观察，需要将低照度的可见光图像提高亮度，而可见光图像可以分解为rgb三个通道的图像，通过对rgb三个通道内的图像信息进行处理从而提高整体图像的亮度，提升亮度的过程即拉伸过程。

在进行拉伸时，首先建立模型：

对于可见光图像而言，可见光成像是一种反射成像，因此其物理模型可用下式表示：

s^c(x,y)＝r^c(x,y)i(x,y)(1)

其中，s是成像结果，r表示反射图像即输入的单个通道的可见光图像信息，i表示照度图像，x和y代表图像中的像素位置，c表示不同的色度通道rgb，并分别计算rgb三个通道的值；

通过上述公式处理，得到关于rgb三个通道的载有亮度信息的三组图像；然后计算模板窗口区域内三个色度通道(三组图像)中的亮度最大值，具体如下：

其结果是rgb三个通道中的一个通道位于模板窗口区域内的图像的亮度最大值；同时，为方便计算，对得到的模板窗口区域的亮度最大值进行归一化处理：

其中，i1(x,y)表示归一化后的模板窗口区域内的图像，其值域范围由[0，255]调整为[0，1]。p是一个形态学结构参数，其用以对具有明显边缘特征的像素及其领域进行填充。

在本发明的方案中，模板窗口区域为设定的图像处理区域，这是因为在进行参数提取时，是逐点操作的，这里可以采用3*3的9个像素点作为处理区域，即模板窗口区域。

然后通过式(3)的结果进行照度图像的全局亮度反演，本实施方案中利用反正切方法计算：

其中，λ是一个控制照度反色程度的参数，因为反正切函数是一个极坐标系函数，所以需要用对其进行直角坐标系修正，并将其值域规定到[0，1)中。λ的计算方法是imean表示该模板窗口区域内该选取的亮度最大值通道的图像亮度均值。

接着计算反色图像和照度图像的亮度权重因子，用该因子来衡量最终动态范围拉伸时，不同亮度被拉伸的强弱程度：

其中，k角标表示该因子对i1(x,y)及i2(x,y)均进行计算，下同。

计算完亮度权重因子后继续计算色度权重因子，用该因子来衡量最终动态范围拉伸时，处于不同亮度区域的像素点色彩还原的程度：

wc,k(x,y)＝ik(x,y)(1+cos(βh(x,y)+φ)s(x,y))(6)

其中，h表示色度，s表示饱和度，其均取自模板窗口区域内该选取的亮度最大值通道；φ表示角度偏移补偿，β表示增益补偿，在本实施方案中其取值为：β＝2，φ＝250°。

将计算出的亮度权重因子和色度权重因子联合，得到最终的统一权重因子并归一化：

wk(x,y)＝wb,k(x,y)wc,k(x,y)(7)

最后根据式(9)及照度图像计算得到最后的拉伸后图像：

这里的为亮度拉伸后的彩色图像。

在接下来的操作过程中，依然使用拉伸后的rgb三个通道的图像信息数据；

经过动态范围拉伸后的可见光图像较原始可见光图像噪声明显提高，这是因为噪声本质上是像素点的异常表现，本质上也是一种像素灰度。

因此，在融合及滤波过程中利用高斯分布模型来确定rgb三个图像通道中的噪声程度。具体过程为，求取rgb三通道图像各自的高斯分布期望和方差，其中期望表示当前通道的整体亮度水平，方差则反应图像各个像素值在围绕该期望附近的波动程度，因此方差越大，说明波动越大，对应的噪声水平也就越大；具体操作过程如下：

计算同一目标的近红外图像的模板窗口区域内的像素均值，并分别计算相应模板窗口区域内的拉伸后的rgb三个通道的图像的像素均值；根据近红外图像的像素均值和拉伸后的rgb三个通道的图像的像素均值，并通过引导滤波器分别计算拉伸后rgb三个通道的相应模板窗口区域内的图像融合及去噪后的数据，其中所述引导滤波器的核函数为：

这里由于过程不同，具体的公式符号的含义与上文略有不同，其中，ωk为核函数窗口模板(也是前文中的模板窗口区域)，gi为模板窗口区域内强度域的高斯系数，gj为模板窗口区域内空间域的高斯系数，μ为近红外图像的模板窗口区域内的像素均值，μk为模板窗口区域内rgb三个通道的图像的像素均值，k代表rgb三个不同的通道并对三个通道均进行计算，σk为模板窗口区域的高斯标准差，ε表示标准差修正值，i和j代表相应rgb通道的坐标(i和j主要对应运行过程中的动态坐标，而前文中的x和y为表现出其主要是对整张图进行完整的操作，可以理解为其对应整张图片的坐标)。

即求取了近红外图像的模板窗口区域内的像素均值μ和拉伸后的rgb三个通道的图像的像素均值μk，同时获取相应模板窗口区域内的rgb三个通道相应的强度域的高斯系数gi，空间域的的高斯系数gj，以及高斯标准差σk，从而结合近红外图像的像素均值μ和相应rgb通道的像素均值μk，对图像进行融合及去噪：

去噪过程即是滤波过程，引导滤波器本质上是一种低通滤波器，其一大特色是令目标图像的像素值趋向于目标图像，然后利用该特性完成降噪过程。在本发明实施例中，由于这个特性的存在，加上目标图像和参考图像本身是两个不同波段的图像，因此对于相同场景来说，两个波段图像中相同目标呈现的不同像素值有轻有重，而由于羽化效应，轻像素值会因为滤波效果向重像素值接近，而同一场景下不同波段的图像中相同场景正对应这种像素轻重的表征。因此在降噪过程中，同一个目标的可见光图像轻像素值会主动的向近红外光图像中的重像素值靠近，反应到人眼观察效果中即为目标变得更加清晰。并且，因为参考图像和目标图像是两个不同波段的图像，因此完成该羽化过程的同时，也间接完成了图像融合的过程，保证了降噪和融合过程发生在同一时刻，极大的减少了计算的复杂度，提高了计算速度和实时性，也降低了本发明方法需要部署的硬件平台的资源复杂度。

利用引导滤波器的核函数，以近红外光图像为引导图像，可见光图像为待处理图像，最终的rgb单通道输出图像可以如下表示：

qk(x,y)＝∑wk(g)i1(x,y)(11)

从式(11)中可以看出，该引导滤波器的工作过程是一个线性累加过程，对于所选取的近红外光引导图像和可见光待处理图像而言，核函数wij(g)将计算出在每个对应像素及其附近邻域(3*3的区域)内可见光新灰度数值。因为采用了近红外光图像作为引导图像，因此可见光新灰度值的结果会更加趋近近红外光图象中的灰度特征。在本实施方案中，近红外光图像的噪声水平很低，因此，通过该核函数的计算，将得出的拉伸后的可见光图像数值修正到更低的噪声水平。

对于融合及去噪过程的分析：这里由于上述qk(x,y)服从计线性滤波过程，因此式(11)可用下式表示：

qk(x,y)＝aki1(x,y)+bk(x,y)(12)

其中，在该式中，通过近红外光图像的引导作用，p为式(3)中的结构参数，在ak和bk参数计算的过程中，首先在ak中可以根据其参数看出其保留了图像中的轮廓信息，以防止在利用引导滤波器的羽化特性过程中出现边缘模糊的问题，继而通过核函数中的近红外图像的像素均值参数μ结合近红外引导图像的灰度值计算得到ak参数大小，bk参数根据ak参数以及相应rgb通道的像素均值μk计算得到；因此可以看出，在滤波计算过程中，不仅实现了降噪过程，同时由于保留了轮廓，每个当前正在被计算的像素及其邻域内的像素灰度之间产生了内联关系，最终得到的图像中保留了可见光图像和引导图像二者共同的特征，而这种特征关系恰好是图像融合的过程。

在利用引导滤波器进行计算的过程中，滤波器核函数对选取的引导图像和待处理图像进行计算，当所选取的对应像素点差异较小时，核函数认为待处理图像中的对应像素点与引导图像中的对应像素点可直接使用；当所选取的对应像素点差异较大时，核函数则认为此时待处理图像中的对应像素点需要通过引导图中的对应像素但灰度值进行修正，修正过程可以理解为在ak和bk参数计算的过程，即使得最终输出结果能够趋近引导图像，同时保留两种图像各自的特征，但最终的特征是以引导图像特征占据主要地位。

这里要说明的是，由于sensor中通常的彩色像素分布为rggb方式，所以g通道接收到的能量较r和b通道要稍强。因为采用rggb的排列方式，所以g通道相较rb通道而言从物理上已经经过了一次双通道平均过程，因此g通道的噪声水平较rb通道略低。动态范围拉伸后的可见光图像按rgb通道的顺序分别进行提取，噪声水平不是平均分配在rgb通道中的，其中，r通道和b通道的噪声水平更加严重，g通道中的噪声水平相对较低，也因此核函数的处理过程中，相当于通过不同的参数控制(即ak和bk)来对三个通道的噪声进行不同程度的控制。

当近红外光图像和可见光图像进入本实施方案的降噪融合过程时，相当于由核函数计算出两幅图像中对应区域内的ak和bk系数，将并将此二系数用于计算亮度图像的最终输出。将拉伸后的图像进行归一化处理，即将8bit值域转换到[0，1]范围内，所以此处的ak和bk系数也为归一化后的值域范围，而由于通道特性的不同，相应的r通道参数ak和bk以及b通道参数ak和bk取值较大，为[0.5，1)，而g通道参数ak和bk相对取值会小于另外两个通道，一般为(0.1，0.5]。

两个噪声较强的r和b通道与噪声较低的g通道的相应ak和bk系数上几乎没有交叉，这样可以保证在降噪过程中不会出现低噪声通道的降噪程度反而超过高噪声通道的问题，从而不会导致过分或错误降噪。在其取值范围中可以看出，只有在0.5的取值处存在一个闭集，也就是说，0.5的参数选取有一定概率出现在图像降噪过程中，这种情况只发生在可见光图像照度较高的时候，此时三通道噪声水平近似相同，因此可以使用相同的降噪参数，但在本专利的实施例中主要应用于低照度的场景，因此不会取到该值。

综上可以看出，通过本发明提供的方法，可以对在低照度的条件下对图像进行提升亮度并进行色彩的融合，融合过程和滤波去噪过程一体进行，极大地提高了系统的相应效率，尤其是在视频应用中体现为降低延迟，响应快速，降低视频观察与现场实际状态的时间延迟。

本发明同时提供一种图像融合及去噪的系统，

包括图像预处理单元1、融合及去噪单元2和图像生成单元3；

所述图像预处理单元1用于分别提取可见光图像中rgb三个通道的图像，获取模板窗口区域内rgb三个通道中亮度最大的图像数据信息，并根据该亮度最大的图像数据信息分别拉伸相应模板窗口内rgb三个通道的图像亮度；计算同一目标的近红外图像的模板窗口区域内的像素均值，并分别计算相应模板窗口区域内的拉伸后的rgb三个通道的图像的像素均值；

所述融合及去噪单元3用于根据近红外图像的像素均值和拉伸后的rgb三个通道的图像的像素均值，并通过引导滤波器分别计算拉伸后rgb三个通道的相应模板窗口区域内的图像融合及去噪后的数据；

所述图像生成单元3用于根据rgb三个通道的图像融合及去噪后的数据以及rgb三个通道中亮度最大的数据信息生成可见光图像。

这里体统的组成部分及功能与上述方法相近，因此在这里不再重复。

最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。