基于非降采样小波变换的双波段灰度熔池图像融合方法与流程

本发明属于熔池视觉领域，涉及一种基于非降采样小波变换的双波段灰度熔池图像融合方法。

背景技术：

传统焊接检查采取的人工目视法极易因人眼疲劳造成误判。熔池图像可以直接反映焊接的质量情况，采用视觉传感方法的可以实现焊接质量在线检测与控制，相较人工法对于大规模工业化生产更有应用价值。熔池视觉传感系统主要分为主动式和被动式两类。主动式视觉传感系统主要为外加激光器的结构光传感器系统，其难以提供焊缝的全局信息；而被动式视觉传感系统则是指直接拍摄的视觉传感系统，通过图像采集设备实时获得熔池和焊缝表面信息，较主动式更为直接方便，故而是近年来自动化焊接领域研究的热点。

传统被动式熔池成像装置直接采集到的熔池图像往往局部细节差，纹理信息模糊。为了提高熔池检测精度，图像采集系统需要采集到细节丰富、外部干扰尽可能少且边缘清晰的熔池图像。本文所设计的多光谱成像系统可以以较多的通道为熔池提供相对丰富的光谱信息，极大的提升了熔池成像质量。

因此，需要一种新的多光谱熔池图像融合方法来解决上述问题。

技术实现要素：

本发明要解决的技术问题是提供一种的基于非降采样小波变换的双波段灰度熔池图像融合方法。

为了解决上述技术问题，本发明的基于非降采样小波变换的双波段灰度熔池图像融合方法采用的技术方案如下。

一种基于非降采样小波变换的双波段灰度熔池图像融合方法，包括以下步骤：

1)、对熔池同步获取一束850nm高通近红外图像b和一束650nm带通可见光图像a的熔池图像；

2)、对步骤1)得到的熔池图像以850nm高通近红外图像b为基准，配准650nm带通可见光图像a；

3)、对于650nm带通可见光图像a与850nm高通近红外图像b进行一层非降采样小波变换，得到1个低频分量和3个高频分量；

4)、对于步骤3)得到的低频分量在梯度域进行nmf非负矩阵分解，得到特征系数矩阵，根据特征系数矩阵确定自适应融合系数矩阵w；

5)、根据步骤4)得到的自适应融合系数矩阵w，对低频分量进行融合，得到低频融合图像；

6)、利用图像高频融合准则对步骤3)得到的高频分量进行融合，得到高频融合图像；

7)、根据步骤5)得到的低频融合图像和步骤6)得到的高频融合图像，通过非降采样小波逆变换重构双波段熔池灰度融合图像ffusion。

更进一步的，步骤4)中所述自适应融合系数矩阵w通过下式表示：

式中，ha和hb分别为650nm带通可见光图像a与850nm高通近红外图像b的特征系数矩阵。

本发明在进行nmf分解时是对同一基向量进行投影来得到特征系数矩阵，保证了两幅融合源图像的相关性，特征系数值大的对应的源图局部细节比特征值小的对应的细节更为丰富，从而得到纹理清晰、轮廓突出的低频融合图像。

更进一步的，步骤5)中对低频分量进行融合，得到低频融合图像通过下式实现：

l^f＝w×l^a+(1-w)×l^b

式中，la为650nm带通可见光图像a的低频系数，lb为850nm高通近红外图像b的低频系数，w为自适应融合系数矩阵。

更进一步的，步骤6)中图像高频融合准则通过下式表示：

式中，表示高频融合结果，i表示不同的高频分量，j表示650nm带通可见光图像a或850nm高通近红外图像b，表示图像j在i方向的高频系数，表示图像j在i方向的高频融合判断参数，通过下式表示：

其中，p(x,y)表示邻域差值的绝对值大于预设阈值的概率，m为邻域大小，n为邻域中绝对值大于阈值的像素点个数。

更进一步的，i表示不同的高频分量，包括水平高频分量h、垂直高频分量v和对角线高频分量d。

更进一步的，m＝3。

发明原理：在850nm的近红外波段高通可抑制电弧/激光干扰，获取丰富的熔池表面细节纹理，包括浮渣分布、液体流动性等；在650nm可见光波段利用熔池类镜面高反，可获得清晰的熔池轮廓边界。二者融合，实现了熔池信息保留与增强，同时减少了不同波段的熔池冗余信息。

有益效果：本发明的基于非降采样小波变换的双波段灰度熔池图像融合方法提出了一种新型灰度融合算法，实现了熔池信息保留与增强，同时减少了不同波段的熔池冗余信息。

附图说明

图1被动式熔池多光谱视觉传感系统的原理示意图；

图2基于非降采样小波变换的双波段灰度熔池图像融合流程图；

图3双波段图像融合结果对比图：(a)660nm窄带可见光熔池图像(b)850nm高通近红外原始图像(c)融合结果；

图4熔池图像灰度融合结果与经典算法对比图：(a)660nm可见光熔池图像(b)850nm红外熔池图像(c)平均加权融合(d)拉普拉斯融合(e)pca融合(f)降采样小波融合(g)本发明的灰度融合方法。

具体实施方式

下文是举实施例配合附图方式进行详细说明，但所提供的实施例并非用以限制本发明所涵盖的范围，而结构运作的描述非用以限制其执行的顺序，任何由组件重新组合的结构，所产生具有均等功效的装置，皆为本发明所涵盖的范围。

请参阅图1、图2和图3所示，本发明的基于非降采样小波变换的双波段灰度熔池图像融合方法，包括以下步骤：

1)、对熔池同步获取一束850nm高通近红外图像b和一束650nm带通可见光图像a的熔池图像；

2)、对步骤1)得到的熔池图像以850nm高通近红外图像b为基准，配准650nm带通可见光图像a；

3)、对于650nm带通可见光图像a与850nm高通近红外图像b进行一层非降采样小波变换，得到1个低频分量和3个高频分量；

4)、对于步骤3)得到的低频分量在梯度域进行nmf非负矩阵分解，得到特征系数矩阵，根据特征系数矩阵确定自适应融合系数矩阵w；

优选的，步骤4)中所述自适应融合系数矩阵w通过下式表示：

式中，ha和hb分别为650nm带通可见光图像a与850nm高通近红外图像b的特征系数矩阵。

本发明在进行nmf分解时是对同一基向量进行投影来得到特征系数矩阵，保证了两幅融合源图像的相关性，特征系数值大的对应的源图局部细节比特征值小的对应的细节更为丰富，从而得到纹理清晰、轮廓突出的低频融合图像。

5)、根据步骤4)得到的自适应融合系数矩阵w，对低频分量进行融合，得到低频融合图像；

优选的，步骤5)中对低频分量进行融合，得到低频融合图像通过下式实现：

l^f＝w×l^a+(1-w)×l^b

式中，la为650nm带通可见光图像a的低频系数，lb为850nm高通近红外图像b的低频系数，w为自适应融合系数矩阵。

6)、利用图像高频融合准则对步骤3)得到的高频分量进行融合，得到高频融合图像；

优选的，步骤6)中图像高频融合准则通过下式表示：

式中，表示高频融合结果，i表示不同的高频分量，j表示650nm带通可见光图像a或850nm高通近红外图像b，表示图像j在i方向的高频系数，表示图像j在i方向的高频融合判断参数，通过下式表示：

其中，p(x,y)表示邻域差值的绝对值大于预设阈值的概率，m为邻域大小，n为邻域中绝对值大于阈值的像素点个数。本发明中，i表示不同的高频分量，包括水平高频分量h、垂直高频分量v和对角线高频分量d。优选的，m＝3。

7)、根据步骤5)得到的低频融合图像和步骤6)得到的高频融合图像，通过非降采样小波逆变换重构双波段熔池灰度融合图像ffusion。

发明原理：在850nm的近红外波段高通可抑制电弧/激光干扰，获取丰富的熔池表面细节纹理，包括浮渣分布、液体流动性等；在650nm可见光波段利用熔池类镜面高反，可获得清晰的熔池轮廓边界。二者融合，实现了熔池信息保留与增强，同时减少了不同波段的熔池冗余信息。

本发明的基于非降采样小波变换的双波段灰度熔池图像融合方法提出了一种新型灰度融合算法，实现了熔池信息保留与增强，同时减少了不同波段的熔池冗余信息。

基于多光谱熔池图像，对其进行灰度融合，使其表达更为丰富的光谱信息，更加符合人眼观察习惯，便于焊接检测。

首先，采用多光谱熔池视觉传感系统，用半反半透分束镜及同步触发装置获得650nm窄带、850nm高通及三波段彩色的多波段熔池图像。

其次，对650nm窄带和850nm高通两个波段的数据进行非降采样小波变换，对得到的低频图像在梯度域进行nmf非负矩阵分解，并据此自适应地确定低频融合系数矩阵，进行自适应融合；高频部分通过邻域差值所反映的图像统计特征来确定融合系数。

一、自适应的低频融合准则

基于局部梯度相关性的低频融合准则，对两幅源图低频系数在梯度域进行非负矩阵分解，得到具有相关性的特征图，再将其与自适应函数结合得到加权系数矩阵。

对于任意给定的一个非负矩阵vm×n，nmf非负矩阵分解算法能够寻找到一个非负矩阵wm×r和一个非负矩阵hr×n，满足v＝wh。原矩阵v中的列向量为矩阵wm×r中所有列向量(也称之为基向量)的加权和，而权重系数为hr×n中对应列向量中的元素。非负矩阵分解是基于基向量的非负组合，非负基向量wm×r具有一定线性无关性和稀疏性，能够反映原矩阵的特征与结构。

对于熔池图像的低频梯度特征分量，其在梯度域的非负矩阵分解步骤如下：

首先，求出可见光熔池图像a与红外熔池图像b的低频系数梯度图ga和gb，

其次，在梯度域分别选取3×3邻域的梯度值，按列将其排成9*1的列向量v＝[vavb]并对其进行非负矩阵分解。

va＝[ga(1,2),ga(2,1)...ga(3,3)]^t(2)

v9*2＝w9*1h1*2

对于一个给定的非负矩阵vm×n，对其进行分解时需要确定r值，本文取r＝1。公式(2)中w是基矩阵，h为权重矩阵，其元素为w中对应列向量的权重系数，我们可以将权重系数理解为原矩阵中列向量在基向量上的投影尺寸的大小，可以用权重矩阵的大小来表征两幅图的区域纹理特征。如果a邻域中心灰度变化程度远大于b邻域中心灰度变化程度，则ha远大于hb；如果a邻域中心灰度变换程度小于b邻域中心灰度变换程度，则ha小于hb；如果a、b邻域中心灰度变换程度差不多，则ha约等于hb。

设la为660nm窄带可见光图像低频系数，lb为850nm高通红外图像低频系数，w为自适应融合系数矩阵，双波段熔池图像的低频融合结果为：

l^f(x,y)＝w(x,y)×l^a(x,y)+(1-w(x,y))×l^b(x,y)(3)

w的定义见公式(4)。通过自适应函数来确定图像自适应融合系数矩阵，从而实现低频融合。

公式(4)中t＝ha./hb，其中ha为va在基向量上投影值，hb为vb在基向量上投影值。

二、图像高频融合准则

在非降采样得到的高频熔池图像中，中心系数与其邻域系数差值大小表示了熔池的边缘信息量。选取3×3邻域，设定基准阈值k。分别将中心像素与邻域的八个像素进行比较，统计差值的绝对值大于阈值k的个数n。设邻域差值的绝对值大于预设阈值的概率为p(x,y)，p(x,y)可被表示为：

m为邻域大小(这里m＝3)，n为邻域中绝对值大于阈值的像素点个数。若n过小，则可认为该中心点是噪声点或奇异点，若n较大，则可以认为该点处于非边缘区域。本文采用用p(x,y)×(1-p(x,y))的大小来判断该像素是否位于熔池图像的纹理区域。结合中心像素本身所携带的熔池信息，熔池图像的高频融合判断参数为：

i分别表示三个不同的高频分量(水平h、垂直v、对角线d)，j表示可见光熔池图像a和红外熔池图像b，gi^j(x,y)表示图像j在i方向的高频系数。用表示高频融合结果，双波段熔池图像高频融合准则为：

实施例1：

步骤(1)，设计多波段熔池图像采集实验系统，同步获取一束850nm高通、一束采用650nm带通，一束三波段彩色熔池图像的视觉传感装置。

步骤(2)，对采集到的多波段图像以850nm高通为基准，配准650nm带通数据。

步骤(3)，对于650nm带通可见光图像与850nm高通近红外图像进行一层非降采样小波变换，分别得到1个低频分量和3个高频分量。

设待分解的图像为x＝f(x,y)，对图像由行及列进行一维小波变换，分解为1个低频分量和3个高频分量，分别为ll(低频)、lh(水平)、hl(垂直)、hh(对角线)。二维非降采样小波变换表达式为^[13]：

式中，(j＝0,1,2...,j-1)、h、v、d分别表示水平、垂直、对角线方向，j为分解层数，xj为第j层的低频系数，dj为第j层的高频系数，和分别为l、h的升采样后滤波器。相应的小波重构表达式为：

步骤(4)，对于650nm带通可见光图像与850nm高通近红外图像的低频分量在式(3)得到的梯度域分别选取3*3邻域的梯度值，按列将其排成9*1的列向量。矩阵v＝[vavb]并对其进行非负矩阵分解如式(4)(5)：

va＝[ga(1,2),ga(2,1)...ga(3,3)]^t(4)

v9*2＝w9*1h1*2(5)

由非负矩阵分解得到的特征系数矩阵依照式(4)确定自适应融合系数矩阵w。ha、hb分别为650nm带通可见光图像与850nm高通近红外图像的特征系数矩阵

而后，对低频部分按照式7进行融合

l^f(x,y)＝w(x,y)×l^a(x,y)+(1-w(x,y))×l^b(x,y)(7)

步骤(5)，对图像的高频分量按照式(8)准则进行融合

表示图像j在i方向的高频系数。式(8)中的判断准则：

其中，p(x,y)为邻域差值的绝对值大于预设阈值的概率

预先设定基准阈值k，且m＝3。在3×3邻域内将中心像素与邻域的八个像素进行比较，n为统计差值的绝对值大于阈值k的个数

步骤(6)，在得到高低频不同的融合图像后，通过非降采样小波逆变换重构双波段熔池灰度融合图像得到结果ffusion。

图4比较了本发明的融合算法与线性加权平均融合、拉普拉斯融合、pca融合、以及一种传统降采样小波融合方法。可以看到因为过强弧光，源熔池图像右侧头部存在差异信息，650nm窄带可见光图像因强弧光造成的过度曝光损失了部分熔池细节。(c)、(d)为加权平均融合与拉普拉斯融合法，可以这两种方法能够融合原始熔池图像的能量，但简陋的融合准则导致了熔池的内部细节，亮度，边缘清晰度的下降。(e)的方法较前两种有所提升但对于熔池图像的过度曝光部分，即不同波段的差异信息融合结果模糊。(f)为现有技术的降采样小波方法融合图，融合熔池的右侧头部模糊，且引入了原熔池图像没有的噪声。(g)为本发明的基于非降采样的小波融合方法，相比于传统小波，克服了其分解重构带来的频谱混叠，对于高频与低频分别采取的自适应和局部特征准则，实现了熔池内部细节与边缘对比度的增强，得到的融合熔池纹理明显、细节清晰，对于源图的差异信息，既融合了660nm窄带图像能量，也保留了850nm高通图像的内部细节，在低频梯度域进行的特征提取保留了强弧光的轮廓。使本方法即使在过强弧光干扰下，也能有效提取到熔池内部信息，便于异常检测。

表1和表2的实验结果表明，与其他融合算法相比本发明的灰度融合熔池细节完整，纹理轮廓清晰度高。

表1不锈钢板焊接参数

表2熔池图像灰度融合结果客观指标与经典算法对比