一种焊接图像采集方法、装置、电子设备和存储介质与流程

本发明涉及焊接技术领域，尤其涉及一种焊接图像采集方法、装置、电子设备和计算机可读存储介质。

背景技术：

在机械制造领域中，焊接是连接金属材料行之有效的办法，通过焊接方式相连接的金属材料较为牢固，因此具有更高的耐用性。

现有技术中，为保证焊接质量，通常需要对焊接过程进行监控。但是在监控过程中对焊接区域进行拍摄时，由于焊接区域太亮，会导致拍摄的焊接图像过曝，难以区分熔池区域和其它区域。

技术实现要素：

本发明的目的在于提供一种焊接图像采集方法、装置、电子设备和计算机可读存储介质，以解决现有技术中采集的焊接图像难以区分熔池区域和其它区域的问题。

为解决上述技术问题，本发明提供了一种焊接图像采集方法，包括：

步骤s101，在焊接过程中，获得第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像，其中，所述第一图像中熔池区域的清晰度小于所述熔池区域以外区域的清晰度，所述第二图像中所述熔池区域的清晰度大于所述熔池区域以外区域的清晰度；

步骤s102，根据第一镜头和第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，计算变换矩阵，其中，所述第一镜头为所述第一拍摄装置的镜头，所述第二镜头为所述第二拍摄装置的镜头；

步骤s103，从所述第二图像中确定所述熔池区域的轮廓图，根据所述轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图；

步骤s104，基于所述变换矩阵，分别对所述第二图像和所述遮罩图进行变换处理，并将所述第一图像与变换处理后的第二图像和遮罩图进行合成，得到采集的焊接图像。

可选的，步骤s103从所述第二图像中确定所述熔池区域的轮廓图，包括：

将所述第二图像转换为灰度图；

对所述灰度图进行自适应阀值化处理以及二值化处理，得到二值化图；

在所述二值化图中找到所述熔池区域的轮廓点，并提取所述熔池区域的最外层轮廓点；

对所述熔池区域的最外层轮廓点进行拟合，得到所述熔池区域的最外层轮廓的轮廓图。

可选的，步骤s103根据所述轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图，包括：

通过修改所述轮廓图中所述熔池区域外的像素点的像素值，得到用于覆盖所述熔池区域以外区域的遮罩图。

可选的，所述第一镜头和所述第二镜头的光轴均穿过所述熔池区域的中心点，所述第一镜头和所述第二镜头的光轴与所述熔池区域所在的平面夹角相等，且所述第一镜头和所述第二镜头到所述熔池区域的中心点距离相等。

可选的，所述变换矩阵为：

其中，α表示所述第一镜头和所述第二镜头的光轴与所述熔池区域所在的平面夹角，β表示所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，r表示所述第一镜头和所述第二镜头到所述熔池区域的中心点距离。

可选的，所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度小于90度。

可选的，所述第一镜头配置有滤光片，所述第二镜头配置有滤光片以及减光片。

本发明还提供一种焊接图像采集装置，所述装置包括：

图像获取模块，用于在焊接过程中，获得第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像，其中，所述第一图像中熔池区域的清晰度小于所述熔池区域以外区域的清晰度，所述第二图像中所述熔池区域的清晰度大于所述熔池区域以外区域的清晰度；

计算模块，用于根据第一镜头和第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，计算变换矩阵，其中，所述第一镜头为所述第一拍摄装置的镜头，所述第二镜头为所述第二拍摄装置的镜头；

图像处理模块，用于从所述第二图像中确定所述熔池区域的轮廓图，根据所述轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图；

图像合成模块，用于基于所述变换矩阵，分别对所述第二图像和所述遮罩图进行变换处理，并将所述第一图像与变换处理后的第二图像和遮罩图进行合成，得到采集的焊接图像。

可选的，所述图像处理模块，具体用于将所述第二图像转换为灰度图；对所述灰度图进行自适应阀值化处理以及二值化处理，得到二值化图；在所述二值化图中找到所述熔池区域的轮廓点，并提取所述熔池区域的最外层轮廓点；对所述熔池区域的最外层轮廓点进行拟合，得到所述熔池区域的最外层轮廓的轮廓图。

可选的，所述图像处理模块，具体用于通过修改所述轮廓图中所述熔池区域外的像素点的像素值，得到用于覆盖所述熔池区域以外区域的遮罩图。

可选的，所述第一镜头和所述第二镜头的光轴均穿过所述熔池区域的中心点，所述第一镜头和所述第二镜头的光轴与所述熔池区域所在的平面夹角相等，且所述第一镜头和所述第二镜头到所述熔池区域的中心点距离相等。

可选的，所述变换矩阵为：

其中，α表示所述第一镜头和所述第二镜头的光轴与所述熔池区域所在的平面夹角，β表示所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，r表示所述第一镜头和所述第二镜头到所述熔池区域的中心点距离。

可选的，所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度小于90度。

可选的，所述第一镜头配置有滤光片，所述第二镜头配置有滤光片以及减光片。

本发明还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一项焊接图像采集方法所述的方法步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项焊接图像采集所述的方法步骤。

与现有技术相比，本发明提供的方案，在焊接过程中，第一拍摄装置拍摄熔池区域的清晰度小于熔池区域以外区域的清晰度的第一图像，也就是拍摄获取的图像中呈现出熔池部分过曝、但是周围清晰的特征；第二拍摄装置拍摄熔池区域的清晰度大于熔池区域以外区域的清晰度的第二图像，即拍摄获取的图像中呈现出熔池部分清晰、但是周围较暗分辨度不高的特征，然后可以从第二图像中确定熔池区域的轮廓图，根据轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图，同时可以根据两台拍摄装置的镜头光轴在熔池区域所在平面上的投影形成的角度计算变换矩阵，并基于所述变换矩阵分别对第二图像和遮罩图进行变换处理，再将第一图像与变换处理后的第二图像和遮罩图进行合成，得到采集的焊接图像。合成后的焊接图像熔池部分清晰且周围清晰，可以清楚的区分熔池区域和其他区域，并且成本较低。

附图说明

图1是本发明一实施例提供的焊接图像采集方法的流程示意图；

图2是本发明一实施例提供的采集图像的拍摄系统的结构示意图；

图3是本发明一实施例提供的焊接图像采集装置的结构框图；

图4是本发明一实施例提供的电子设备的结构框图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种焊接图像采集方法、装置、电子设备和计算机可读存储介质作进一步详细说明。根据权利要求书和下面说明，本发明的优点和特征将更清楚。

为解决现有技术的问题，本发明实施例提供了一种焊接图像采集方法、装置、电子设备及计算机可读存储介质。

需要说明的是，本发明实施例的焊接图像采集方法可应用于本发明实施例的焊接图像采集装置，该焊接图像采集装置可被配置于电子设备上。其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。

图1是本发明一实施例提供的一种焊接图像采集方法的流程示意图，请参考图1，一种焊接图像采集方法可以包括如下步骤：

步骤s101，在焊接过程中，获得第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像。

其中，所述第一图像和所述第二图像均包括熔池区域和熔池区域以外的区域，且所述第一图像中熔池区域的清晰度小于所述熔池区域以外区域的清晰度，也就是拍摄获取的图像中呈现出熔池部分过曝、但是周围清晰的特征；所述第二图像中所述熔池区域的清晰度大于所述熔池以外区域的清晰度，即拍摄获取的图像中呈现出熔池部分清晰、但是周围较暗分辨度不高的特征。所述熔池区域以外区域也就是熔池区域周围的区域。

实际应用中，第一拍摄装置的第一镜头可以配置滤光镜，第二拍摄装置的第二镜头可以配置滤光镜以及减光片，因此，第一拍摄装置可以拍摄到熔池区域曝光、熔池区域以外部分清晰的第一图像，第二拍摄装置可以拍摄到熔池区域清晰、但周围较暗分辨度不高的第二图像。其中，滤光镜可以为黑色滤光镜，滤光镜用于滤去部分波段的弧光干扰，减光片用于减少光亮进入所述第二拍摄装置，获得合理的曝光量，在实际应用中，可以根据需要使用不同参数的滤光镜和减光片，从而获得清晰程度满足需要的第一图像和第二图像。

另外，实际应用中，还可以使第一镜头和第二镜头到焊接所形成的熔池区域的中心点距离相等，所述第一镜头和所述第二镜头的光轴均穿过所述熔池区域的中心点且与所述熔池区域所在的平面夹角相等。可见，第一拍摄装置和第二拍摄装置是相对于熔池区域对称设置的，具体而言，在采集焊接图像之前，固定两架拍摄装置，使得两台拍摄装置的镜头光轴均穿过熔池区域的中心点，镜头光轴与熔池区域所在的平面夹角相等，且镜头到熔池区域的中心点距离相等。

步骤s102，根据第一镜头和第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，计算变换矩阵。

其中，所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度小于90度，所述变换矩阵可以为：

其中，α表示所述第一镜头和所述第二镜头的光轴与所述熔池区域所在的平面夹角，β表示所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，r表示所述第一镜头和所述第二镜头到所述熔池区域的中心点距离。

下面对计算变换矩阵的原理进行解释。如图2所示的拍摄系统的结构示意图中，首先假定存在一个由熔池和熔池以外区域组成的矩形区域，两个拍摄装置a和b的镜头光轴均穿过熔池区域中心点，镜头光轴与矩形区域所在平面夹角为α(α小于90度)，且镜头到中心点距离为r，设两个拍摄装置的镜头光轴在矩形区域所在平面上的投影所形成的夹角为β(β小于90度)。存在一个空间坐标系，以矩形区域所在的平面平行于x轴与y轴组成的平面，可以设拍摄装置a所在的位置为原点1，拍摄装置b所在的位置为原点2。当空间坐标系的原点从原点1转移到原点2时，因为原点1与原点2到熔池区域中心点的距离相等，可以视为熔池区域在平面上绕穿过熔池区域中心点且垂直于熔池区域所在平面的轴(中心轴)做旋转，旋转的角度即为β。

设熔池区域中心点在空间坐标系中的坐标为(a，b，c)，当b＝0时，a＝rcosα，c＝rsinα。

先做平移，把熔池区域中心点移到原点1，对应的矩阵为：

然后，绕z轴做旋转，即将熔池区域中心点移到原点2，对应矩阵为：

再做平移，把熔池区域中心点移回原位即原点1，对应矩阵为：

综上，得到绕中心轴旋转的矩阵为：

即，转换矩阵为

步骤s103，从所述第二图像中确定所述熔池区域的轮廓图，根据所述轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图。

需要说明的是，在实际应用中，也可以先执行步骤s103再执行步骤s102，本发明对步骤s102和步骤s103的执行顺序不做限定。

步骤s104，基于所述变换矩阵，对所述第二图像和所述遮罩图进行变换处理，并将所述第一图像与变换处理后的第二图像和遮罩图进行合成，得到采集的焊接图像。

具体而言，可以基于opencv技术对第一图像和第二图像进行图像合成，得到熔池区域清晰且周围也清晰的焊接图像。

在一种实现方式中，步骤s103从所述第二图像中确定所述熔池区域的轮廓图，可以包括：

将所述第二图像转换为灰度图；

对所述灰度图进行自适应阀值化处理以及二值化处理，得到二值化图；

在所述二值化图中找到所述熔池区域的轮廓点，并提取所述熔池区域的最外层轮廓点；

对所述熔池区域的最外层轮廓点进行拟合，得到所述熔池区域的最外层轮廓的轮廓图。

可以理解的是，为了方便做熔池的边缘检测可以将彩色的第二图像转换为灰度图，通过调用cvtcolor函数可以转换图像的色彩空间。然后通过调用adaptivethreshold函数对灰度图做自适应阀值化处理，计算灰度图中每一区域的高斯均值并减去偏移值以得到该区域内的阀值，再依照该阀值对区域内的像素点做二值化的处理，从而得到二值化图。通过调用findcontours函数在二值化图中找到熔池区域的轮廓点，此处只需提取最外层轮廓点。通过调用approxpolydp函数对熔池最外层轮廓点进行拟合，得到封闭的熔池最外层轮廓的轮廓图。

在得到熔池区域的轮廓图后，步骤s103根据所述轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图，可以包括：通过修改所述轮廓图中所述熔池区域外的像素点的像素值，得到用于覆盖所述熔池区域以外区域的遮罩图。具体的，可以将所述轮廓图中熔池区域外的像素点的像素值修改为0，即得到用于覆盖所述熔池区域以外其它部分的遮罩图。

在步骤s104中，可以依照步骤s102计算获得的变换矩阵，调用函数warpperspective分别对第二图像和遮罩图进行透视变换，可以将第二拍摄装置视角拍摄的第二图像变换为第一拍摄装置视角拍摄的图像，将遮罩图变换为第一拍摄视角下的图像。然后调用copyto函数将变换处理后的第二图像覆盖在第一图像上，同时传递遮罩图以保证只有第二图像的熔池区域部分会覆盖到第一图像上，而不会影响熔池区域以外的其他部分的像素点。这样经过合成处理后得到的焊接图像即为熔池部分清晰且周围清晰的图像。

综上所述，与现有技术相比，本发明提供的方案，在焊接过程中，第一拍摄装置拍摄熔池区域的清晰度小于所述熔池区域以外区域的清晰度的第一图像，也就是拍摄获取的图像中呈现出熔池部分过曝、但是周围清晰的特征；第二拍摄装置拍摄熔池区域的清晰度大于所述熔池区域以外区域的清晰度的第二图像，即拍摄获取的图像中呈现出熔池部分清晰、但是周围较暗分辨度不高的特征，然后可以从第二图像中确定熔池区域的轮廓图，根据轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图，同时可以根据两台拍摄装置的镜头光轴在熔池区域所在平面上的投影形成的角度计算变换矩阵，并基于所述变换矩阵分别对第二图像和遮罩图进行变换处理，再将第一图像与变换处理后的第二图像和遮罩图进行合成，得到采集的焊接图像。合成后的焊接图像熔池部分清晰且周围清晰，可以清楚的区分熔池区域和其他区域，并且成本较低。

与上述的焊接图像采集方法相对应，本发明还提供了一种焊接图像采集装置，如图3所示，所述装置包括：

图像获取模块201，用于在焊接过程中，获得第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像，其中，所述第一图像中熔池区域的清晰度小于所述熔池区域以外区域的清晰度，也就是拍摄获取的图像中呈现出熔池部分过曝、但是周围清晰的特征，所述第二图像中所述熔池区域的清晰度大于所述熔池区域以外区域的清晰度，即拍摄获取的图像中呈现出熔池部分清晰、但是周围较暗分辨度不高的特征；

计算模块202，用于根据第一镜头和第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，计算变换矩阵，其中，所述第一镜头为所述第一拍摄装置的镜头，所述第二镜头为所述第二拍摄装置的镜头；

图像处理模块203，用于从所述第二图像中确定所述熔池区域的轮廓图，根据所述轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图；

图像合成模块204，用于基于所述变换矩阵，分别对所述第二图像和所述遮罩图进行变换处理，并将所述第一图像与变换处理后的第二图像和遮罩图进行合成，得到采集的焊接图像。

可选的，所述图像处理模块203，具体用于将所述第二图像转换为灰度图；对所述灰度图进行自适应阀值化处理以及二值化处理，得到二值化图；在所述二值化图中找到所述熔池区域的轮廓点，并提取所述熔池区域的最外层轮廓点；对所述熔池区域的最外层轮廓点进行拟合，得到所述熔池区域的最外层轮廓的轮廓图。

可选的，所述图像处理模块203，具体用于通过修改所述轮廓图中所述熔池区域外的像素点的像素值，得到用于覆盖所述熔池区域以外区域的遮罩图。

可选的，所述第一镜头和所述第二镜头的光轴均穿过所述熔池区域的中心点，所述第一镜头和所述第二镜头的光轴与所述熔池区域所在的平面夹角相等，且所述第一镜头和所述第二镜头到所述熔池区域的中心点距离相等。

可选的，所述变换矩阵为：

其中，α表示所述第一镜头和所述第二镜头的光轴与所述熔池区域所在的平面夹角，β表示所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，r表示所述第一镜头和所述第二镜头到所述熔池区域的中心点距离。

可选的，所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度小于90度。

可选的，所述第一镜头配置有滤光片，所述第二镜头配置有滤光片以及减光片。

对于本实施例公开的焊接图像采集装置而言，由于其基本相似于上述焊接图像采集方法实施例，所以描述的比较简单，相关之处参见上述焊接图像采集方法实施例的部分说明即可。

本发明还提供了一种电子设备，如图4所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301、通信接口302、存储器303通过通信总线304完成相互间的通信，

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：

步骤s101，在焊接过程中，获得第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像，其中，所述第一图像中熔池区域的清晰度小于所述熔池区域以外区域的清晰度，也就是拍摄获取的图像中呈现出熔池部分过曝、但是周围清晰的特征，所述第二图像中所述熔池区域的清晰度大于所述熔池区域以外区域的清晰度，即拍摄获取的图像中呈现出熔池部分清晰、但是周围较暗分辨度不高的特征；

步骤s102，根据所述第一镜头和所述第二镜头的光轴在所述熔池区域所在平面上的投影所形成的角度，计算变换矩阵，其中，所述第一镜头为所述第一拍摄装置的镜头，所述第二镜头为所述第二拍摄装置的镜头；

步骤s103，从所述第二图像中确定所述熔池区域的轮廓图，根据所述轮廓图获得用于覆盖所述熔池区域以外区域的遮罩图；

步骤s104，基于所述变换矩阵，分别对所述第二图像和所述遮罩图进行变换处理，并将所述第一图像与变换处理后的第二图像和遮罩图进行合成，得到采集的焊接图像。

关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1所示的方法实施例，在此不做赘述。

另外，处理器301执行存储器303上所存放的程序而实现的焊接图像采集方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述的焊接图像采集方法的方法步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。