一种基于多源信息融合的焊缝智能在线检测装置的制作方法

本发明涉及一种基于多源信息融合的焊缝智能在线检测装置，其属于焊缝检测技术领域。

背景技术：

焊接技术作为现代机械制造的一种重要技术手段，目前被广泛应用于机械制造中。焊接过程中，难免出现人为或非人为因素导致焊接方向发生改变，进而导致焊偏；焊接过程中，焊接参数的改变直接影响焊缝的形状的改变，进而产生焊接缺陷，严重影响焊接质量。在航空航天、核电、化学工业容器、高铁制造、汽车轮船等重要行业的焊接中，除了内部检测要求外，均需要进行严格的焊缝外观形状和表面缺陷检测。焊缝的质量检测主要包括：焊缝外观形状和表面缺陷检测、焊缝内部缺陷检测、焊缝各种性能检测。对于焊缝外观形状和表面缺陷检测主要通过人眼观察，目前也有采用可见光视觉检测方法进行焊缝的表面质量检测，而焊缝内部缺陷的检测主要采用x射线、超声波探伤、磁通检测等无损检测方法实现。x射线方法应采用辐射方式检测，需要采用防辐射装置来避免辐射危险，导致其成本过程，安全性不高，不适合大规模的部件大批量以及钢结构焊接；磁通检测虽然没有硬射线对人体危害那么可怕，但是它的电磁污染也非常大，对周边设备和环境都存在一定的影响；超声波探伤方法具有检测灵敏度高、速度快的优点，但在检测时需要超声耦合剂，并对操作人员的技术要求很高，同时超声波发射和接收装置较大，对于大规模的结构件焊接实现较困难。此外，目前的焊缝检测方法均是要在焊缝冷却之后进行检测，属于后评价，如果能够实现在线实时评价，在作业过程中对焊缝的质量进行检测，可以对焊接技术参数和工艺流程进行及时调整，进而可以降低由于焊接参数和操作导致的焊接缺陷，提高焊接作业质量和作业效率，减少重复劳动。

可见光视觉检测方法可以检测焊缝是否漏焊、是否焊偏、焊缝的大小和形状，从总体上评估焊接质量。新兴的红外测温技术是一种新的非接触式在线检测方式。红外线探测测温测量速度快、范围宽、灵敏度高，对被测温度场无干扰，是一种快速有效的结构状态在线实时检验工具，检测可靠性较高。而在焊接过程中，不同焊接参数下所形成的焊接熔池后方焊缝温度变化不同，通过构建焊缝温度场变化图像，利用红外热成像获取焊接余温变化，以得到高质量和随时间变化的红外成像信息，从而实现焊接内部质量检测。

另一方面，随着现代物联网、大数据和人工智能技术的发展，为多信息的融合和处理提供了基础，将焊接过程中焊缝红外视频、可见光视频、焊枪作业参数信息进行融合，并通过无线网络将整个焊接过程的信息传输服务器进行分析，可以进行整个焊接过程中的焊接质量的评价，同时也可以作为焊接工人考核和评价的依据。

技术实现要素：

本发明是为了解决上述现有技术存在的问题而提供一种基于多源信息融合的焊缝智能在线检测装置，能够在线测量焊缝的外观形状、大小、纹理以及温度场变化，进而进行焊缝质量以及焊接过程的评估。

本发明所采用的技术方案有：一种基于多源信息融合的焊缝智能在线检测装置，由红外线阵列传感器、可见光摄像头、视频信息采集模块、智能处理模块、电源模块、焊机参数输入输出接口模块、无线数据传输模块和服务器组成，视频信息采集模块连接红外线阵列传感器和可见光摄像头以采集焊接过程的焊缝红外和可见光视频信息，并通过智能处理模块进行焊缝红外和可见光图像的识别和处理，并通过无线数据传输模块将采集的焊缝红外和可见光图像以及融合处理结果传输给服务器进行存储和处理。

进一步地，红外线阵列传感器为红外线热辐射阵列传感器或红外成像芯片，可见光摄像头为数字或模拟ccd摄像头，并与视频信息采集模块相连。

进一步地，视频信息采集模块进行红外线阵列传感器和可见光摄像头的图像数据编码、解码、匹配，并通过智能处理模块进行焊缝的焊缝宽度、中心轨迹、焊缝纹理、温度场分布信息的识别和处理，以判断焊缝质量。

进一步地，智能处理模块根据历史焊缝温度场分布图进行当前焊缝红外图像进行识别和学习，构建焊缝内部缺陷的温度场分布特征库，进行焊缝内部缺陷识别。

进一步地，智能处理模块对可见光摄像头所采集的焊缝表面视频图像进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像，并根据所采集的焊缝历史可见光图像进行当前焊缝图像进行识别和学习，获得焊缝宽度、中心轨迹、焊缝纹理的表面特征。

进一步地，智能处理模块根据所获得的焊缝宽度、中心轨迹、焊缝纹理的表面特征和焊缝温度场分布特征结合，并与红外图像特征结合，构建焊缝质量评价综合特征向量，根据所获得特征向量进行焊缝质量评价。

进一步地，智能处理模块根据所获得焊缝质量评价综合特征向量和焊机参数输入输出接口模块获得的焊枪电流、电压、保护气体流量的信息，进行焊接作业过程的焊枪参数评价，并通过焊机参数输入输出接口模块进行焊枪参数反馈调节。

进一步地，无线数据传输模块将焊缝红外和可见光视频信息、智能处理模块获得的焊缝质量检测信息和焊枪参数传输至服务器，服务器将所采集的信息进行存储和管理，服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝宽度、中心轨迹、焊缝纹理以及温度场变化的焊接过程质量数据库。

进一步地，通过无线数据传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步。

本发明具有如下有益效果：本发明所建立的基于多信息融合的焊缝智能在线检测装置通过对焊接过程中焊缝余温变化监测以获取高质量和随时间变化的红外热成像信息，通过焊缝表面的温度分布来判断焊缝内部缺陷。同时融合可见光图像对焊缝宽度、中心轨迹、焊缝纹理等焊缝表面特征，通过人工智能方法实现焊缝质量评价，并能与焊机直接连接进行焊接参数的智能反馈调节。通过本发明的实施可以降低由于焊接参数和操作导致的焊接缺陷，提高焊接作业质量和作业效率，减少重复劳动。

附图说明：

图1是本发明基于多源信息融合的焊缝智能在线检测装置的结构示意图。

图2是实施例1的结构示意图。

图3是实施例2的结构示意图。

具体实施方式：

下面结合附图对本发明作进一步的说明。

本发明基于多源信息融合的焊缝智能在线检测装置由红外线阵列传感器、可见光摄像头、视频信息采集模块、智能处理模块、电源模块、焊机参数输入输出接口模块、无线数据传输模块和服务器组成。通过视频信息采集模块连接红外线阵列传感器和可见光摄像头采集焊接过程的焊缝红外和可见光视频信息，并通过智能处理模块进行焊缝红外和可见光图像的识别和处理，从而获得焊缝宽度、中心轨迹、焊缝纹理以及温度场变化，并通过无线数据传输模块将采集的红外和可见光图像以及融合处理结果传输给服务器进行存储和处理。

利用红外热成像获取焊接余温变化，以得到高质量和随时间变化红外成像信息；红外线阵列传感器为红外线热辐射阵列传感器或红外成像芯片，可见光摄像头为常见数字或模拟ccd摄像头，并与视频信息采集模块相连。在装置初始时通过双目视觉标定方式进行两个摄像头的标定，对可见光视频和红外视频之间的匹配。

一般地，焊接熔池的温度随着热源的移动，其温度会发生变化，对正常焊缝，其温度场是均匀变化的，而如果焊接过程中内部有缺陷，会导致焊缝表面的温度变化不均匀，因此可以通过测量焊接余温变化以获取高质量和随时间变化的红外热成像信息，通过焊缝表面的温度分布来判断焊缝内部缺陷。基于这一原理，根据所采集的焊缝红外和可见光图像，其中红外线阵列传感器所采集焊缝的每个像素点颜色对应焊缝的温度值，通过颜色和温度的对应关系建立焊缝在随时间变化的温度场分布，通过检测温度场分布中的异常像素点来检测焊缝内部是否存在缺陷。

视频信息采集模块可以进行红外线阵列传感器模块和可见光摄像头的图像数据编码、解码、匹配，并通过智能处理模块进行焊缝的焊缝宽度、中心轨迹、焊缝纹理、温度场分布等信息的识别和处理，以判断焊缝质量。

智能处理模块根据历史焊缝温度场分布图进行当前焊缝红外图像进行识别和学习，构建焊缝内部缺陷的温度场分布特征库，从而进行焊缝内部缺陷识别。

智能处理模块具有自学习功能，对可见光摄像头所采集的焊缝表面视频图像进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像，并根据所采集的焊缝历史可见光图像进行当前焊缝图像进行识别和学习，获得焊缝宽度、中心轨迹、焊缝纹理等表面特征。

智能处理模块根据所获得的焊缝宽度、中心轨迹、焊缝纹理等表面特征和焊缝温度场分布特征结合，并与红外图像特征结合，构建焊缝质量评价综合特征向量，根据所获得特征向量进行焊缝质量评价。

智能处理模块根据所获得焊缝质量评价综合特征向量和焊机参数输入输出接口模块获得的焊枪电流、电压、保护气体流量等信息，进行焊接作业过程的焊枪参数评价，并通过焊机参数输入输出接口模块进行焊枪参数反馈调节。

无线数据传输模块将焊缝红外和可见光视频信息、智能处理模块获得的焊缝质量检测信息和焊枪参数传输至服务器，服务器将所采集的信息进行存储和管理。服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝宽度、中心轨迹、焊缝纹理以及温度场变化等焊接过程质量数据库，为焊接工程整体评价和焊接作业管理提供决策支持。

在焊接工程结束后通过无线传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步，以提高智能处理模块的自学习能力和识别结果的准确性。

下面通过两个实施例来具体说明本发明基于多源信息融合的焊缝智能在线检测装置。

实施例1

本实施例提供了一种基于多源信息融合的焊缝智能在线检测装置，其结构如图2所示。本焊缝智能在线检测装置与焊枪相连接，为了避免由于焊接过程中的高温飞溅影响摄像头的检测效果，同时考虑焊接熔池的温度变化规律，将本装置安装在焊枪后部10mm处。

具体地，本实施例中的红外线阵列传感器采用mag160core热成像芯片，可见光摄像头采用opt-c0620-2m，视频信息采集模块采用tms320dm6446视频处理模块，智能处理模块tir-tx2s300深度学习模块，搭载nvidiajetsontx2模块，视频信息采集模块与智能处理模块之间采用以太网接口连接，无线数据传输模块采用usr-c322wifi模块，与tir-tx2s300板载wifi接口连接。

在焊接作业过程中，本装置通过红外线阵列传感器和可见光摄像头获取当前焊接过程中的焊缝红外温度视频和可见光视频。视频信息采集模块对两个摄像头获取的视频流进行解码和信息提取。

根据所提取的焊缝红外图像，视频信息采集模块进行焊缝温度场数据提取，并同时记录当前温度场分布的时刻。同时根据所提取的焊缝可见光图像，进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像。

智能处理模块根据，智能处理模块深度神经网络模块根据焊缝历史可见光图像对当前焊缝的焊缝宽度、中心轨迹、焊缝纹理等表面特征进行识别，并根据系统设定的双目摄像头标定数据进行红外图像和可见光图像的匹配，获得相应的焊缝余温分布图像以及相对应的焊缝内部质量评价特征。根据所采集的焊缝宽度、中心轨迹、焊缝纹理以及焊缝内部质量评价特征向量，构建焊缝质量评价综合特征向量。

本实施例所采用的焊机为nb-350hd气体保护焊机，其电流调节范围为40-350a、电压调节范围为14-40v，将本发明的焊缝在线智能检测装置的焊机参数输入输出接口模块与该电焊机远程管理系统接口连接，智能处理模块读取当前焊机的电压、电流值以及保护气体流量，并根据所获得的当前焊缝质量评价综合特征向量，通过板载深度神经网络模块进行焊机作业参数实时评价和优化，并将优化的焊机参数调整量通过本装置的焊机参数输入输出接口模块和电焊机远程管理系统接口进行焊机电流、电压和保护气体流量的反馈调节。

为了更进一步对焊缝质量的评价，通过无线数据传输模块将当前所获得焊缝红外和可见光视频信息、智能处理模块所获得焊缝质量评价特征值以及焊枪参数传输至服务器，服务器根据本装置所获得的焊缝红外和可见光视频和焊缝宽度、中心轨迹、焊缝纹理以及温度场分布规律，服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝形状、纹理和表面温度分布等焊接过程质量数据库。

在焊接工程结束后通过无线传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步，以提高智能处理模块的自学习能力和识别结果的准确性。

实施例2

本实施例提供了一种基于多源信息融合的焊缝智能在线检测装置，其结构如图3所示。在线检测装置与焊接头盔相连接。在焊接操作开始时，管理员通过系统进行焊接工程的初始化，并通过手动输入或者无线传输方式将焊接参数输入到焊接参数数据库中，并传输至服务器端。

本实施例中的红外线阵列传感器采用mag160core热成像芯片，可见光摄像头采用opt-c0620-2m，视频信息采集模块采用tms320dm6446视频处理模块，智能处理模块tir-tx2s300深度学习模块，搭载nvidiajetsontx2模块，视频信息采集模块与智能处理模块之间采用以太网接口连接，无线数据传输模块采用usr-c322wifi模块，与tir-tx2s300板载wifi接口连接。

在焊接过程中，焊接工人一般是直视焊枪，因此此过程中本装置的两个摄像头可以同时采集红外和可见光视频视频，视频信息采集模块对两个摄像头获取的视频流进行解码和信息提取。

根据所提取的焊缝红外图像，视频信息采集模块进行焊缝温度场数据提取，并同时记录当前温度场分布的时刻。同时根据所提取的焊缝可见光图像，进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像。

智能处理模块深度神经网络模块根据焊缝历史可见光图像对当前焊缝的焊缝宽度、中心轨迹、焊缝纹理等表面特征进行识别，并根据系统设定的双目摄像头标定数据进行红外图像和可见光图像的匹配，获得相应的焊缝余温分布图像以及相对应的焊缝内部质量评价特征。根据所采集的焊缝宽度、中心轨迹、焊缝纹理以及焊缝内部质量评价特征向量，构建焊缝质量评价综合特征向量。

智能处理模块根据所获得的焊缝质量评价综合特征向量和焊接参数，通过板载深度神经网络模块对当前焊接工人的作业质量和焊接参数进行评价，当出现焊缝质量时，及时通知工人进行焊接参数和作业过程的调整。

通过无线数据传输模块将当前所获得焊缝红外和可见光视频信息、智能处理模块所获得焊缝质量评价特征值以及焊枪参数传输至服务器，服务器根据本装置所获得的焊缝红外和可见光视频和焊缝宽度、中心轨迹、焊缝纹理以及温度场分布规律，服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝形状、纹理和表面温度分布等焊接过程质量数据库，对当前焊接工程进行整体评判，并对焊接工人作业效果进行评价。

在焊接工程结束后通过无线传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步，以提高智能处理模块的自学习能力和识别结果的准确性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。