一种基于激光与可见光融合的视觉模块的工业机器人系统的制作方法

本发明涉及一种工业机器人系统，尤其涉及一种基于激光与可见光融合的视觉模块的工业机器人系统。

背景技术：

我国已经成为世界上最大的焊接设备生产国和出口国。目前，我国电焊机行业中企业的经济类型主要为民营企业、股份制企业、中外合资企业及外商独资企业。企业总数大约为700家左右。从应用行业分布来看，2019年中国焊接机器人应用于汽车行业占比37.15％，其中有60％以上的机器人集中在汽车整车焊装车间；其次是3c电子行业，占比接近12％；其他行业的应用占比超过50％。电焊机产业同质化发展，各个企业在产品构成、市场取向方面过于集中导致了价格的恶性竞争，损害了电焊机行业的整体利益，电焊机厂家数量多但普遍规模偏小，产品链不完善，与国外优势企业缺乏强有力的竞争能力。电焊机企业大都缺乏核心技术，大量企业片面追求扩张规模，采用粗犷式生产方式提高产量以求大的市场占有率，大都难以筹措大量资金进行高端产品的研制开发，产品的拷贝抄袭现象严重，新材料、新工艺、新装备的发展，对于焊接技术的发展既是推动亦是倒逼，帮助企业提高生产线上工业机器人的柔性和智能水平，使企业轻松实现优化生产效率、提高生产质量，达到工业生产的数字化、网络化与智能化，针对高质轻量化材料的机器人智能焊接解决方案将会未来的方向之一；本申请进行激光-可见光融合技术的视觉模块开发，并将该技术实现在焊接机器人领域的应用，提供一种轻质合金材料焊接用工业机器人，通过工业焊接机器人的应用帮助汽车、航空、轨道交通行业中的相关企业提高金属合金材料的焊接精度、焊接速度和质量水平，实现焊接过程的智能制造和柔性生产，国内的自动化焊接系统普遍处于继电器开关量编组控制的水平，各个自动化焊接部件信息量的传递十分有限，难以实现复杂的焊接工艺协调控制。目前工业机器人的应用领域已经扩展到工程制造等各个行业，如喷漆、打磨、焊接、组装、搬运等工作。所有这些应用都会碰到一个问题，就是如何让机器人在工作过程中行进路线是最优的。无论是手动编程确定工作点后还是手动示教后，如果机器人对这些点进行自动连接并规划出一条最优路线，无疑将大大提高工序时间并节省能源消耗。早期的路径规划研究主要集中在静态环境中，方法有栅格解耦法、拓扑法和可视图法等。

技术实现要素：

本发明克服了现有技术的不足，提供一种基于激光与可见光融合的视觉模块的工业机器人系统。

为达到上述目的，本发明采用的技术方案为：一种基于激光与可见光融合的视觉模块的工业机器人系统，包括：通过激光传感器对工件进行多点扫描，识别工件外形及方位；

采集焊缝图像信息，提取图像特征，根据图像特征识别算法，建立焊缝跟踪视觉模型；

根据焊缝跟踪视觉模型确定曲线焊缝的轨迹，然后对应映射出轨迹的像素点；

机器人沿着轨迹行走，并采集焊缝实时轨迹，

将焊缝实时轨迹与预设轨迹进行比较，得到偏差率；

判断所述偏差率是否大于预设偏差率阈值；

若大于，则生成偏差补偿信息，根据偏差补偿信息对焊接路径及焊接参数进行调整。

在本发明的一个较佳实施例中，所述激光传感器的扫描方式根据工件品种进行设定。

在本发明的一个较佳实施例中，工业机器人系统包括51单片机、zlds200激光传感器、3cpu4微程序控制器、交流伺服电机、焊接机器人、图像识别融合传感器、可见光图像收集装置、可见光图像融合装置以及可见光图像显示屏。

在本发明的一个较佳实施例中，所述51单片机用于控制可见光图像收集装置进行图像参数、特征采集，进行显著性融合后对比筛选，选出最佳图像输入可见光图像显示屏中，将图像识别进行像素级、特征极、决策级融合焊接机器人，操作焊接机器人完成焊接跟踪。

在本发明的一个较佳实施例中，还包括焊缝跟踪模块，所述焊缝跟踪模块采用正逆向算法及轨迹规划算法，将焊接电流、电压、摆弧、熔滴过渡等焊接工艺参数同焊接机器人空间轨迹规划有机地统一结合，通过离线编程实现空间轨迹和工艺参数的联合规划。

在本发明的一个较佳实施例中，还包括焊缝质量检测模块，所述焊缝质量检测模块用于监测焊接参数，所述焊接参数包括强弧光辐射信息、高温信息、烟尘信息、飞溅信息、坡口状况信息、加工误差信息、夹具装夹精度信息、表面状态信息和工件热变形信息中的一种或两种以上的组合。

在本发明的一个较佳实施例中，还包括激光-可见光融合视觉扫描模块，所述激光-可见光融合视觉扫描模块通过数字图像处理技术进行待焊工件焊缝特征角点识别及焊缝信息三维重构。

在本发明的一个较佳实施例中，还包括执行模块与通讯模块，所述执行模块用于控制工业机器人动作，当工业机器人为多个时，当给定多机器人系统某项任务时，所述执行模块与通讯模块配合组织多个机器人去完成任务，将总体任务分配给各个工业机器人，进行多工业机器人配合联动。

在本发明的一个较佳实施例中，还包括信息反馈模块，所述信息反馈模块用于将焊接工件加工、装配误差，焊缝间隙、错边等尺寸分散性、焊接过程的热变形和夹具不稳定性因素反馈至工业机器人。

本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：

(1)焊接顺序：能针对非预期工况变化(变形、错边、间隙等)自适应动态调整焊接顺序，焊接初始焊位识别，不受环境变化影响，可靠性强，焊接动态过程调整响应快、效果好，焊缝通过视觉跟踪不受弧光干扰，能对视觉死角和盲区实现精确跟踪。

(2)焊缝多层多道规划对焊接坡口适应性强，能够自适应规划焊道及调整工艺参数，焊接缺陷预防，拥有主动抑制和预防焊接缺陷产生的手段，焊接质量一致性，拥有可靠在线表征的传感手段，焊接过程中环境、条件的变化是不可避免的，焊接工件加工、装配误差，焊缝间隙、错边等尺寸分散性、焊接过程的热变形和夹具不稳定性等因素均会引起焊接质量的波动，并导致焊接缺陷的产生。如何克服焊接过程中各种不确定性因素对精密焊接质量的影响，迫切需要我们项目主导的具有信息反馈、智能控制等技术的智能化焊接机器人，从而实现焊接智造。

(3)机器人采用正逆向算法及轨迹规划算法，将焊接电流、电压、摆弧、熔滴过渡等焊接工艺参数同焊接机器人空间轨迹规划有机地统一结合起来，通过离线编程实现空间轨迹和工艺参数的联合规划，提高焊接效率，改善焊接质量，可实现工件外形一致性及工件定位工装均无精度要求的焊缝自动跟踪焊接。

(4)焊接机器人施焊过程中，由于焊接环境各种因素的影响，如：强弧光辐射、高温、烟尘、飞溅、坡口状况、加工误差、夹具装夹精度、表面状态和工件热变形等，实际焊接条件的变化往往会导致焊炬偏离焊缝，从而造成焊接质量下降甚至失败。项目团队根据焊接条件的变化要求弧焊机器人能够实时检测出焊缝偏差，并调整焊接路径和焊接参数，保证焊接质量的可靠性。

(5)通过具有高鲁棒性和高运行效率的焊缝图像特征识别算法，能够快速并且准确的为机器人提供路径规划和偏差补偿，有效的提高机器人焊接的质量和速度；使图像识别系统在出现错误、磁盘故障、网络过载或有意攻击情况下，不死机、不崩溃，同时该方法能利用较小的计算机内存，提高图像的处理速度，能达到高精度焊缝跟踪的要求。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1示出了本发明一种基于激光与可见光融合的视觉模块的工业机器人系统图；

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本发明第一方面提供了一种基于激光与可见光融合的视觉模块的工业机器人系统，包括：通过激光传感器对工件进行多点扫描，识别工件外形及方位；

采集焊缝图像信息，提取图像特征，根据图像特征识别算法，建立焊缝跟踪视觉模型；

根据焊缝跟踪视觉模型确定曲线焊缝的轨迹，然后对应映射出轨迹的像素点；

机器人沿着轨迹行走，并采集焊缝实时轨迹，

将焊缝实时轨迹与预设轨迹进行比较，得到偏差率；

判断偏差率是否大于预设偏差率阈值；

若大于，则生成偏差补偿信息，根据偏差补偿信息对焊接路径及焊接参数进行调整。

需要说明的是，本申请具有高鲁棒性的焊缝图像特征识别方法，设计了基于视觉的焊接机器人图像特征识别算法，并建立了相应的焊缝跟踪视觉模型，通过机器人示教确定曲线焊缝的轨迹，然后对应映射出轨迹的像素点，机器人沿着轨迹行走，当发现焊缝偏差时，通过视觉伺服控制进行焊缝偏差补偿。通过具有高鲁棒性和高运行效率的焊缝图像特征识别算法，能够快速并且准确的为机器人提供路径规划和偏差补偿，有效的提高机器人焊接的质量和速度；使图像识别系统在出现错误、磁盘故障、网络过载或有意攻击情况下，不死机、不崩溃，同时该方法能利用较小的计算机内存，提高图像的处理速度，能达到高精度焊缝跟踪的要求。

根据本发明实施例，激光传感器的扫描方式根据工件品种进行设定。

根据本发明实施例，工业机器人系统包括51单片机、zlds200激光传感器、3cpu4微程序控制器、交流伺服电机、焊接机器人、图像识别融合传感器、可见光图像收集装置、可见光图像融合装置以及可见光图像显示屏。

根据本发明实施例，51单片机用于控制可见光图像收集装置进行图像参数、特征采集，进行显著性融合后对比筛选，选出最佳图像输入可见光图像显示屏中，将图像识别进行像素级、特征极、决策级融合焊接机器人，操作焊接机器人完成焊接跟踪。

根据本发明实施例，还包括焊缝跟踪模块，焊缝跟踪模块采用正逆向算法及轨迹规划算法，将焊接电流、电压、摆弧、熔滴过渡等焊接工艺参数同焊接机器人空间轨迹规划有机地统一结合，通过离线编程实现空间轨迹和工艺参数的联合规划。

根据本发明实施例，还包括焊缝质量检测模块，焊缝质量检测模块用于监测焊接参数，焊接参数包括强弧光辐射信息、高温信息、烟尘信息、飞溅信息、坡口状况信息、加工误差信息、夹具装夹精度信息、表面状态信息和工件热变形信息中的一种或两种以上的组合。

根据本发明实施例，还包括激光-可见光融合视觉扫描模块，激光-可见光融合视觉扫描模块通过数字图像处理技术进行待焊工件焊缝特征角点识别及焊缝信息三维重构。

根据本发明实施例，还包括执行模块与通讯模块，执行模块用于控制工业机器人动作，当工业机器人为多个时，当给定多机器人系统某项任务时，执行模块与通讯模块配合组织多个机器人去完成任务，将总体任务分配给各个工业机器人，进行多工业机器人配合联动。

根据本发明实施例，还包括信息反馈模块，信息反馈模块用于将焊接工件加工、装配误差，焊缝间隙、错边等尺寸分散性、焊接过程的热变形和夹具不稳定性因素反馈至工业机器人。

焊接顺序能针对非预期工况变化(变形、错边、间隙等)自适应动态调整焊接顺序，焊接初始焊位识别，不受环境变化影响，可靠性强，焊接动态过程调整响应快、效果好，焊缝通过视觉跟踪不受弧光干扰，能对视觉死角和盲区实现精确跟踪。

焊缝多层多道规划对焊接坡口适应性强，能够自适应规划焊道及调整工艺参数，焊接缺陷预防，拥有主动抑制和预防焊接缺陷产生的手段，焊接质量一致性，拥有可靠在线表征的传感手段，焊接过程中环境、条件的变化是不可避免的，焊接工件加工、装配误差，焊缝间隙、错边等尺寸分散性、焊接过程的热变形和夹具不稳定性等因素均会引起焊接质量的波动，并导致焊接缺陷的产生。如何克服焊接过程中各种不确定性因素对精密焊接质量的影响，迫切需要我们项目主导的具有信息反馈、智能控制等技术的智能化焊接机器人，从而实现焊接智造。

机器人采用正逆向算法及轨迹规划算法，将焊接电流、电压、摆弧、熔滴过渡等焊接工艺参数同焊接机器人空间轨迹规划有机地统一结合起来，通过离线编程实现空间轨迹和工艺参数的联合规划，提高焊接效率，改善焊接质量，可实现工件外形一致性及工件定位工装均无精度要求的焊缝自动跟踪焊接。

焊接机器人施焊过程中，由于焊接环境各种因素的影响，如：强弧光辐射、高温、烟尘、飞溅、坡口状况、加工误差、夹具装夹精度、表面状态和工件热变形等，实际焊接条件的变化往往会导致焊炬偏离焊缝，从而造成焊接质量下降甚至失败。项目团队根据焊接条件的变化要求弧焊机器人能够实时检测出焊缝偏差，并调整焊接路径和焊接参数，保证焊接质量的可靠性。

本申请通过机器人与机器视觉集成技术实现多机器人进行联动配合，多机器人系统是指为完成某一任务由若干个机器人通过合作与协调组合成一体的系统。项目团队利用智能体技术实现多机器人合作与多机器人协调控制，确保了在一定的网络环境中，各个分散的、相对独立的智能子系统之间通过合作，共同完成一个或多个控制作业任务，技术能够实现：当给定多机器人系统某项任务时，可组织多个机器人去完成任务，将总体任务分配给各个成员机器人，即机器人之间进行有效地合作。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。