一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法与流程

本发明属于视觉检测，具体为一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法。

背景技术：

1、随着汽车生产流程中涂胶工艺应用的增加，涂胶过程中的质量管控变得尤为重要。涂胶工艺在汽车生产过程中起到很多重要作用，例如防水防尘、焊接辅助、结构连接等。先前的涂胶质量主要依赖人工检查，但是由于涂胶工艺使用的范围越来越广，加之人工检查的准确性和效率有限，经常会有误判或漏判发生。因此，汽车生产流程中涂胶质量的自动化、智能化检测的水平越来越高。

2、针对汽车生产流程中涂胶质量的智能化、自动化检测，目前主流采用的是机器视觉方法，一种是胶枪带动视觉采集设备在涂胶过程中采集胶条图像同时利用视觉检测方法对所采图像进行分析从而实现在线涂胶质量检测，另外一种则是在涂胶结束后利用视觉采集设备整体拍摄所涂胶条同时利用视觉检测方法分析所采图像从而实现离线涂胶质量检测。在此过程中，对于胶条图像采用的视觉检测方法对于该自动化检测的准确性和稳定性起到至关重要的作用。目前主流的视觉检测方法大多是传统的图像分割方法或者是简单的机器学习方法，由于涂胶自动化检测较多情况下取得的图像因为光照、拍摄角度等因素会造成所采图像质量较差，主流的视觉检测方法有较高的概率产生误判，降低了自动化检测的准确性，从而影响汽车生产质量。

3、本申请提出一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法致力于解决上述问题。

技术实现思路

1、本发明的目的在于提供一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法，以解决上述背景技术中提出的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法，包括以下步骤：

3、s1、使用bisenetv2双边分割网络架构；

4、s2、基于bisenetv2双边分割网络架构并结合汽车涂胶检测图像实际应用设计调整网络参数，将通道数减少；

5、s3、分割网络输入输出层处理大图像时会按照训练尺度做相应的patch分割。

6、优选的，s3中分割网络输入输出层按照训练尺度对大图像作出相应的patch分割，其用于兼容任意大小的图像处理。

7、优选的，所述patch分割包括以下步骤，

8、s1.将大图像(h×w)在h方向分为ceil(h/512)份(hp)，每份之间的重叠区域为ceil((hp×512-h)/hp)像素；

9、s2.将大图像(h×w)在w方向分为ceil(w/1024)份(wp)，每份之间的重叠区域为ceil((wp×1024-w)/wp)像素；

10、s3.由于胶条在图像中位置相对固定，以上hp×wp份图像中选取其中含有胶条部分的n张图像(patch)进行标注训练，推理时也使用此n张图像所在位置之patch；

11、s4.推理后按照s1，s2所述逆向步骤进行拼接，还原最终在原大图像上的语义分割结果。

12、优选的，针对大图像的分割处理能够加载多个patch分割实现对大图像的并行处理。

13、优选的，所述bisenetv2双边分割网络汽车涂胶自动化视觉检测系统中对输入胶条图像的分割识别步骤如下，

14、s1.在现场部署好涂胶自动化检测设备并采集胶条图像，将图像输入到训练服务器当中待用；

15、s2.利用图像标注软件标注输入图像，形成标注样本集；

16、s3.由于输入图像和对应的标注样本一般数量较少，需要对进行样本增强，其中包括水平竖直翻转、随机裁剪、随机旋转和变形缩放；

17、s4.将经过图像增强后的输入图像和标注样本集合划分成训练集、测试集和验证集，输入本发明网络进行训练，收敛后得到网络模型；

18、s5.将网络模型输入到涂胶自动化检测设备的图像分析软件中；

19、s6.开启涂胶自动化检测设备，

20、若为在线涂胶自动化检测设备，则在涂胶过程中拍摄胶条图像并即时分析得到判别结果；

21、若为离线涂胶自动化检测设备，则在涂胶完成后一体拍摄胶条图像并即时分析得到判别结果；

22、s7.涂胶自动化检测设备在得到判别结果后，根据产线需求，通过工业通讯协议给到产品质量控制端。

23、本发明的有益效果如下：

24、1、本发明通过公开了一种针对汽车涂胶质量视觉检测的基于bisenetv2双边分割网络的视觉检测算法，该算法是一种针对汽车涂胶检测改进优化的深度分割网络，其实现首先是使用bisenetv2双边分割网络架构，使之在不降低准确率的情况下相对于传统的编码-解码网络架构(例：resnet50等)有着更快的推理速度；其次是根据汽车涂胶检测场景设计调整的网络参数，高效输出语义分割的结果图像。

25、2、本发明所实施的技术手段在汽车涂胶自动化视觉检测过程中表现出了较高的准确率，对于较差的胶条图像具有良好的识别效果；选用的bisenetv2双边分割网络架构有更快的运算推理速度，可以满足更加严苛的在线涂胶自动化视觉检测的检测节拍。

技术特征：

1.一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法，其特征在于：s3中分割网络输入输出层按照训练尺度对大图像作出相应的patch分割，其用于兼容任意大小的图像处理。

3.根据权利要求2所述的一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法，其特征在于：所述patch分割包括以下步骤，

4.根据权利要求3所述的一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法，其特征在于：针对大图像的分割处理能够加载多个patch分割实现对大图像的并行处理。

5.根据权利要求1-4任一条所述的一种基于bisenetv2双边分割网络的汽车涂胶视觉检测方法，其特征在于：所述bisenetv2双边分割网络汽车涂胶自动化视觉检测系统中对输入胶条图像的分割识别步骤如下，

技术总结
本发明属于视觉检测技术领域，且公开了一种基于Bi SeNetV2双边分割网络的汽车涂胶视觉检测方法，包括以下步骤：S1、使用Bi SeNetV2双边分割网络架构；S2、基于Bi SeNetV2双边分割网络架构并结合汽车涂胶检测图像实际应用设计调整网络参数，将通道数减少；S3、分割网络输入输出层处理大图像时会按照训练尺度做相应的Patch分割。本发明是一种针对汽车涂胶检测改进优化的深度分割网络，其实现首先是使用Bi SeNetV2双边分割网络架构，使之在不降低准确率的情况下相对于传统的编码‑解码网络架构(例：ResNet50等)有着更快的推理速度；其次是根据汽车涂胶检测场景设计调整的网络参数，高效输出语义分割的结果图像。

技术研发人员：邵卿,赵金戈,夏利明,卢兴中,陈红光
受保护的技术使用者：上海贝特威自动化科技有限公司
技术研发日：
技术公布日：2024/1/22