多视角成像系统及轻量化多尺度特征融合缺陷检测方法

本发明涉及工业缺陷检测，特别是涉及多视角成像系统及轻量化多尺度特征融合缺陷检测方法。

背景技术：

1、工业缺陷检测方法主要包括两种类型：人工检测和光学检测。人工检测方法存在许多缺点。检测过程效率低，对于一些微小的、弱的、难以察觉的缺陷，人眼可能无法准确地识别，导致缺陷被忽略。由于上述缺点，工业缺陷检测逐渐转向自动化和半自动化的检测方法，如机器视觉、传感器技术等，以提高检测效率和准确性。

2、自动光学检测技术是一种基于光学原理和机器视觉技术的检测方法，核心是利用光学成像技术来捕获物体的图像，然后使用计算机来处理、分析和识别这些图像，以实现自动检测。由于传统的成像系统、检测算法和计算能力的限制，目前的自动光学检测方法经常遇到360度图像采集差、检测精度低和检测速度慢等限制的问题。因此，开发一种轻量级具有计算量小、检测速度快、精度高的目标检测算法对于工业缺陷检测具有重要的意义。

技术实现思路

1、本发明的目的是针对传统工业视觉系统只能拍摄一个角度的图像，并且先有微小缺陷检测算法存在着检测精度低和鲁棒性差等问题，提供多视角成像系统及轻量化多尺度特征融合缺陷检测方法，该多视角成像系统结构简单，能对被检测物体进行多方位成像，结合了轻量化多尺度特征融合缺陷检测算法，提高了检测精度和速度，有望在工业缺陷检测领域得到广泛应用。

2、为实现上述目的，本发明提供了如下方案：

3、多视角成像系统，包括：成像单元、照明装置、垂直支撑杆和传送带，每个成像单元配置一个照明装置，且所述成像单元和所述照明装置设置在所述垂直支撑杆上，所述垂直支撑杆按矩形顶点排布，形成中间矩形区域，所述传送带设置在所述矩形区域内，用于放置待检测目标。

4、为进一步实现上述目的，本发明还提供了轻量化多尺度特征融合缺陷检测方法，包括：

5、采集待检测目标的图像，其中，所述待检测目标的图像通过所述多视角成像系统获得；

6、将所述图像输入预设的检测模型中，输出所述待检测目标的缺陷检测结果，其中，所述检测模型基于训练集训练获得，所述训练集包括包含缺陷的图像和标识该缺陷的标签，所述检测模型采用特征提取网络和轻量化多尺度特征融合网络构建。

7、可选地，所述检测模型包括：骨干特征提取网络、颈部特征提取网络、特征检测头，所述骨干特征提取网络用于对所述图像进行特征提取以及特征融合，获取第一特征图；所述颈部特征提取网络用于对所述第一特征图进行特征提取以及特征融合，获取第二特征图；所述特征检测头用于对所述第二特征图进行检测，获取缺陷检测结果。

8、可选地，所述骨干特征提取网络包括：卷积层、c2f层、轻量融合模块、高等级轻量融合模块和sppf层；所述图像输入所述骨干特征提取网络中，经过所述卷积层和c2f层，获取特征图b1、特征图b2；所述特征图b1、特征图b2经过所述轻量融合模块、卷积层和c2f层，获取特征图b3；所述特征图b1、特征图b2、特征图b3经过所述高等级轻量融合模块、卷积层、c2f层和sppf层，获取特征图b4。

9、可选地，所述颈部特征提取网络包括：上采样层、拼接层、卷积层、c2f层、轻量融合模块和高等级轻量融合模块，所述特征图b4输入所述颈部特征提取网络中，经过所述上采样层、拼接层和c2f层，获取特征图d1；所述特征图d1经过所述卷积层、拼接层和c2f层，获取特征图d2；所述特征图d1、特征图d2经过所述轻量融合模块、卷积层、拼接层和c2f层，获取特征图d3；所述特征图d1、特征图d2、特征图d3经过所述高等级轻量融合模块、卷积层、拼接层和c2f层，获取特征图d4。

10、可选地，所述轻量融合模块包括：第一分支和第二分支，所述第一分支和第二分支分别经过卷积、归一化、下采样操作后，获取所述第一分支和第二分支的特征信息，将所述第一分支和第二分支的特征信息经过sigmoid激活函数处理并相加后，再引入三元组注意力机制，进一步提取所述第一分支和第二分支的融合特征信息。

11、可选地，所述高等级轻量融合模块包括：第三分支、第四分支和第五分支，所述第三分支和第四分支分别经过下采样和卷积操作，获取所述第三分支和第四分支的特征信息，将所述第三分支和第四分支的特征信息与所述第五分支经过sigmoid激活函数处理并相加后，再引入三元组注意力机制，进一步提取所述第三分支、第四分支和第五分支的融合特征信息。

12、可选地，所述三元组注意力机制包括：三个相同的第六分支，三个相同的所述第六分支分别进行z-池化、卷积和所述sigmoid激活函数操作，获取三个相同的所述第六分支的输出，并将所述输出进行取平均，获取所述三元组注意力机制的输出。

13、可选地，所述特征检测头用于对所述第二特征图进行检测包括：

14、所述特征检测头分别对所述特征图d1、特征图d2、特征图d3、特征图d4进行检测，输出预测框和类别概率，所述预测框由坐标值表示，所述类别概率通过将所述坐标值映射到0-1范围内获得。

15、可选地，获取所述缺陷检测结果包括：

16、根据所述特征检测头是否输出所述预测框判断所述待检测目标是否存在缺陷，若输出所述预测框，则代表所述待检测目标存在缺陷；若未输出所述预测框，则代表所述待检测目标不存在缺陷。

17、本发明的有益效果为：

18、本发明构建了多视角成像系统，提出了两种轻量化的多尺度特征融合模块，在计算量很小的前提下，有效的联系的上下文的特征信息，有选择性的进行特征选择，增大了检测感兴趣区域的权重，降低了不感兴趣区域的权重，不仅提高了检测的精度和鲁棒性，而且不影响检测速度。该方法具有轻量化、速度快、精度高的优势，在工业的缺陷检测领域中具有广泛的应用前景。

技术特征：

1.多视角成像系统，其特征在于，包括：成像单元、照明装置、垂直支撑杆和传送带，每个成像单元配置一个照明装置，且所述成像单元和所述照明装置设置在所述垂直支撑杆上，所述垂直支撑杆按矩形顶点排布，形成中间矩形区域，所述传送带设置在所述矩形区域内，用于放置待检测目标。

2.轻量化多尺度特征融合缺陷检测方法，其特征在于，包括：

3.根据权利要求2所述的轻量化多尺度特征融合缺陷检测方法，其特征在于，所述检测模型包括：骨干特征提取网络、颈部特征提取网络、特征检测头，所述骨干特征提取网络用于对所述图像进行特征提取以及特征融合，获取第一特征图；所述颈部特征提取网络用于对所述第一特征图进行特征提取以及特征融合，获取第二特征图；所述特征检测头用于对所述第二特征图进行检测，获取缺陷检测结果。

4.根据权利要求3所述的轻量化多尺度特征融合缺陷检测方法，其特征在于，所述骨干特征提取网络包括：卷积层、c2f层、轻量融合模块、高等级轻量融合模块和sppf层；所述图像输入所述骨干特征提取网络中，经过所述卷积层和c2f层，获取特征图b1、特征图b2；所述特征图b1、特征图b2经过所述轻量融合模块、卷积层和c2f层，获取特征图b3；所述特征图b1、特征图b2、特征图b3经过所述高等级轻量融合模块、卷积层、c2f层和sppf层，获取特征图b4。

5.根据权利要求4所述的轻量化多尺度特征融合缺陷检测方法，其特征在于，所述颈部特征提取网络包括：上采样层、拼接层、卷积层、c2f层、轻量融合模块和高等级轻量融合模块，所述特征图b4输入所述颈部特征提取网络中，经过所述上采样层、拼接层和c2f层，获取特征图d1；所述特征图d1经过所述卷积层、拼接层和c2f层，获取特征图d2；所述特征图d1、特征图d2经过所述轻量融合模块、卷积层、拼接层和c2f层，获取特征图d3；所述特征图d1、特征图d2、特征图d3经过所述高等级轻量融合模块、卷积层、拼接层和c2f层，获取特征图d4。

6.根据权利要求5所述的轻量化多尺度特征融合缺陷检测方法，其特征在于，所述轻量融合模块包括：第一分支和第二分支，所述第一分支和第二分支分别经过卷积、归一化、下采样操作后，获取所述第一分支和第二分支的特征信息，将所述第一分支和第二分支的特征信息经过sigmoid激活函数处理并相加后，再引入三元组注意力机制，进一步提取所述第一分支和第二分支的融合特征信息。

7.根据权利要求5所述的量化多尺度特征融合缺陷检测方法，其特征在于，所述高等级轻量融合模块包括：第三分支、第四分支和第五分支，所述第三分支和第四分支分别经过下采样和卷积操作，获取所述第三分支和第四分支的特征信息，将所述第三分支和第四分支的特征信息与所述第五分支经过sigmoid激活函数处理并相加后，再引入三元组注意力机制，进一步提取所述第三分支、第四分支和第五分支的融合特征信息。

8.根据权利要求7所述的轻量化多尺度特征融合缺陷检测方法，其特征在于，所述三元组注意力机制包括：三个相同的第六分支，三个相同的所述第六分支分别进行z-池化、卷积和所述sigmoid激活函数操作，获取三个相同的所述第六分支的输出，并将所述输出进行取平均，获取所述三元组注意力机制的输出。

9.根据权利要求5所述的轻量化多尺度特征融合缺陷检测方法，其特征在于，所述特征检测头用于对所述第二特征图进行检测包括：

10.权利要求9所述的轻量化多尺度特征融合缺陷检测方法，其特征在于，获取所述缺陷检测结果包括：

技术总结
本发明涉及多视角成像系统及轻量化多尺度特征融合缺陷检测方法，检测方法包括：采集待检测目标的图像，其中，所述待检测目标的图像通过所构建的多视角成像系统获得；将所述图像输入预设的检测模型中，输出所述待检测目标的缺陷检测结果，其中，所述检测模型基于训练集训练获得，所述训练集包括包含缺陷的图像和标识该缺陷的标签，所述检测模型采用特征提取网络和轻量化多尺度特征融合网络构建。本发明所提出的缺陷检测方法具有轻量化、速度快、精度高的优势。

技术研发人员：吴衡,曾令湘,罗劭娟,陈梅云
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/3/27