基于改进YOLOv5l的菲涅尔透镜缺陷检测方法与流程

本发明涉及到深度学习和数字图像处理领域，特别是指一种基于改进yolo v5l的菲涅尔透镜缺陷检测方法。

背景技术：

1、在菲涅尔透镜自动化生产过程中，对菲涅尔透镜进行缺陷检测是至关重要的一步，即将缺陷的类型(黑点、划痕、毛絮)以及缺陷的位置在透镜中识别出来；然而目前对菲涅尔透镜的缺陷检测还仅仅停留在人工检测阶段，检测效率有待提高。

2、由于菲涅尔透镜表面的缺陷种类繁多，且形状不规则，一定程度上增加了对菲涅尔透镜缺陷识别的难度。传统机器视觉技术通常利用图像处理的算法，例如灰度处理、二值化、形态学操作、滤波操作、连通区域提取等人为地对目标对象进行特征提取，再使用其他算法进行缺陷分类。这一技术并不是端到端的算法(这里所说的端到端是指将特征提取融入到整个算法当中，通过输入原始数据就能得到满意的输出，中间过程不需要处理)，不得不对每一个数据反复处理，调整合适的参数后分析其特征。使用传统的图像处理算法导致菲涅尔透镜缺陷的识别率较低，且处理速度较慢。

3、目标检测技术作为计算式视觉领域的一项基础技术，近些年来发展迅速，被广泛的用于各个领域。随着深度学习技术的发展，基于深度学习的目标检测技术诞生了一系列的方法，代表性的包括基于单阶段的目标检测技术：yolo、ssd、retinanet；基于双阶段的目标检测技术：rcnn、fastrcnn、fasterrcnn、cascade rcnn等。

4、菲涅尔透镜是由注塑机生产并通过激光切割机将其从亚克力板中切割形成的一面光滑一面粗糙的刻有同心螺纹的一种透镜，普通相机搭配光源拍摄会产生强烈的光晕现象，成像效果不佳，无法制作高质量的菲涅尔透镜数据集将直接导致缺陷检测的效果。

技术实现思路

1、针对以上提出的问题，本发明提出了一种基于改进yolo v5l的菲涅尔透镜缺陷检测方法，用于检测覆盖在菲涅尔透镜表面的各种缺陷，实现菲涅尔透镜的成品检测。

2、基于改进的yolo v5l的菲涅尔透镜缺陷检测方法，包括如下步骤：

3、步骤一：搭建菲涅尔透镜图像采集系统；选用工业相机和背光源对生产加工后的菲涅尔透镜进行拍摄，创建菲涅尔透镜样本集；

4、步骤二：图像预处理操作；将步骤一中获得的菲涅尔透镜样本集的图像通过旋转、裁剪、滤波的操作增加图像数量，从而扩充数据集；

5、步骤三：数据集制作；将步骤二获取的图像按照7:2:1划分为训练集、验证集和测试集，然后使用标注工具对训练集中的图像进行打标，得到四种菲涅尔透镜缺陷标签，其中，标签包括blackspot、scratch、wool、normal；

6、步骤四：训练集图像分类；根据步骤三中四种菲涅尔透镜缺陷标签类型对训练集中的数据进行统计，并筛选出normal标签对应的图像；

7、步骤五：训练集部分图像增强；使用自适应直方图均衡方法对步骤四中筛选出的normal标签对应的图像进行处理，得到增强后的训练集；

8、步骤六：搭建改进的yolo v5l模型结构；添加注意力机制到yolo v5l模型结构的主干网络中，yolo v5l模型结构包括input模块、backbone模块、neck模块和prediction模块；

9、步骤七：改进的yolo v5l模型结构的训练；将步骤五中增强后的训练集、验证集和测试集分别输入改进的yolo v5l模型结构中进行训练、验证和测试，得到菲涅尔透镜缺陷检测模型；

10、步骤八：测试输出结果；将待检测的图像输入菲涅尔透镜缺陷检测检测模型，输出相应的菲涅尔透镜缺陷检测结果。

11、优选的，所述black spot标签表示菲涅尔透镜表面的黑点，scratch标签为透镜表面划痕，wool标签表示透镜表面的毛絮，normal标签表示无缺陷、质量过关的菲涅尔透镜。

12、优选的，使用自适应直方图均衡方法对筛选出的图像进行处理的步骤为：

13、s1.将步骤四中筛选出的normal标签对应的图像输入并划分为大小为n*n的图像块；

14、s2.得到s1中每一个图像块的灰度级，并计算图像块内的直方图概率；

15、s3.计算s2中图像块内直方图概率的累加值；

16、s4.根据下述映射方式实现自适应直方图均衡：

17、

18、其中r代表原始图像中像素的灰度级，s表示经直方图均衡化后像素的灰度级，取值均为[0，1](经过归一化后的图像像素)，sk和rk代表离散灰度值，n表示图像像素总数，t表示直方图均衡化的变换函数。

19、优选的，所述input模块的结构为输入层—focus单元—cbs_i；

20、所述backbone模块结构为cbs_ii—csp1_3_i—cbs_iii—csp1_3_ii—cbs_iv—csp1_3_iii—cbs_v—csp1_3_iv—cbs_vi—spp—csp1_3_v—ecanet；

21、所述neck模块的结构为conv_i—上采样层i—concat_i—csp1_3_vi—conv_ii—上采样层ii—concat_ii—csp1_3_vii—下采样层i—concat_iii—csp1_3_viii—下采样层ii—concat_iv—csp1_3_ⅸ，且conv_i的输出与concat_iv的输入相连，conv_ii的输出与concat_iii的输入相连；

22、所述prediction模块包括prediction_i、prediction_ii和prediction_iii；

23、所述input模块中的cbs_i的输出与所述backbone模块中的cbs_ii的输入相连；所述backbone模块中的senet的输出分别与所述neck模块中的conv_i、concat_iv的输入相连，csp1_3_ii的输出与concat_ii的输入相连，csp1_3_iii的输出与concat_i的输入相连；所述neck模块中的csp1_3_vii的输出与prediction模块中的prediction_i的输入相连，csp1_3_viii的输出与prediction_ii的输入相连，csp1_3_ⅸ的输出与prediction_iii的输入相连。

24、优选的，所述focus单元包括slice_i、slice_ii、slice_iii、slice_iv和concat_v，slice_i、slice_ii、slice_iii、slice_iv的输入均与输入层相连，slice_i、slice_ii、slice_iii、slice_iv的输出均与concat_v的输入相连，concat_v的输出与input模块的cbs_i的输入相连；其中，cbs_i的结构为卷积层-bn层-silu激活函数。

25、优选的，所述csp1_3_i、csp1_3_ii、csp1_3_iii、csp1_3_iv、csp1_3_v、csp1_3_vi、csp1_3_vii、csp1_3_viii和csp1_3_ix的结构均包括cbs_vii、cbs_viii、se-resnet组件i、se-resnet组件ii、se-resnet组件iii、concat_vi、cbs_ix；cbs_vii的输出均与se-resnet组件i、se-resnet组件ii、se-resnet组件iii的输入相连，se-resnet组件i、se-resnet组件ii、se-resnet组件iii的输出、cbs_viii的输出均与concat_vi的输入相连，concat_vi的输出与cbs_ix的输入相连；其中，se-resnet组件i、se-resnet组件ii、se-resnet组件iii是将senet压缩激励网络与resnet残差网络的组合，cbs_vii、cbs_viii、cbs_ix、cbs_x、cbs_xi的结构均为卷积层-bn层-silu激活函数。

26、优选的，所述spp的结构包括cbs_xii、maxpool_i、maxpool_ii、maxpool_iii、concat_vii、cbs_xiii；cbs_xii的输出分别与maxpool_i、maxpool_ii、maxpool_iii、concat_vii的输入相连，maxpool_i、maxpool_ii、maxpool_iii的输出均与concat_vii的输入相连，concat_vii的输出与cbs_xiii的输入相连；其中，cbs_xii、cbs_xiii的结构均为卷积层-bn层-silu激活函数。

27、优选的，所述ecanet指一种不降维的局部跨信道交互策略，其原理如下：

28、使用一个波段矩阵wk来学习通道注意力：

29、

30、ω＝σ(c1dk(y))

31、其中，c1dk表示大小为k的一维卷积，其中核大小k表示局部跨通道交互的覆盖范围，即有多少领域参与了一个通道的注意预测；eca模块使用不降维的gap聚合卷积特征后，首先自适应确定核大小k，然后进行一维卷积，再进行sigmoid函数学习通道上的注意力。

32、与现有技术相比，本发明的有益效果是：

33、本发明的优势在于，相比于传统目标识别，该发明采用端到端的设计，对生产线中拍摄得到的菲涅尔透镜图像进行特征提取，采用改进的yolov5l算法，在保证准确性的同时，又实现了轻量化，降低特征在传递过程中的损失，即节省了人力，又能提高识别速度，满足对菲涅尔透镜缺陷检测准确度的要求。