一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法与流程

本发明涉及深度学习和数字图像处理，具体涉及一种基于deformable-dab-detr的高透光菲涅尔透镜实时检测方法。

背景技术：

1、本发明背景技术中公开的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。

2、高透光菲涅尔透镜在太阳能发电、投影仪、显示器和安防等领域广泛应用。目前在菲涅尔透镜自动化生产过程中，对菲涅尔透镜进行实时检测就显得尤为重要，即能够快速精准地在高透光菲涅尔透镜图像中框选出缺陷的具体位置（如黑点、毛絮、划痕等）并对其进行分类。然而目前对高透光菲涅尔透镜缺陷小目标的检测效率低，不够精准，影响了菲涅尔透镜的产能。

3、由于菲涅尔透镜是由注塑机生产并通过激光切割机将其从亚克力板中切割形成的一面光滑一面粗糙的刻有同心螺纹的一种透镜，本身具有反光的特性，且形状不规则，因此不易拍摄出高质量的菲涅尔透镜图像，这对菲涅尔透镜数据集的制作造成了不小的麻烦；并且透镜表面的缺陷均为小目标，因此需要稳定且强大的目标检测算法，使用传统的图像处理算法并人工提取图像特征已无法满足对高透光菲涅尔透镜实时检测的要求。

4、随着深度学习技术的发展以及大网络模型的应用，目标检测技术诞生了一系列的方法，代表性的包括基于单阶段的目标检测技术：yolo、ssd、retinanet；基于双阶段的目标检测技术：rcnn、fast rcnn、faster rcnn、cascade rcnn等。然而无论是单阶段还是双阶段，这些目标检测技术都需要人工制定anchor先验框和nms（非极大值抑制技术）对预测框进行筛选，因此不能算作是端到端的目标检测算法。

5、近期随着detr算法的提出，将transformer架构应用于视觉领域成为一种新的尝试，该方法不需要nms等后处理技术，依靠transformer中的编码器和解码器对特征提取后的图像进行特征增强与学习，训练出较好的网络模型用于实际检测中。然而目前的detr算法还不够成熟，计算复杂度高，收敛速度缓慢，依旧无法部署在实时的目标检测应用中。

技术实现思路

1、针对以上提出的问题，本发明结合dab-detr（dynamic anchor boxes）与可变形的多头注意力机制提出了基于deformable-dab-detr的高透光菲涅尔透镜实时检测方法，用于检测覆盖在高透光菲涅尔透镜表面的各种缺陷，实现实时的菲涅尔透镜的目标检测。

2、为了达到以上目的，本发明采取以下技术方案：

3、一种基于deformable-dab-detr的高透光菲涅尔透镜实时检测方法，包括以下步骤：

4、s1：制作高透光菲涅尔透镜数据集，选用适配的工业相机在背光环境下进行拍摄，并对拍摄的图像进行图像增强处理；

5、s2：图像特征提取：采用resnet50-v2作为主干网络对预处理后的图像进行多尺度特征提取，选取不同尺度特征序列输入至网络的编码器中；

6、s3：图像特征增强：编码器在2-stage模式下对特征序列做特征增强处理，通过正余弦位置编码并利用权重矩阵生成增强后的特征序列，将输出结果输入到解码器中；

7、s4：图像特征学习：通过可变形的自注意力机制与交叉注意力机制，在每层输出包括将宽和高加入到位置先验中的四维预测框的偏移量，并矫正其位置与大小；

8、s5：图像特征匹配：采用匈牙利匹配算法进行二分匹配得到高透光菲涅尔透镜训练模型，根据获得的训练模型对待检测的高透光菲涅尔透镜进行测试。

9、进一步的，在步骤s1中，使用包括翻转、裁切、抖动的几何变换和包括高斯噪声、直方图均衡化的像素变换方式对拍摄的图像进行图像增强处理。

10、进一步的，在步骤s2中，图像数据的所述预处理具体包括以下步骤：

11、采用包括缩放、平移、旋转额几何变换方法以及加入包括高斯噪声、直方图均衡化的像素变换方法对小样本进行扩充操作；

12、引用yolo v5中的mosaic数据增强对高透光菲涅尔透镜数据集做进一步增强，提高模型的泛化能力。

13、进一步的，在步骤s2中，所述多尺度特征图提取包括以下步骤：

14、由主干网络resnet50-v2选取适用于高分辨率图像的第c3、c4和c5层的特征图；

15、将s23中选取的特征图输入至transformer模型的编码器中；其中，所述transformer模型的编码器包括若干个层，每一层均由多头自注意力模块和前馈网络模块组成，每层均会进行残差连接和归一化。

16、进一步的，在步骤s3中，所述特征增强处理的具体步骤包括：

17、将输入的特征图使用的卷积将其压缩至  ，得到新的特征图，然后将压缩后的特征图展平得到特征序列；

18、对位置信息进行正余弦位置编码，公式如下所示：

19、；

20、其中为温度参数，设定值为20（nlp中一般设为1000，cv中设定为20效果更好），下标 和表示编码向量中的指标；

21、将与pe相加，获得特征序列，再通过三个权重矩阵、和分别转化为query向量、key向量和value向量，点积query向量和key向量得到权重矩阵，权重矩阵乘以value向量得到多头注意力输出向量，特征序列表示为：

22、；

23、其中，为注意力头的长度，为归一化指数函数；

24、所述前馈网络模块包含两个线性层、一个非线性激活函数和一个解决过拟合的dropout，其中dropout在每个训练批次中，通过忽略一半隐层节点从而减少网络参数，具体计算过程为：

25、；

26、其中，和是两个线性层的参数矩阵，和为线性层的偏置参数，偏置参数的设定按照正态分布进行随机初始化；

27、上述计算的输出结果经过残差连接和归一化输出具有长距离依赖的特征序列x。

28、进一步的，在步骤s4中，所述特征学习的具体步骤包括：

29、将宽和高加入到位置先验中与anchor box的中心点x，y组成可学习的四维位置编码，并与内容编码组成对象查询；

30、将特征序列与可学习的对象查询编码输入到transformer模型的解码器中获得每个对象查询的特征向量y，其中，解码器包括若干层，每一层包含多头自注意力模块、可变形多头交叉注意力模块、前馈神经网络模块、残差连接模块和归一化模块，每层均会进行残差连接和归一化；

31、其中，所述可变形多头注意力模块包括多头自注意力模块和多头交叉注意力模块，对输入的特征向量矩阵进行线性变换生成q、k、v三个矩阵，对于每个q，仅在全局位置中采样部分位置的key，并且value也是基于这些位置进行采样插值得到的，最后将该部分局部&稀疏的注意力权重施加在对应的value上，得到多头注意力输出向量o；

32、将特征序列o经过残差连接和归一化后输入前馈神经网络，最终解码器得到每个对象查询对应的特征向量y；

33、上述步骤所述的残差连接以及归一化的计算方法与编码器中计算方法相同；

34、解码器中可变形多头注意力机制公式如下：

35、；

36、其中，表示由向量线性变换得到的目标查询，代表多尺度特征，代表第l层的特征，是对应查询的索引，是键的索引，表示有几个注意力头部，是对注意力施加在值后的结果进行线性变换从而得到不同头部的输出结果，用于将变换为值，代表归一化后的位置，后者代表采样集合点相对于参考点的位置偏移。

37、进一步的，在步骤s5中，所述特征匹配包括：

38、所述特征向量输入到mlp预测头得到预测的高透光菲涅尔透镜roi（感兴趣）区域，mlp预测头中共有两个前馈神经网络，其中一个前馈神经网络使用匈牙利算法预测最终的输出标签，另一个前馈神经网络输出n个预测框，其中n为之前解码器输入的可学习对象查询编码的个数，其数量通常比高透光菲涅尔透镜中实际缺陷的数量大很多，因此构造了一个新类φ，表示没有目标物体的背景类，便得到两个等容量的集合。

39、进一步的，在步骤s5中，包括对训练模型进行检测，其检测的具体步骤包括：首先，在背光环境下，通过机械臂加持待检测的高透光菲涅尔透镜进行翻转平移，然后，模拟人工在强光下多角度对高透光菲涅尔透镜检测的状态，采用视频拍摄的方式进行实时检测，其检测结果以截取图片的方式进行展示。

40、进一步的，还包括：

41、s6：对训练模型进行检测；其具体检测步骤为：在背光环境下，通过机械臂加持待检测的高透光菲涅尔透镜进行翻转平移；

42、模拟人工在强光下多角度对高透光菲涅尔透镜检测的状态，采用视频拍摄的方式进行实时检测，其检测结果以截取图片的方式进行展示。

43、本发明的有益效果：本发明采用resnet50-v2通过提取特征图上每个点的位置编码输入到transformer编码器进行特征增强得到特征序列；将所述特征序列与可学习的对象查询编码输入到transformer解码器获得每个对象查询的特征向量；将所述特征向量输入到mlp预测头对高透光菲涅尔透镜小目标缺陷位置与种类进行预测。实现基于深度学习框架transformer的deformable-dab-detr对高透光的菲涅尔透镜进行实时监测，能够解决已有的基于yolo等检测方法具有nms后处理手动调参的麻烦，简化模型的结构；能够有效解决detr目标检测计算复杂度高的问题，模型易于达到收敛状态。