一种基于自监督的铆钉松动识别方法与流程

本发明铆钉松动识别的，尤其涉及一种基于自监督的铆钉松动识别方法。

背景技术：

1、关于铆钉松动识别，现有技术中有：

2、1(cn201610939021.9)一种飞行器表面铆钉检测方法

3、该发明涉及一种飞行器表面铆钉检测方法，包括以下步骤：用工业相机拍摄飞行器表面铆钉图像；提取图像的光滑边缘；提取候选椭圆边缘；对候选椭圆边缘进行组合成椭圆边缘；从组合的椭圆边缘中提取实际椭圆；将椭圆制作成模板；对光滑边缘图像进行有向距离变换，获得有向距离图；将椭圆模板在有向距离中进行模板匹配；根据模板匹配结果判断是否检测到铆钉。本发明可实现铆钉的准确检测与识别，鲁棒性强，精度高，可用于飞行器表面铆钉缺陷检测以及其它圆形目标的检测。该方法仅仅基于模板匹配的方式进行图像识别检测，识别仅仅针对固定类型的铆钉进行识别，针对不同样式，不同类型的铆钉检测不具有很好的兼容性及鲁棒性。

4、2.(cn111582075a)一种列车底部转向架的螺丝松动和异物检测方法和系统

5、该发明提供一种列车底部转向架的螺丝松动和异物检测方法和系统，其中，方法包括以下步骤：s1:采集列车底部转向架的图像，并获得训练数据集，所述训练数据集包含故障点和异物的类别及位置信息；s2:根据所述训练数据集建立故障识别模型；s3:输入待检测的图像至所述故障识别模型进行检测，若检测到故障则输出故障类别及位置并进行报警。当需要进行检测时，输入待检测的图像至故障识别模型，故障识别模型检测到故障时输出故障点和异物的位置和类别并报警。该发明仅仅基于图像灰度图信息进行识别，极大的丢失了图片原始信息，同时对于特征提取阶段仅仅就是用3*3卷积及1*1卷积核去替代ssd为基础的vgg网络的网络结构，结构极其简单很难抽取强有力的语义信息特征，对后面识别由较大的影响，使得模型识别效果较差。

6、3.(cn202210146476.0)一种铆钉紧固度检测装置及其使用方法与流程

7、该发明属于铆钉紧固度检测技术领域，用于解决目前仅能对松动非常明显的铆钉进行检测，适用范围窄，且难以通过检测分析得到铆钉的紧固程度，检测结果不准确的问题，具体是一种铆钉紧固度检测装置及其使用方法，包括处理器，处理器与拍摄检测单元、铆钉偏离分析单元、敲击检测单元、铆钉波动分析单元、显示模块和控制终端通信连接；本发明是通过铆钉偏离分析单元分析得到铆钉偏离因子，通过铆钉波动分析单元分析得到铆钉波动因子，基于铆钉波动因子和铆钉偏离因子得到铆钉紧固系数，能够对不同松动程度的铆钉进行检测。该专利仅仅基于传统图像算法计算缝隙值来推断偏离因子，对于偏移因子计算较为困难，从而对于铆钉松动识别准确率不高。

技术实现思路

1、为了解决了上述技术问题，本发明提出了一种基于自监督的铆钉松动识别方法，具体技术方案如下：

2、一种基于自监督的铆钉松动识别方法，具体步骤如下：

3、s1、收集处理不同松动程度的铆钉图片，然后进行对比学习训练获得图像编码器；步骤s1具体为：

4、s11、收集不同松动程度的铆钉图片，并对这些图片进行样本增广，得到一定的训练图片样本，所述增广方式包括随机裁剪、随机添加高斯噪音、随机颜色抖动、随机旋转；

5、s12、将训练样本图片通过patch分割得到多个图片补丁，接着随机将多个图像补丁分为两个部分分别为补丁群1以及补丁群2，将补丁群1以及补丁群2分别输入到编码器中得到特征fpc1以及特征fpc2；

6、s2、特征fpcp1以及特征fpcp2分别通过解码器得到特征fd1以及特征fd2，再通过resize原图大小得到最终的输出分别为imageo1和imageo2；

7、s3、基于上述训练的到图片编码器对图像进行特征提取，在特征提取之后需要连接两层mlp层以及sigmoid对图片特征进行二分类分别表示铆钉是否有松动的状态；

8、s4、基于图片采集器对需检测的铆钉进行定点拍摄，获得每一张需检测的铆钉图片，设定置信度阈值，将图片输入至该预测模型对铆钉的是否松动进行判别。

9、具体地说，步骤s12具体为：

10、s121、将补丁群1以及补丁群2中的图片分别输入到深度可分离卷积块和空间可分离卷积块，对应得到得到特征fsc以及特征fdc；

11、s122、将特征fdc输入到cbam中得到特征fcbam，将特征fsc输入到条带池化模块中得到特征fsp，将特征fcbam和特征fsp融合得到特征ffusion，特征ffusion输入到两层的mlp输出最终的特征，两层的mlp输出最终的特征，两层mlp之间通过激活函数relu嵌入，最终得到补丁群1以及补丁群2对应的特征fpc1以及特征fpc2；

12、s13、特征fpc1以及特征fpc2通过reshape得到图像补丁形式，并通过加入随机填充补丁的形式构建新的特征fpcp1以及特征fpcp2。

13、具体地说，所述深度可分离卷积块是由深度可分离卷积、batchnorm以及relu激活函数构成；所述空间可分离卷积块则是由空间可分离卷积、batchnorm以及gelu激活函数构成。

14、具体地说，所述cbam分别由通道注意力模块以及空间注意力模块构成。

15、具体地说，所述条带池化模块对输入特征在横向及纵向进行条带池化、分别进行宽高的1维卷积，再经过expand进行扩展得到的特征进行融合得到特征ffusion，再通过1x1卷积与sigmoid激活函数与输入特征进行融合得到最终需要的特征fsp。

16、具体地说，步骤s2中，所述解码器将输入的特征以及对应的位置编码信息分别输入到aspp模块以及上采样操作中，分别得到特征faspp以及特征funsampling，之后将特征faspp以及特征funsampling的特征信息进行融合得到特征fc，之后再次经过若干次反卷积得到特征fd1以及特征fd2。

17、具体地说，步骤s1和步骤s2建立的模型的损失函数采用了两种损失函数分别是mse loss以及kl loss；所述mseloss针对的是输入的原图与imageo1，imageo2得到损失l1,l2，同时对fpcp1以及fpcp2进行kl loss计算得到损失函数lkl，得到总损失函数如下所示：

18、losstotal＝l1+l2+lkl。

19、具体地说，步骤s4中，所述置信度阈值为0.75。

20、本发明的优点在于：

21、(1)本专利基于自监督的方法可以很好的在无需标注的情况下进行自监督的特征提取学习，使得模型特征提取的更加充分，训练更快的收敛。

22、(2)本专利不仅仅可以根据特征值相似度进行学习，同时也结合了特征分布相似度进行自监督学习，对特征的空间及语义信息抽取丰富。

23、(3)本专利通过注意力机制强化模型对物体细粒度的重视，使得模型更好的理解螺丝松动的微小差别且通过等多种数据增广的方式进行模型训练，让模型能更好的适应不同种类的铆钉检测。