一种基于视觉处理的振动图像目标检测方法

本发明涉及一种基于视觉处理的振动图像目标检测方法，属于机器视觉及故障诊断领域。

背景技术：

1、旋转机械是机械行业中的重要监测对象，其结构占所有机械结构的40％以上，且相较于非旋转机械更易出现故障。因此，对旋转体进行健康检测是很有必要的。当前对旋转体进行故障检测通常采用接触式传感器采集旋转体所在箱体的振动信号进行分析诊断。然而，这种方式采集到的信号往往受到噪声和其他连接件的振动信号影响，进而需要工作人员对采集到的信号进一步提取。但是，一旦提取信号的过程稍有差池会误判故障类型，造成损失。基于视觉对旋转体进行故障监测以其非接触、无损伤、多点同步测量等优点受到学者们的广泛关注。因此，可以通过视觉的方法获得旋转体的目标检测信息进而达到监测其运行状态，实现故障监测。

2、随着深度学习的不断发展，目标检测算法的执行效率越来越高，其精确度和实时性都发展到较高的水平。目前比较流行的目标检测算法是基于深度学习的方法，有centernet、faster r-cnn、retinanet和ssd。基于无锚框的centernet算法结构简单，但检测精度欠佳；基于有锚框的双阶段的faster r-cnn算法的检测精度较高，但速度欠佳；基于有锚框的单阶段的retinanet和ssd算法的检测速度快，但精度欠佳。这些目标检测算法基于深度学习对场景有依赖性，当更换场景时会产生效果不好的问题。对于旋转体的目标检测任务而言，无论是实时性不够还是精确度不高，都会导致预测框输出的目标位置信息存在较大的误差。另外，很多旋转机械处于在工厂或箱体等较暗的环境，深度学习目标检测算法难以同时兼顾速度和精度，最终导致安全故障检测信息有误。因此，针对旋转体的目标检测任务，提出一种同时兼顾速度和精度的目标检测算法的意义十分重大。

技术实现思路

1、本发明提供了一种基于视觉处理的振动图像目标检测方法，通过引入骨干模块、颈部模块、多尺度特征融合模块、头部模块构建的目标检测网络模型，实现了振动图像的目标检测。

2、本发明的技术方案是：一种基于视觉处理的振动图像目标检测方法，包括：获取振动图像数据集；依据获得的振动图像数据集划分为训练数据集和验证数据集；对训练数据集和验证数据集进行标注，获得标注训练集、标注验证集；依据顺次连接的骨干模块、颈部模块、多尺度特征融合模块、头部模块，建立目标检测网络模型；调用标注训练集对目标检测网络模型进行训练，训练结束获得候选权重；用标注验证集对候选权重性能进行评估，用于获得最优权重；依据载入最优权重的目标检测网络模型对待检测振动图像进行检测，获得振动图像目标检测信息；

3、所述骨干模块，包括：对输入进行c6bs操作得到第一骨干输出特征s1；对第一骨干输出特征s1进行csp12操作得到第二骨干输出特征s2；对第二骨干输出特征s2进行csp13操作得到第三骨干输出特征s3；对第三骨干输出特征s3进行csp14操作得到第四骨干输出特征s4；对第四骨干输出特征s4进行csp12操作得到第五骨干输出特征s5；对第五骨干输出特征s5进行注意力机制操作得到第六骨干输出特征s6；对第六骨干输出特征s6进行改进空间池化金字塔操作得到第七骨干输出特征s7。

4、所述c6bs操作为依次经过卷积核大小为6×6的卷积、batchnorm操作以及sigmoid激活函数操作；所述csp1i操作为对输入特征依次经过i个卷积块操作、再经过c3bs操作得到第一骨干拼接特征，同时对输入特征经过c3bs得到第二骨干拼接特征，将第一骨干拼接特征与第二骨干拼接特征进行拼接，将拼接后的特征进行c3bs操作得到骨干输出特征，i＝1,2,3,4；卷积块为依次进行两次c3bs操作，c3bs操作为依次经过卷积核大小为3×3的卷积、batchnorm操作以及sigmoid激活函数操作。

5、所述注意力机制操作为对第五骨干输出特征s5依次经过卷积核大小为3×3的深度可分离卷积、卷积核大小为1×1的点卷积操作得到特征m19；对第五骨干输出特征s5与特征m19进行相乘，得到第六骨干输出特征s6。

6、所述改进空间池化金字塔操作为对第六骨干输出特征s6依次经过3个池化窗口为5的池化操作，分别得到特征m110、特征m111、特征m112；对特征s5与特征m110、特征m111、特征m112进行拼接，得到第七骨干输出特征s7。

7、所述颈部模块，包括：将骨干模块的第七骨干输出特征s7经过c1bs操作得到特征n11；将特征n11进行2倍上采样得到特征m21；将骨干模块的第四骨干输出特征s4与特征m21拼接得到特征m22；对特征m22经过csp21操作得到特征m2；将特征m25经过c1bs操作得到特征n12；将特征n12进行2倍上采样得到特征m26；将骨干模块的第三骨干输出特征特征s3与特征m26拼接得到特征m27；对特征m27经过csp21操作得到第一颈部输出特征a21；将第一颈部输出特征a21经过c3bs操作后得到特征n22，将特征n22与特征n12拼接得到特征m28；对特征m28经过csp21操作得到第二颈部输出特征a22；对第一颈部输出特征a22经过c3bs得到特征m29，将特征m29和n11拼接后，经过csp21操作得到第三颈部输出特征a23。

8、所述csp21操作为对输入特征依次经过2个c1bs操作、1个c3bs操作、1个c1bs操作、1个c3bs操作、1个c1bs操作、1个c3bs操作得到第一颈部拼接特征；对csp21输入特征经过c1bs操作得到第二颈部拼接特征；将第一颈部拼接特征和第二颈部拼接拼接后，经过c1bs操作得到输出特征；所述c1bs操作为依次经过卷积核大小为1×1的卷积操作、batchnorm操作以及sigmoid激活函数的操作；所述c3bs操作为依次经过卷积核大小为3×3的卷积操作、batchnorm操作以及sigmoid激活函数的操作。

9、所述多尺度特征融合模块，包括：将颈部模块的第一颈部输出特征a21、第二颈部输出特征特征a22、第三颈部输出特征特征a23作为多尺度特征融合模块的输入；将第一颈部输出特征a21与在该尺度下的可学习权重α11相乘得到特征n31；将第二颈部输出特征特征a22进行2倍上采样再与对应的可学习权重β12相乘得到特征n32；将第三颈部输出特征特征a23进行4倍上采样再与对应的可学习权重γ13相乘得到特征n33；将特征n31、特征n32、特征n33相加得到特征n1，完成不同尺度的特征图在第一颈部输出特征a21这一尺度下的特征融合；将第二颈部输出特征a22与在该尺度下的可学习权重β22相乘得到特征n42；将第一颈部输出特征a21进行2倍下采样再与对应的可学习权重α21相乘得到特征n41；将第三颈部输出特征a23进行2倍上采样再与对应的可学习权重γ23相乘得到特征n43；将特征n41、特征n42、特征n43相加得到特征n2，完成不同尺度的特征图在第二颈部输出特征a22这一尺度下的特征融合；将第三颈部输出特征a23与在该尺度下的可学习权重γ33相乘得到特征n53；将第一颈部输出特征a21进行4倍下采样再与对应的可学习权重α31相乘得到特征n51；将第二颈部输出特征a22进行2倍下采样后与对应的可学习权重β32相乘得到特征n52；将特征n51、特征n52、特征n53相加得到特征n3，完成不同尺度的特征图在第三颈部输出特征a23这一尺度下的特征融合；对特征n1、特征n2、特征n3拼接得到特征n4；将特征n4作为多尺度特征融合模块的输出特征。

10、所述头部定位模块包括：将多尺度特征融合模块输出的输出特征n4作为头部定位模块的输入特征；将头部定位模块的输入特征依次经过c1bs模块、卷积块后，通过三个卷积核大小为1×1的卷积操作，得到分类分支、回归分支和背景分支。

11、所述卷积块为依次进行两次c3bs操作，c3bs操作为依次经过卷积核大小为3×3的卷积、batchnorm操作以及sigmoid激活函数操作；所述c1bs操作为依次经过卷积核大小为1×1的卷积、batchnorm操作以及sigmoid激活函数操作。

12、本发明的有益效果是：现阶段的目标检测算法用于旋转体的振动位移测量任务时，都存在速度不够快或是精确度不够高的情况，进而导致预测框输出的目标位置信息存在较大的误差。另外，很多旋转机械处于在工厂或箱体等较暗的环境，深度学习目标检测算法难以同时兼顾速度和精度，最终导致安全故障检测信息有误。针对旋转体的振动位移测量任务，本发明提出的目标检测方法同时兼顾了速度和精度，很好的解决了因检测算法仅注重识别到目标而非精确定位目标进而导致的视觉测振任务的偏差较大的问题。具体地：本发明将目标检测模型分为四个模块，骨干模块用于提取浅层特征，颈部模块用于提取深层特征，多尺度特征融合模块用于对不同尺度的目标特征进行融合，从而将浅层信息和深度信息进行语义特征融合，细化了振动目标的边缘特征，提高了振动目标的定位精确度；头部模块用于最终确定并输出目标位置信息。通过实际振动对比实验，将得到的目标位置信息用于提取位移信号，且振动位移信号与参考信号最接近，证明了本发明的目标检测方法的实际工程应用价值。