列车360度动态图像监测系统的螺栓松动检测方法及设备与流程

本发明涉及列车监测，具体涉及一种列车360度动态图像监测系统的螺栓松动检测方法、设备及存储介质。

背景技术：

1、随着轨道交通的高速发展，轨道列车在日常生活中扮演着重要的角色。列车承担着各式各样的运输任务，因此保障列车的安全至关重要。对列车的检修和维护具有十分重要的意义。确保列车安全的检修工作尤为重要，尤其是在列车运行过程中，螺栓松动可能会导致设备损坏，车轮脱落等严重后果，对列车安全运行构成严重的威胁。传统的螺栓检测方式依赖于人工巡检的方法，通过人工识别螺栓上的防松标记线来判断螺栓是否松动，但是人工巡检存在效率低，主观性强等问题。因此需要一种能够实时检测螺栓松动的方法，以提高螺栓的安全性和可靠性。

2、目前，检测螺栓线松动的方法有基于声弹性法的螺栓松动检测方法，通过固体中声速随应力变化来检测螺栓的应力变化；基于扭转法的螺栓松动检测方法检测预紧力变化，因为螺栓预紧力和螺栓的扭矩近似于线性关系，通过测量螺栓扭矩的大小计算螺栓预紧力判断螺栓松动；上述两种方式对环境要求比较高，测量方式较复杂。

3、通过图像的方法，基于图像处理方法利用螺栓上的防松标记线，通过形态学的方法来判断螺栓的松动，这种方法依赖于防松线区域和其他区域差异化大，通过差异的结果来识别防松标记线，该方法优点是计算速度快，缺点是对于因相机角度造成的拍摄防松线角度问题，导致判定失败的问题。

技术实现思路

1、本发明提出的一种列车360度动态图像监测系统的螺栓松动检测方法，目的是为了解决在现有螺栓松动检测方法中由于螺栓所处工况不同，螺栓位置信息多变，以及在轨道列车中检测螺栓松动出现误报以及对多角度螺栓提供高精度的一种检测方法，实现螺栓的自动检测。

2、为实现上述目的，本发明采用了以下技术方案：

3、一种列车360度动态图像监测系统的螺栓松动检测方法，包括以下步骤，

4、步骤1：在列车的轨旁安装2d与3d线扫相机，用来拍摄列车360度视野，并提取关键部件；

5、步骤2：2d与3d线扫相机按照列车行进速度调整频率连续采集列车运行过程中的图像序列，以获取整列列车动态图像；

6、步骤3：对采集到的图像序列进行图像增强、去噪和图像配准处理，提高图像质量和清晰度；并分别保存处理后的2d图像和3d图像信息，并对3d图像进行ndt及icp配准算法进行配准操作；

7、步骤4：在处理后的图像序列中，使用深度学习算法对列车部件进行检测，并将检测的部件按照车厢顺序保存；并根据步骤3处理后的图像进行部件的分割，以获取待检测部件的图像信息；

8、步骤5：基于yolov8深度学习算法训练螺栓识别模型，识别保存的部件图，训练的轮数设置为n1次，batch-size设置为m1，学习率设置为c1，训练结束后用来识别以确定螺栓的位置和状态信息；

9、步骤6：对检测到的螺栓，提取防松线并二值化，形态学操作，之后判断两线段角度差，并根据角度θ判断螺栓是否松动；

10、步骤7：当连通域为0时，认为该螺栓的防松标记信息丢失，该螺栓初步判定为松动的；当连通域为2，并且计算发现两个线段角度差大于阈值也初步认定判定为松动的；将初步判定螺栓松动状态信息的坐标还原到3d点云中，并根据3d点云进行局部部件分割，利用相对距离和螺栓面相对基准面的高度判断螺栓在此处是否存在异常，根据基准面高度差最终判断螺栓松动与否，判定结果将作为最终结果输出；

11、步骤8：当监测系统检测到螺栓松动或异常状态时，及时生成报警信号，并向相关人员发送警报，以便采取相应的维修和调整措施。

12、进一步地，步骤4中包括基于yolov8深度学习算法训练车体部件识别模型，提供测试数据集，训练的轮数设置为n次，batch-size设置为m，学习率设置为c，训练结束后会自动保存最优的权重模型，将该模型用作部件检测的模型。

13、进一步地，步骤5中还包括将待检测部件图像与标准模板进行配准，将检测的螺栓与标准模板的螺栓进行iou阈值比较，如果大于阈值则代表识别的螺栓与模板相匹配，那么识别是准确的；如果小于该阈值，将该位置的螺栓还原到3d点云中，在3d点云中进行螺栓松动的判断。

14、进一步地，步骤6中对检测到的螺栓，提取防松线并二值化，形态学操作，之后判断两线段角度差，包括，

15、根据获取的螺栓准确位置，将图像rgb颜色通道转换为色彩表达直观的hsv颜色空间，通过二值化，形态学提取标记线，将符合阈值部分的像素值设置为255，不符合的区域像素设置为0；通过该阈值范围，即可将图像二值化，筛选出标记线区域，其中h通道阈值设置为r，s通道阈值选择为s，v通道选择t；

16、在完成图像二值化后，所获取的图像中包含大量微小的噪点，通过形态学方法包括腐蚀，膨胀，将小的噪点区域过滤并将空洞区域填充，保留了标记线但是同时也包含没有去除的噪点，设置连通域面积筛选阈值s,在图像中小于s的面积将会移除，移除后将剩下的区域采用快速排序法保留两个最大的区域；在筛选出的连通区域后，将图像与原未处理的图像做与运算，提取两段标记线区域；如果判断到连通区域只包含一个，认为该螺栓处于正常状态；当螺栓区域为0时，认为该螺栓防松标记丢失，将该螺栓坐标与3d点云中的螺栓相匹配，并对该螺栓进行基于标准高度信息的螺栓松动判断；

17、在提取到两个连通域，基于二值化边缘霍夫直线检测，先对二值化图像进行高斯滤波操作，对图像进行降噪和平滑以及保存边缘效果；

18、接着采用canny边缘检测算法提取边缘，使用高斯滤波器先对图像进行卷积操作，得到图像g(x,y)；使用sobel算子对图像g(x,y)像素点的梯度以及方向计算，检测后对边缘进行膨胀操作，在矩形边上进行霍夫直线检测，在膨胀边缘图像进行霍夫直线检测，根据检测的两条线段返回其端点，计算角度θ，并根据角度θ判断螺栓是否松动。

19、进一步地，步骤6中，采用canny边缘检测算法提取边缘，公式为：

20、

21、canny检测算法的性能收到图像噪声的影响，为了降低噪声，会先使用3×3的高斯滤波器先对图像进行卷积操作，得到图像g(x,y)；使用sobel算子对图像g(x,y)像素点的梯度以及方向计算；水平和垂直算子与输入图像卷积计算dx,dy公式如下：

22、

23、

24、dx＝g(x,y)×sobelx(x,y),dy＝g(x,y)×sobely(x,y)

25、获取到图像的梯度幅值和方向由公式：将像素领域分为4个方向(0°,45°,90°,135°)进行非极大值抑制运算，如果中心处时极大值就保存，否则就将中心置为0.从而细化边缘；

26、针对canny算子边缘检测后对边缘进行膨胀操作，在矩形边上进行霍夫直线检测，经过参数限制和筛选后，在原图上显示最终结果；根据检测的两条线段，都会返回其端点(x1,y1),(x2,y2)，计算两条线段的角度θ，并根据角度做差，与松动阈值做比较，判断螺栓是否处于松动状态；角度计算公式:

27、

28、螺栓松动判断为：

29、

30、其中γ为松动检测的阈值，将初步断定为松动的坐标保存。

31、进一步地，在步骤7中，获取到了初步判定为松动的螺栓坐标位置信息以及螺栓表面没有检测到防松标记或者防松标记丢失的，将在3d点云中进行图像位置的匹配；当匹配完成以后采用深度学习算法进行局部的点云分割，提取螺栓；

32、螺栓分割先进行点云数据预处理，包括滤波，下采样，去噪和计算法向量，然后使用ndt及icp进行图像配准，将配准的图像进行2d转换，并将转换的2d图与2d线扫相机拍摄的图进行配准，从而保证在2d线扫相机找到的螺栓信息可以转换到3d图中；

33、另外对于配准后的3d图像，将从2d图像中获取的坐标位置转换到3d图像中，采用神经网络进行局部点云的分割，将分割出的螺栓点云图像，计算螺栓平面与基准平面的距离；

34、对于理想的情况可以直接测量平面之间的距离来判断螺栓的状态，但是其他情况需要先将平面与模板中的平面进行对比，利用相对距离和螺栓面相对基准面的高度判断螺栓在此处是否存在异常。

35、进一步地，步骤7中动态基准面误差在±0.2mm；当历史值与阈值存在较大差距，直接输出螺栓松动结果并报警；并将该螺栓坐标位置保存下来，在3d点云中以红色形式显示出来。

36、又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

37、再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

38、由上述技术方案可知，本发明提供了一种列车螺栓松动监测方法，为了增强识别松动的准确性，在图像形态学处理的基础判断上增加3d点云信息的螺栓松动判断，保证检测的速度的同时也增加了检测的精度。

39、本发明的该方法使用2d线扫相机和3d线扫相机进行图像采集和处理，包括目标检测、特征提取、螺栓状态分析、报警和反馈等步骤。通过使用yolov8深度学习模型训练螺栓目标识别模型，并与配准图像进行比较，实现对螺栓的准确识别。该方法依赖螺栓上的防松标记线如图五所示，并通过形态学方法提取标记线并判断角度差来初步判定螺栓松动。为了解决相机拍摄角度带来的误差，根据螺栓位置找到对应的3d点云图，并基于点云信息判断螺栓是否确实松动。该方法实现了对列车螺栓松动情况的实时监测和预警，提高了列车运行安全性和可靠性。

40、具体的说，本发明提供的列车360度动态图像监测系统的螺栓松动监测方法具有以下优点：

41、1.实时监测：通过连续采集图像序列和实时检测算法，能够实时监测列车螺栓的状态，及时发现松动情况。

42、2.自动化：采用自动化的图像处理和目标检测技术，减少了对人工的依赖，提高了检测效率和准确性。

43、3.高精度：通过图像处理和特征提取，能够提取螺栓的关键特征，实现对螺栓状态的准确分析和判断。

44、4.实用性：该方法可以与现有的列车监测系统相结合，实现对列车螺栓松动情况的全面监测，提高列车运行安全性和可靠性。