基于图像的实时受电弓异常检测方法

本发明涉及故障检测识别，尤其涉及基于图像的实时受电弓异常检测方法。

背景技术：

1、列车受电弓是电力机车从接触网上受取电流的装置，其状态直接影响列车的运行安全。受电弓长期暴露在外界环境，易受到异物入侵，如垃圾袋、风筝等。此外，遭受极端天气、车体剧烈震动等影响，受电弓易发生变形、断裂等事故，从而造成运输中断、列车晚点，还有可能对供电系统造成损坏。为了有效避免因受电弓异常而引起的事故，需要对列车受电弓状态进行实时检测。

2、基于图像的异常检测方法是当前受电弓异常检测的重要方法，主要分为传统图像处理方法和有监督深度学习方法两大类，传统的检测方法流程复杂，易受到光照、噪声、背景环境等因素干扰，泛化能力弱、鲁棒性差，导致其检测精度不高，实际应用受限，而有监督深度学习检测方法往往需要大量异常样本对网络进行训练，实际中异常类型多样，异常样本却很稀缺，因此存在样本不均衡问题，而复杂的受电弓背景图像更增加了其检测难度，影响整体的使用效果，需要加以改进。

技术实现思路

1、本发明的目的是为了解决上述背景技术中提出的技术问题。

2、本发明采用了如下技术方案：基于图像的实时受电弓异常检测方法，包括以下步骤：

3、s1：图像数据获取，由悬挂在接触网支撑结构上的相机拍摄获取受电弓图像；

4、s2：受电弓专用语义分割网络，基于卷积神经网络(cnn)与视觉转换器(vit)设计受电弓专用分割网络，并分割出输入图像的受电弓结构；

5、s3：基于分割后的受电弓掩码图像进行异常检测，提取受电弓区域，利用深度神经网络对提取得到的受电弓区域图像进行特征提取，并基于所提取的特征通过最近邻分类算法进行异常检测。

6、较佳的，所述s1中，受电弓图像标注有不同方位、光线、车体及环境。此处，标注了包含不同方位、光线、车体及环境下的受电弓图像，用于神经网络训练，以提高模型的适用性。

7、较佳的，所述s2中，卷积神经网络(cnn)与视觉转换器(vit)混合编码设计，所述卷积神经网络(cnn)采用轻量化cnn模型mobilenetv3。此处，设计受电弓专用分割网络，分割出输入图像的受电弓结构，可以克服复杂背景等对受电弓异常检测的影响，采用轻量化cnn模型mobilenetv3，以满足分割实时性。

8、较佳的，所述s2中，网络训练过程时，选取部分图像数据，使用labelimg用边界框标记受电弓结构，训练受电弓分割网络。此处，确保后续网络训练过程的正常进行。

9、较佳的，所述s3包括如下步骤：

10、s3.1：对分割后掩码图像中的受电弓区域进行提取；

11、s3.2：使用特征提取器对受电弓区域图像进行特征提取，得到对应的特征向量；

12、s3.3：进行最近邻分类算法异常检测。

13、此处，结合特征提取深度学习网络与最近邻分类算法实现了对分割后受电弓图像的异常检测，操作更加简单。

14、较佳的，所述s3.1的具体操作如下，

15、提取受电弓所在的矩形区域主要是通过确定其左上顶点(x0,y0)和右下顶点(x1,y1)坐标实现的。将受电弓所在矩形区域的掩码图像转化为二维二值矩阵(只有0与1两种值，其中值为1的像素对应受电弓部分)，x0与x1分别对应二值矩阵中第一个与最后一个非0列的下标，y0与y1分别对应二值矩阵中第一个与最后一个非0行的下标，最后，对受电弓区域进行了裁剪和不失真的归一化(即不改变图像宽高比，不足的加0元素补充)。

16、此处，可以对受电弓所在矩形区域的掩码图像进行转化，方便对图像进行处理。

17、较佳的，所述s3.2中，特征提取器采用的是imagenet数据集上预训练的轻量化的mobilenetv3特征提取器。此处，采用轻量化的mobilenetv3特征提取器模型更加简单，操作更加迅速和方便。

18、较佳的，所述s3.3的具体操作如下，

19、首先计算并保存训练集(都是正样本)中每张图像经预训练mobilenetv3特征提取器提取得到的特征向量，然后，对于给定的测试图像y，经特征提取得到特征向量fy，之后从训练集中检索与它最近邻的k个正常图像的特征向量集nk(fy)，计算其中各特征向量与fy的欧式距离并取平均作为knn距离d(y)，如表达式(1)所示，最后通过比较knn距离d(y)是否大于阈值δ来确定测试图像是否异常。

20、

21、此处，可以快速的计算得出knn距离d(y)。

22、较佳的，所述阈值δ的设置方法为：首先取n张正样本图像zi(i＝1,2,…n)经特征提取得到特征向量然后计算与训练集中特征向量的knn距离d(zi)，其最大值作为阈值δ，表达式如(2)所示。

23、δ＝max{d(z1),d(z2),…,d(zn-1),d(zn)}(2)

24、此处，可以快速的计算得出阈值δ。

25、与现有技术相比，本发明的优点和积极效果在于，

26、本发明中，采用先语义分割，后利用深度预训练特征的最近邻分类算法进行异常检测的方法，具有不依赖异常样本且能够有效克服复杂背景影响的优势，模型简单、检测精度高且速度快，同时针对受电弓分割网络模块，设计了以卷积神经网络和视觉转换器混合编码的特征提取网络，并结合深度特征提取网络与最近邻分类算法实现了对分割后受电弓图像的异常检测，其训练过程只需对每个正样本训练图像进行编码操作并保存其特征向量，不需要解码操作，不依赖异常数据，更便于进行增量学习，测试过程主要通过计算预测样本与最近邻k个训练样本之间的欧氏距离实现，时间成本低。

技术特征：

1.基于图像的实时受电弓异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于图像的实时受电弓异常检测方法，其特征在于：所述s1中，受电弓图像标注有不同方位、光线、车体及环境。

3.根据权利要求1所述的基于图像的实时受电弓异常检测方法，其特征在于：所述s2中，卷积神经网络(cnn)与视觉转换器(vit)混合编码设计，所述卷积神经网络(cnn)采用轻量化cnn模型mobilenetv3。

4.根据权利要求1所述的基于图像的实时受电弓异常检测方法，其特征在于：所述s2中，网络训练过程时，选取部分图像数据，使用labelimg用边界框标记受电弓结构，训练受电弓分割网络。

5.根据权利要求1所述的基于图像的实时受电弓异常检测方法，其特征在于：所述s3包括如下步骤：

6.根据权利要求5所述的基于图像的实时受电弓异常检测方法，其特征在于：所述s3.1的具体操作如下，

7.根据权利要求5所述的基于图像的实时受电弓异常检测方法，其特征在于：所述s3.2中，特征提取器采用的是imagenet数据集上预训练的轻量化的mobilenetv3特征提取器。

8.根据权利要求5所述的基于图像的实时受电弓异常检测方法，其特征在于：所述s3.3的具体操作如下，

9.根据权利要求8所述的基于图像的实时受电弓异常检测方法，其特征在于：所述阈值δ的设置方法为：首先取n张正样本图像zi(i＝1,2,…n)经特征提取得到特征向量然后计算与训练集中特征向量的knn距离d(zi)，其最大值作为阈值δ，表达式如(2)所示。

技术总结
本发明提供基于图像的实时受电弓异常检测方法，涉及故障检测识别技术领域，包括以下步骤：S1：图像数据获取；S2：受电弓专用语义分割网络；S3：基于分割后的受电弓掩码图像进行异常检测。本发明，采用先语义分割，后利用深度预训练特征的最近邻分类算法进行异常检测的方法，具有不依赖异常样本且能够有效克服复杂背景影响的优势，模型简单、检测精度高且速度快，同时针对受电弓分割网络模块，设计了以卷积神经网络和视觉转换器混合编码的特征提取网络，并结合深度特征提取网络与最近邻分类算法实现了对分割后受电弓图像的异常检测，不需要解码操作，不依赖异常数据，更便于进行增量学习，测试过程主要通过计算预测样本与最近邻K个训练样本之间的欧氏距离实现，时间成本低。

技术研发人员：林川,郭宁宁
受保护的技术使用者：西南交通大学
技术研发日：
技术公布日：2024/1/15