一种铁路接触网支柱鸟窝检测方法与流程

本发明涉及图像处理、图像识别，更具体地说涉及一种铁路接触网支柱鸟窝检测方法。

背景技术：

1、铁路是一个国家交通运输的重要部分，同时也是一个高风险的环境。铁路接触网是铁路的重要基础运行设施，接触网故障将直接导致列车停运故障。接触网故障有部分人工因素，如不当的使用、维护不良、材料缺陷等等因素。但部分自然因素也严重影响铁路接触网运行稳定性。支柱鸟窝即属于自然因素影响，严重情况下鸟窝接触至带电接触网可能导致列车停运。因此有必要对铁路接触网支柱上的鸟窝进行检测并清除，以防止接触网故障。

2、支柱鸟窝检测的重要性还体现在以下几个方面：

3、1、提高铁路运行效率。支柱鸟窝检测可以及时发现和修复支柱缺陷，减少铁路运行的时间，提高运行效率。

4、2、提高铁路运营的安全性。鸟窝检测可以第一时间发现并排除隐患，提高铁路运营的安全性。

5、3、减少人工分析工作量。以往检测支柱鸟窝需要大量人工分析视频数据，分析量大且检出率低，采用算法分析有助于降低人工分析工作量。

6、当前鸟窝检测存在一些技术可以实现，如采用yolo技术进行目标检测等方法，但实际准确率不高且误报严重，对于较小的鸟窝及鸟窝细支检出困难。

技术实现思路

1、为了克服上述现有技术中存在的缺陷，本发明公开了一种铁路接触网支柱鸟窝检测方法，本发明的目的是解决现有技术中铁路接触网支柱上鸟窝检测实际准确率不高且误报严重，对于较小的鸟窝及鸟窝细支检出困难等问题。本发明提出了一种基于图像数据自动化分析铁路沿线支柱鸟窝的算法模型，取得了较高的识别精度效果。通过识别接触网支柱区域（定位并分类接触网支柱）、支柱内部采用细粒度分割算法实现鸟窝分割，最后将分割影像进行后处理去除干扰，并最终精确输出鸟窝位置。本发明高效且精确发现铁路接触网支柱的鸟窝缺陷，为人工排除留出足够的应急时间。

2、为了实现以上目的，本发明采用的技术方案：

3、一种铁路接触网支柱鸟窝检测方法，包括以下步骤：

4、一、图像获取

5、s1、利用拍摄设备获取铁路沿线待检测接触网图像；

6、本发明中，利用拍摄设备（如相机）获取铁路沿线待检测的接触网图像，以进行后续的接触网支柱鸟窝检测。

7、二、接触网支柱区域识别

8、s2、识别待检测接触网图像中的接触网支柱区域；

9、本发明主要是在铁路复杂自然环境下识别接触网支柱，并与铁路周围常见的其他类型的如通讯铁塔、电视塔、国家电网电线杆等常见物体进行区分。

10、优选的，所述s2步骤中，利用yolov5目标检测算法识别待检测接触网图像中的接触网支柱区域。

11、优选的，所述s2步骤中，所述识别的接触网支柱区域包括水泥空心柱样式、实心铁柱样式和铁塔样式。

12、s2步骤中，利用yolov5目标检测算法识别待检测接触网图像中的水泥空心柱样式、实心铁柱样式和铁塔样式三种样式的接触网支柱区域。

13、本发明中，由于自然场景下拍摄的铁路沿线图像存在较大差异性。从总体分析，接触网支柱可分为水泥空心柱样式、实心铁柱样式和铁塔样式。在yolov5目标检测算法中，沿线其他塔类设施则识别为负样本，从而精确定位铁路接触网支柱，排除非塔类设施干扰。

14、三、分割接触网支柱区域的鸟窝

15、s3、将识别的接触网支柱区域图像输入细粒度分割模型中，分割接触网支柱区域图像中的鸟窝区域；

16、本发明提出beidt（beit detector,beidt）细粒度分割模型，将识别的接触网支柱区域图像输入其中分割接触网支柱区域图像中的鸟窝区域。

17、优选的，所述s3步骤中，将识别的接触网支柱区域图像横纵向切分为若干图像块，并将若干图像块加入位置编码后输入细粒度分割模型中。

18、上述方法中，将输入图像（识别的接触网支柱区域图像）横纵向切分为若干图像块（如20patch），并加入位置编码（positional embedding）后输入细粒度分割模型中进行鸟窝区域分割。

19、优选的，所述s3步骤中，所述细粒度分割模型包括beit encoder编码器和upernet网络结构，其中：

20、所述beit encoder编码器包括若干transformer模块，所述transformer模块包括归一化层、多层感知器网络和多头注意力层；选择若干transformer模块中的多个特征层后，采用上采样方法形成特征金字塔，再将特征金字塔输入upernet网络结构中；

21、所述upernet网络结构包括fuse层和 fpn with ppm层，所述fpn with ppm层通过池化和卷积两种方法接收beit encoder编码器输出的特征金字塔，fuse层合并张量后，通过卷积输出单通道的鸟窝分割图像。

22、优选的，所述细粒度分割模型中，所述beit encoder编码器包括12个transformer模块，从12个transformer模块中第3、5、7、11个中取出20×20×768维度的特征层后，采用上采样方法形成特征金字塔。

23、本发明中，细粒度分割模型由编码器 beit encoder与upernet网络结构组成。其中beit是采用了虚拟token的新型transformer模块。一个transformer模块由层归一化（layer normalization）与多层感知器网络（multi-layer perceptron,mlp)以及多头注意力层（mutli-head attention）组成，beit则使用了12个transformer模块。并从第3，5，7，11层取出20×20×768维度的特征层后，采用上采样（upsampling）方法形成特征金字塔（feature paramid），特征金字塔中c表示通道数量768，w表示特征图宽度。将特征金字塔送入upernet中，upernet网络采用带有ppm(pyramid pooling module，金字塔池化模块）)的fpn（feature paramid networks，特征金字塔网络）网络结构，通过池化和卷积两种方法接收encoder输出的特征金字塔。通过fuse层合并后，通过卷积输出单通道的分割影像。输入图像中横纵向切分为20patch，并加入位置编码（positional embedding）输入模型中。

24、优选的，所述细粒度分割模型中，所述fpn with ppm层为带有金字塔池化模块的特征金字塔网络结构，其利用卷积模型对数据解码信息进行多次卷积处理，得到卷积特征向量，并对卷积特征向量进行池化处理，得到池化特征向量。

25、优选的，所述卷积模型为：

26、

27、其中，ti为卷积特征向量中第i个卷积特征；f()为非线性函数；b为偏置常数；w为卷积模型对应的卷积核通道数；xi:i+k-1为数据解码信息中从第i行到第i+k-1行组成的数据；k为卷积核大小。

28、本发明中，fpn with ppm层根据卷积模型得到卷积特征向量，并对卷积特征向量进行池化处理，得到池化特征向量。

29、四、图像分割结果后处理

30、s4、将分割的鸟窝区域图像进行开运算去除其细微杂点，再通过面积统计排除鸟窝区域图像中像素面积不足的识别区域，并输出面积排除后的鸟窝区域图像。

31、本发明中，图像分割结果后处理分为两个步骤，开运算与面积统计。后处理方法中通过开运算处理细微杂点，并通过面积统计方法排除像素面积不足的识别区域，从而确定输出结果。

32、优选的，所述s4步骤的开运算中，通过腐蚀边界对原始影像去除噪声，再通过膨胀运算恢复图像中形状的原有边界，开运算具体为：

33、

34、其中，表示开运算，a表示原始图像，b表示选择的卷积核特征，（a-b）表示腐蚀边界，表示膨胀运算。

35、本发明中，由于模型较强的边缘提取能力，使得一些非鸟窝的细节易分割出来。为排除无关细节对于鸟窝识别的干扰，需要后处理过程对非鸟窝部分进行消除，得到较为纯净的分割图从而确定鸟窝位置。第一步是基于形态学的开运算处理排除细微干扰，其通过腐蚀边界（a-b）对原始影像去除噪声，去除极小误识别的干扰。最后通过膨胀运算来恢复图像中形状的原有边界。

36、优选的，所述s4步骤的面积统计中，排除鸟窝区域图像中面积未超出50像素的识别区域，保留鸟窝区域图像中面积50像素以上的联通区域并输出保留后的鸟窝区域图像。

37、本发明中，在排除细微干扰之后，进一步的通过统计分析得出鸟窝的一般性面积阈值。统计分析结果为当面积未超出50像素时，判断为极大可能非鸟窝与鸟窝细支并进行最终排除，输出结果仅保留像素面积50以上的联通区域。

38、本发明的有益效果：

39、本发明提供的铁路接触网支柱鸟窝检测方法，通过yolov5目标检测算法识别待检测接触网图像中的接触网支柱区域，通过自研的beidt细粒度分割模型分割接触网支柱区域图像中的鸟窝区域，最后将分割影像进行开运算、面积统计后处理去除干扰，并最终精确输出鸟窝位置，其高效且精确发现铁路接触网支柱的鸟窝缺陷，为人工排除留出足够的应急时间。

40、本发明提供的铁路接触网支柱鸟窝检测方法，根据鸟类生活习性，它们是不会在一根电线上搭鸟窝的，只会在有支撑的柱子上筑窝。所以根据这个特点先把沿途的接触网支柱从图像中先分离出来，再从支柱图像中二次分析是否有较小的鸟窝。这样由于对原图放大到了支柱区域，就可以更精确的检出较小的鸟窝。