一种铁路行车轨道范围内非特定异物侵限的分步检测方法

[]本发明涉及铁路异物侵限检测，尤其涉及一种铁路行车轨道范围内非特定异物侵限的分步检测方法。

背景技术：

0、[背景技术]

1、随着高速铁路的出现，铁路成为国内外常用的交通工具之一。随着交通强国的不断建设发展，我国的铁路线路还在不断增加，运营里程也在高速增长，在这样的情况，保证铁路安全运营成为极为关键的一项工作。其中最重要的是保证列车在铁路轨道上的安全运行，不发生脱轨事故。影响列车发生脱轨的安全因素中，异物入侵到铁路轨道行车范围内，使运行中的列车与其相撞所造成的危害是最大的安全隐患之一。而铁路异物入侵发生的时间随机且不确定，因此，实时检测异物入侵行车范围内是保证铁路安全运营的关键技术挑战。

2、针对铁路异物入侵问题，许多研究人员做出了大量的研究，并提出了一些系统的解决方案用来检测以及防范出现异物入侵的情况。现有的检测异物入侵铁路周界范围内的方法主要有接触式异物检测和非接触式异物检测。接触式异物检测一般是通过传感元件直接或者间接与异物接触得到异物信息的方法，比如光纤光栅检测和电网检测；非接触式异物检测，其主要是利用了声波和电磁波的传输特性，这样可以不需要接触到异物就能获取到异物的信息，比如激光、超声波检测、雷达检测、红外线屏障法以及视频检测法。

3、在铁路异物入侵实时检测方面，现有技术存在以下缺陷：

4、(1)只针对特定几类异物

5、现有技术通常针对铁路上特定异物的检测，比如人、石头、动物、列车等。然而，在铁路行车范围内出现的异物种类繁多并且特征不同，如滑坡、泥石流这类大型异物或者是不常见的动物等对列车运行同样存在严重危害，有必要能实时检测出他们。

6、(2)未划分侵限区域

7、现有技术通常直接对铁路进行异物检测，但是这种方法相对来说效率更低。因为铁路沿线设置的监控摄像头一般都是俯拍角度，所以会将铁路附近的景象都包含进去，甚至包括铁路附近的公路上的景象。对于铁路周界内的异物检测任务来说，只需要检测出侵入限界范围内，会影响到列车正常运行的异物即可，而对于没有划分侵限区域的方法来说，其所检测的范围是整个摄像头所能拍摄到的景象，这不仅加重了模型的检测负担同时还会存在很多误检的情况。

8、综上，铁路行车范围内的异物入侵检测急需一种能够检测所有异物入侵且实时性高的检测方法。

技术实现思路

0、[
技术实现要素：
]

1、本发明提出了一种铁路行车轨道范围内非特定异物侵限的分步检测方法，有效扩展了现有技术的适用范围，同时提升了铁路异物入侵检测的效率和精度。

2、所述的一种铁路行车轨道范围内非特定异物侵限的分步检测方法，其中的非特定异物是指除了人和列车以外的其他任何会影响到列车运行安全的物体。因为现在中国铁路上的那些平交道口都已经被取缔了，而且铁路沿线也设置了围栏以阻挡行人的进入，所以出现在铁路限界范围的人一般是对铁路进行检修的工作人员。在这种情况下，图像中出现的人不能被算做是侵入铁路限界范围的异物。除了人之外，图像中出现的正常行驶的列车也不能算是异物。针对铁路行车轨道范围内非特定异物的实时检测，本发明基于目标检测网络和语义分割网络设计了一种铁路非特定异物侵限的分步检测方法。

3、一种铁路行车轨道范围内非特定异物侵限的分步检测方法，其特征在于能够实时检测出入侵轨道行车范围内的异物，且不限定异物的种类。该方法首先通过分割网络提取出轨道以划分侵限区域，再利用侵限判别模块判断是否有异物侵限，最后通过目标检测网络检测图像中是否存在人或列车。

4、对于铁路异物侵限检测来说，实时性和轻量性的要求是需要满足的，所以目标检测网络选用yolo v5s网络，语义分割网络选用pp-liteseg网络。在使用yolo v5s目标检测网络和pp-liteseg语义分割网络进行铁路非特定异物侵限分步检测之前，需要在对应的铁路异物侵限数据集上进行训练，以便模型能够学习如何识别目标的特征。由于现有研究还未有公开的铁路异物侵限数据集，因此，本发明将研究铁路异物入侵检测的特点和标注方法，建立一个带有标签的数据集，具体包括以下步骤：

5、步骤1：铁路图像数据采集，主要包括人工采集、开源数据和网络爬取，在铁路异物侵限数据集中加入网络数据，可以提高网络的泛化性；

6、步骤2：铁路图像数据标注，本发明主要采用人工标注的方式，利用labelme进行目标检测数据和语义分割数据的标注；

7、步骤3：铁路图像数据增强，数据增强的方式主要有几何变换、光照变换、混合变换和遮挡变换。

8、在完成铁路异物侵限数据集构建之后，使用该数据集分别训练目标检测网络和语义分割网络。从头开始进行训练需要耗费大量精力和算力，因此本发明基于迁移学习采用了预训练权重的方法，预训练权重大多数都是在大型基准数据集上训练得出的最佳权值，具有较好的泛化性。

9、所述的pp-liteseg语义分割网络提取轨道侵限区域方法，具体包括以下步骤：

10、步骤1：采集铁路限界视频图像；

11、步骤2：从不同的网络层中抽取特征编码；

12、步骤3：金字塔池化模块聚合全局上下文；

13、步骤4：解码器融合从高层级到低层级的细节特征和语义特征，并且使用统一注意力融合模块来加强特征表示；

14、步骤5：掩码输出轨道部分。

15、基于平均交并比miou、像素准确率pa和dice系数评价pp-liteseg模型对铁路轨道侵限区域的提取效果。

16、miou是所有类别的交并比求和之后再求均值，考虑到本发明只涉及轨道类别，图像中除轨道的部分均被识别为背景，因此，miou等于轨道交并比iou。

17、pa为预测正确的像素数与图像中所有像素的比值，计算表达式如下：

18、

19、其中，n是类别的总数，nii是指第i种类别被正确预测成第i类的像素数量，mi是第i种类别的总像素数。

20、dice系数用于度量两个集合之间的相似度，通过混淆矩阵可得出表达式：

21、

22、其中，x和y是两个集合，tp是真正例，fp是假真例，fn是假反例。

23、所述的侵限判别模块，其作用在于判断该图像中的轨道部分是否存在遮挡，如果存在遮挡就进入到下一个目标检测网络，反之如果不存在，就不会进入到后面的检测网络。通过判断轨道占比差值是否超过阈值，判断是否进入目标检测网络。具体包括以下步骤：

24、步骤1：计算语义分割网络分割出来当前帧图像中的轨道部分在整张图像中的占比；

25、步骤2：自适应地更换最大轨道占比值；

26、步骤3：将当前帧图像的轨道占比值与最大轨道占比值相减得到绝对值；

27、步骤4：判断绝对值的大小是否超出设定的阈值，如果超出了设定的阈值，那么说明当前帧图像存在物体，则进入下一步骤5，反之则没有物体入侵轨道区域，返回步骤1；

28、步骤5：将当前帧图像输入到目标检测网络。

29、所述的yolo v5s目标检测网络，用于检测输入的图像中是否存在人或者列车这两个目标，如果不存在，则发出警报，发送到相应地调度指挥控制中心，工作人员及时做出反应，避免出现列车碰撞异物而出轨的现象。反之，如果输入的图像中存在人或者列车，则不选择报警。具体包括以下步骤：

30、步骤1：输入轨道占比差值超过设定阈值的当前帧图像；

31、步骤2：对输入图像进行预处理，采用自适应计算锚框和自适应图像缩放的方法；

32、步骤3：通过由focus网络结构和csp网络结构组成的主干网络，将尺寸为640×640×3的原始图像进行切片操作得到尺寸为320×320×12的特征图，再通过32个卷积核卷积操作后即得到320×320×12的特征图；

33、步骤4：通过采用fpn+pan结构的neck网络；

34、步骤5：输出目标识别的结果，如果不存在人或者列车这两个目标，则进入步骤6，反之，则返回步骤1；

35、步骤6：输出警报。

36、基于查准率p、召回率r、交并比iou和均值平均精度map评价yolo v5s模型对铁路周界范围内的人和列车的检测效果。

37、查准率p用于表征最终检测结果的精准度，模型输出的预测区域是否都是正确的区域，其计算公式如下：

38、

39、召回率r用于表征模型检测结果的全面程度，图像中所有被标注过的目标是否都被预测，其计算公式为：

40、

41、交并比iou用于评价目标检测算法的性能，以a代表预测边界框，b代表真实边界框，则iou的计算公式为：

42、

43、根据深度学习经验，取0.5作为iou的阈值。在本发明中，模型预测结果的iou大于阈值0.5，则判定其为正样本，反之即为负样本。

44、均值平均精度map用于表征人和列车的平均精度ap的均值，并且取0.5作为iou的阈值，记为map@0.5；ap是检测人或列车的平均准确度，在检测时，通过计算人或列车的p和r，可以得出p-r曲线，其与坐标系围成的面积大小即为ap的值。

45、[有益效果]

46、本发明提出了一种铁路行车轨道范围内非特定异物侵限的分步检测方法，该方法可以节省大量的目标检测时间，只有可能存在异物时才会对图像进行目标检测，大大减少算力资源，从而极大地提高铁路非特定异物侵限的检测效率。并且对比分析现有的目标检测算法和语义分割算法，选用的yolo v5s目标检测算法和pp-liteseg语义分割算法实时性和精确度都较高，并且两个算法模型都是轻量级网络，对硬件要求更低，更适合部署在设备上。