一种基于多任务学习网络的铁路非特定异物侵限整体检测方法

[]本发明涉及铁路异物侵限检测，尤其涉及一种基于多任务学习网络的铁路非特定异物侵限整体检测方法。

背景技术：

0、[背景技术]

1、随着交通强国的不断建设发展，我国的铁路线路不断增加，保证铁路安全运营成为极为关键的一项工作。而铁路行车范围内的异物入侵则会严重威胁到列车运行安全，异物入侵到铁路轨道上使得运行中的列车与其相撞所造成的危害是最大的安全隐患之一。铁路行车范围内异物入侵指的是具有一定体积和质量的固体物体在外力作用下进入轨道限界内。但是铁路异物入侵发生的时间随机且不确定，因此，实现实时异物入侵检测是保证铁路安全运营的关键技术挑战。

2、针对铁路异物入侵检测问题，许多研究人员做出了大量的研究，并提出了一些系统的解决方案用来检测以及防范出现异物入侵的情况。现有的检测异物入侵铁路轨道范围内的方法主要有接触式异物检测和非接触式异物检测，但这些方法都需要人工辅助，而且检测的精度和实时性无法满足铁路列车运行安全的需要。

3、在铁路异物入侵实时检测方面，现有技术存在以下缺陷：

4、(1)只针对特定几类异物

5、现有技术通常针对铁路上特定异物的检测，比如人、石头、动物、列车等。然而，在铁路行车范围内出现的异物种类繁多并且特征不同，如滑坡、泥石流这类大型异物或者是不常见的动物等对列车运行同样存在严重危害，有必要能实时检测出他们。

6、(2)检测实时性不足

7、现有技术通常直接对铁路进行异物检测，但是这种方法相对来说效率更低。对于铁路行车范围内的异物检测任务来说，只需要检测出侵入限界范围内，会影响到列车正常运行的异物即可，不需要包含整个摄像头所能拍摄到的景象，这不仅加重了模型的检测负担同时还会存在很多误检的情况。

8、(3)检测精度不高

9、现有技术通常采用基于直接回归的目标检测算法以提高模型的检测速度，但是往往检测的精度不高。基于直接回归的目标检测算法没有用到候选区域，而是直接通过前馈网络一次提取特征输出目标的类别和位置，虽然可以快速识别出检测图像中的目标，但很难精确定位小目标。对于较为复杂的铁路地段或重要的咽喉车站区，不仅需要实时检测，而且需要高精度检测。

10、综上，铁路行车范围内的异物入侵检测急需一种能够检测所有异物入侵的高精度实时检测方法。

技术实现思路

0、[
技术实现要素：
]

1、本发明提出了一种基于多任务学习网络的铁路非特定异物侵限整体检测方法，有效扩展了现有技术的适用范围，同时提升了铁路异物入侵检测的效率和精度。

2、所述的一种基于多任务学习网络的铁路非特定异物侵限整体检测方法，能够实现铁路行车范围内的异物入侵高精度实时检测，且不限定异物的种类。首先通过一个主干网络提取出轨道区域和待检测目标的共同特征，接着同时通过两个分支，一个是用于从铁路场景中分割出轨道部分的语义分割分支，另一个是用于检测侵入轨道区域的人或列车的目标检测分支，然后这两个分支同时进入判别模块，通过分析语义分割分支和目标检测分支输出的结果来判断是否需要报警。

3、所述的非特定异物是指除了人和列车以外的其他任何会影响到列车运行安全的物体。能够出现在铁路限界范围的人一般是对铁路进行检修的工作人员，不能作为侵入铁路限界范围的异物，除了人之外，正常行驶的列车也不能作为异物。

4、一种基于多任务学习网络的铁路非特定异物侵限整体检测方法，其特征在于，该方法包括以下步骤：

5、步骤1：构建铁路异物侵限数据集：首先通过人工采集、开源数据和网络爬取采集铁路图像数据，再采用人工标注的方式，利用labelme进行目标检测数据和语义分割数据的标注，最后利用几何变换、光照变换、混合变换和遮挡变换进行图像数据增强，根据铁路异物入侵检测的特点，建立一个带有标签的铁路异物侵限数据集。

6、步骤2：训练语义分割分支和目标检测分支：根据铁路异物侵限检测的特点，语义分割分支采用yolop网络中用于分割可驾驶区域和车道线区域的分割网络，目标检测分支采用yolo v5s网络的解码头部分，再使用构建的铁路异物侵限数据集分别训练两个分支。

7、步骤3：将训练完成的语义分割分支和目标检测分支连同主干网络一起部署到检测设备上，输入铁路监控图像。

8、步骤4：通过主干网络进行特征提取：所述的主干网络包括focus模块、spp模块和bottlencsp模块，同时采用fpn网络将主干网络中三部分输出的特征层聚合起来，以结合不同尺度的特征信息，并采用csp2网络结构提高整个网络的特征融合能力，主干网络结构如附图2所示。

9、步骤5：将主干网络输出的特征图同时输入到语义分割分支和目标检测分支。

10、所述的语义分割分支用于提取轨道部分：将fpn网络的底层馈送到语义分割分支，经过三个上采样过程，将从主干网络输入的特征图还原到原始尺寸，并输出图像中轨道区域的二值化像素占比；所述的上采样过程使用最邻近插值法来降低计算成本；并采用像素准确率pa、平均交并比miou和每秒传输帧数fps评价语义分割分支对铁路轨道部分的提取效果。

11、pa是预测正确的像素数与图像中所有像素总和的比值，计算表达式如下：

12、

13、其中，n是类别的总数，nii是指第i种类别被正确预测成第i类的像素数量，mi是第i种类别的总像素数。

14、miou是所有类别的交并比求和之后再求均值，本发明只涉及轨道类别，图像中除轨道的部分均被识别为背景，因此，miou等于轨道交并比iou。

15、fps是每秒内模型能够检测的图像数量，用于评估模型检测的实时性，其数值与检测速度正相关，当fps≥30时则模型检测具有实时性。

16、所述的目标检测分支用于检测图像中是否存在人或列车：通过neck网络对主干网络输出的特征图中的特征点进行判断，确定是否存在人或列车与其对应，再利用一个1×1的卷积层实现人和列车的分类；并采用查准率p、召回率r、交并比iou和均值平均精度map评价目标检测分支对铁路限界范围内的人和列车的检测效果。

17、查准率p用于表征最终检测结果的精准度，模型输出的预测区域是否都是正确的区域，其计算公式如下：

18、

19、其中，tp是真正例，fp是假正例。

20、召回率r用于表征模型检测结果的全面程度，图像中所有被标注过的目标是否都被预测，其计算公式为：

21、

22、其中，fn是假负例。

23、交并比iou用于评价目标检测算法的性能，以a代表预测边界框，b代表真实边界框，则iou的计算公式为：

24、

25、在本发明中，取0.5作为iou的阈值，若模型预测结果的iou大于阈值，则判定其为正样本，反之即为负样本。

26、均值平均精度map用于表征人和列车的平均精度ap的均值，并且取0.5作为iou的阈值，记为map@0.5；ap是检测人或列车的平均准确度，在检测时，通过计算人或列车的p和r，可以得出p-r曲线，其与坐标系围成的面积大小即为ap的值。

27、步骤6：进入判别模块：通过分析语义分割分支输出的结果二值化像素占比变化值是否超出阈值，以及目标检测分支输出的结果是否存在人或列车来判断是否需要报警。若语义分割分支输出的结果二值化像素占比变化值超出阈值，同时，在目标检测分支输出的结果中没有检测到人或列车，则判定存在异物侵入轨道的现象，即进入下一步骤7，否则返回步骤4。

28、步骤7：输出警报。

29、[有益效果]

30、本发明提出了一种基于多任务学习网络的铁路非特定异物侵限整体检测方法，该方法基于多任务学习网络将语义分割分支和目标检测分支同时进行，两个分支相互影响，从而有效提高了铁路非特定异物侵限检测的精度。并且对比分析现有的目标检测算法和语义分割算法，选用的yolo v5s算法和yolop算法的实时性和精确度都较高，两个算法模型都是轻量级网络，对硬件要求更低，更适合部署在设备上，而且对于较为复杂的铁路地段或重要的咽喉车站区，能够做到高精度实时检测。