一种应用于铁路行业人员跨越股道危险行为检测方法与流程

1.本发明涉及视频监控技术领域，尤其是涉及一种应用于铁路行业人员跨越股道危险行为检测方法。


背景技术：

2.近年来铁路货场安全事故频发，目前货运站场内主要通过人防手段对场内人员及其作业过程进行管控，无论是监管力度还是监管效率都有待提高。铁轨股道上禁止人员跨越，当前虽然已经部署了传统的视频监控手段，但未充分发挥视频的优势，监控视频主要用于事后调查追溯，未能充分发挥视频智能分析，即时推送报警的优势。


技术实现要素：

3.本发明主要是解决现有技术中传统视频监控无法进行智能分析和报警的问题，提供了一种应用于铁路行业人员跨越股道危险行为检测方法。
4.本发明的上述技术问题主要是通过下述技术方案得以解决的：一种应用于铁路行业人员跨越股道危险行为检测方法，用于对摄像机拍摄月台之间铁轨股道图像进行分析，包括以下步骤：
5.s1.预先设置摄像机监控图像中危险区域；
6.s2.采用预训练的深度学习目标检测模型识别图像中的人员；
7.s3.采用预训练的人体关节识别模型识别人员的脚踝关节点，根据脚踝关节点是否位于危险区域来进行第一次报警判断；
8.s4.采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，根据人员与铁轨股道临近关系是否为正常作业行为进行第二次报警判断；
9.s5.综合第一次报警判断和第二次报警判断，对人员跨越股道危险行为进行报警判断。
10.本发明能够实现自动检测铁轨股道上是否有人员跨越的危险行为，并能有效的过滤掉因人体遮挡导致的误报和因进出车厢装卸货物导致的误报，实现铁路货场人员违规跨越股道的准确检测。本发明结合通过脚踝关节点是否位于危险区的判断、人员是否安全作业两种情况来对人员跨越铁轨股道危险行为进行检测，排除了误报的情况，检测结构更加准确。
11.作为上述方案的一种优选方案，所述步骤s1具体过程包括：
12.采集摄像机拍摄铁轨股道的监控图像，沿铁轨股道区域设定对应的多个危险区域。
13.作为上述方案的一种优选方案，所述步骤s2具体包括：
14.采集一帧实时图像；
15.采用预训练的深度学习目标检测模型识别图像中的人员，获得人员识别结果，人员识别结果为一个人员识别框，包括人员识别框左上顶点坐标和宽高信息。
16.作为上述方案的一种优选方案，所述的采用预训练的人体关节识别模型识别人员的脚踝关节点，包括：
17.以人员识别框中心点为中心，裁剪中心点周边方形区域图像；其中方形区域可进行配置，方形区域一般取500*500像素区域。
18.将裁剪图像输入到预训练的人体关节识别模型中，获得人员各关节点，关节点包括所在坐标位置；
19.遍历每个人员的关节点，判断是否有识别到脚踝换节点，若有，将该人员的两个脚踝关节点的中心点记为报警点，若无，判定为人体不完整，结束该人员的判断。
20.作为上述方案的一种优选方案，所述的根据脚踝关节点是否位于危险区域来进行第一次报警判断，包括：
21.遍历报警点，以报警点为起点引出一条射线，统计射线与危险区域边界的相交次数，若相交次数为奇数，则判定报警点在危险区域内，对应人员符合第一报警条件，若相交次数为偶数，则判定报警点在危险区域外。
22.作为上述方案的一种优选方案，所述的采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，包括：
23.以人员识别框中心点为中心，裁剪中心点周边方形区域图像；其中方形区域可进行配置，方形区域一般取500*500像素区域。
24.将裁剪图像输入到预训练的深度学习多分类检测模型中，获得人员与铁轨股道临近关系；
25.其中根据预训练的深度学习多分类检测模型获得的人员与铁轨股道临近关系包括以下类别：躺在股道上类别、站在股道上类别、坐在股道上类别、站在铁轨线上类别、在股道旁类别、仅有铁轨股道类别、其他类别，其中其他类别包括人在车厢装卸货物和人在车头尾的情况，将躺在股道上类别、站在股道上类别、坐在股道上类别、站在铁轨线上类别作为报警分类，将在股道旁类别、仅有铁轨股道类别、其他类别作为非报警分类。本方案深度学习多分类检测模型为采用现有技术。采用resnet50神经网络，根据分类要求调整参数，并输入相应的训练集进行训练，可以得到一个分类模型。深度学习多分类检测模型基于人员与铁轨股道的位置关系进行训练的，分类类型包括七个类型。
26.作为上述方案的一种优选方案，所述的根据人员与铁轨股道临近关系是否为正常作业行为进行第二次报警判断，包括：
27.遍历各裁剪图像，判断裁剪图像的人员与铁轨股道临近关系是否属于报警分类，若是，判断为危险行为，对应人员符合第二报警条件，若否，判断正常作业情况。
28.作为上述方案的一种优选方案，所述步骤s5的具体过程包括：
29.根据步骤s4的第一次判断和步骤s5的第二次报警判断，判断人员是否同时符合第一报警条件和第二报警条件，若是，进行报警，保存当前报警发生的帧图像、分析过程的图像、报警前后p秒的原始视频，实时推送至报警平台；若否，不触发报警。时间p可以进行配置，一般取10秒。在触发报警后将当前报警发生的帧图像、分析过程的图像、报警前后p秒的原始视频，实时推送至报警平台，以供可视化查看和方便人员进行追踪处理。
30.因此，本发明能够实现自动检测铁轨股道上是否有人员跨越的危险行为，并能有效的过滤掉因人体遮挡导致的误报和因进出车厢装卸货物导致的误报，实现铁路货场人员
违规跨越股道的准确检测。
附图说明
31.图1是本发明的一种流程示意图；
32.图2是本发明监控图像预设危险区域的一种示意图；
33.图3是本发明中判断脚踝关节点是否落入危险区域的一种示意图。
具体实施方式
34.下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
35.实施例：
36.本实施例一种应用于铁路行业人员跨越股道危险行为检测方法，用于对摄像机拍摄月台之间铁轨股道图像进行分析，其中摄像机安装以俯角约30度，水平朝左或朝右偏转角约60度，拍摄月台的铁轨股道。在本方法中采用的各深度学习检测模型为采用现有技术手段，该检测模型采用pytorch深度学习框架作为本算法的训练识别框架，而resnet是残差网络(residual network)的缩写,该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分。典型的网络有resnet50,resnet101等，目前本算法中采用resnet50网络结构作为目标分类训练的神经网络结构。通过输入对应的样本进行训练，训练得到相应的分类器。
37.如图1所示，方法包括以下步骤：
38.s1.预先设置摄像机监控图像中危险区域；具体包括：
39.采集摄像机拍摄铁轨股道的监控图像，沿铁轨股道区域设定对应的多个危险区域a1,a2,
…
,an，如图2所示，设置有两个黑色框作为危险区域。
40.s2.采用预训练的深度学习目标检测模型识别图像中的人员；具体包括：
41.s21.采集一帧实时图像；
42.s22.采用预训练的深度学习目标检测模型识别图像中的人员，获得人员识别结果[p1k,p2k,
…
,pik，
…
pnk]，其中人员识别结果pik为一个人员识别框，包括人员识别框左上顶点坐标和宽高信息。
[0043]
s3.采用预训练的人体关节识别模型识别人员的脚踝关节点，根据脚踝关节点是否位于危险区域来进行第一次报警判断；具体包括：
[0044]
s31.以人员识别框中心点为中心，裁剪中心点周边500*500像素区域图像；
[0045]
s32.将裁剪图像输入到预训练的人体关节识别模型中，获得人员各关节点，关节点包括所在坐标位置；
[0046]
s33.遍历每个人员的关节点，判断是否有识别到脚踝换节点，若有，将该人员的两个脚踝关节点的中心点记为报警点，若无，判定为人体不完整，结束该人员的判断。
[0047]
s34.遍历报警点，以报警点为起点引出一条射线，统计射线与危险区域边界的相交次数，若相交次数为奇数，则判定报警点在危险区域内，对应人员符合第一报警条件，若相交次数为偶数，则判定报警点在危险区域外。如图3所示，以a和b两点为例，分别作向右的射线，其中a与危险区域边界相交次数为2次，为偶数，可以确定a点在危险区域外，而b点与危险区域边界相交次数为3次，为奇数，可以确定b点在危险区域内。
[0048]
s4.采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，根据人员与铁轨股道临近关系是否为正常作业行为进行第二次报警判断；具体包括：
[0049]
s41.以人员识别框中心点为中心，裁剪中心点周边500*500像素区域图像；
[0050]
s42.将裁剪图像输入到预训练的深度学习多分类检测模型中，获得人员与铁轨股道临近关系；
[0051]
其中根据预训练的深度学习多分类检测模型基于人员与铁轨股道的位置关系进行训练的，人员与铁轨股道临近关系包括以下类别：躺在股道上类别(lying_track)、站在股道上类别(sit_track)、坐在股道上类别(sit_track)、站在铁轨线上类别(walk_line)、在股道旁类别(by_track)、仅有铁轨股道类别(rails)、其他类别(other)，其中其他类别(other)包括人在车厢装卸货物和人在车头尾的情况，实际算法推理过程中，会根据算法训练得到的分类模型，进行场景泛化，人在车厢装卸货物以及人在车头车尾的情况都会被归类到其他类别(other)。将躺在股道上类别(lying_track)、站在股道上类别(sit_track)、坐在股道上类别(sit_track)、站在铁轨线上类别(walk_line)作为报警分类，将在股道旁类别(by_track)、仅有铁轨股道类别(rails)、其他类别(other)作为非报警分类。
[0052]
s43.遍历各裁剪图像，判断裁剪图像的人员与铁轨股道临近关系是否属于报警分类，若是，判断为危险行为，对应人员符合第二报警条件，若否，判断正常作业情况。
[0053]
s5.综合第一次报警判断和第二次报警判断，对人员跨越股道危险行为进行报警判断。具体包括：
[0054]
根据步骤s4的第一次判断和步骤s5的第二次报警判断，判断人员是否同时符合第一报警条件和第二报警条件，若是，进行报警，保存当前报警发生的帧图像、分析过程的图像、报警前后10秒的原始视频，实时推送至报警平台，以供可视化查看和方便人员进行追踪处理；若否，不触发报警。
[0055]
在完成上述步骤后进入到对下一帧图像的分析。其中为了避免同一人员在短时间内频繁报警，还可以设置两个报警之间的间隔时间，将处于间隔时间内的报警过滤。
[0056]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。