扶梯逆行的识别方法、装置及电子设备与流程

1.本发明涉及图像识别技术领域，尤其涉及一种扶梯逆行识别方法、装置及电子设备。


背景技术：

2.目前自动扶梯在各大商场、地铁站点、火车站、机场等人流量密集的地方都有应用，自动扶梯在给人们带来极大便捷的同时，也会因为一些不当使用对人们造成生命财产的损失。例如儿童在自动扶梯逆行就是一种极其危险的行为，极易导致儿童摔倒滚落，手指被夹断等恶性后果。
3.为了扶梯上的行人人身安全，现有技术已经开放一些对人在扶梯上的逆行行为进行实时报警的方法，但该些主要是通过增加传感器等各种硬件来实现对人在扶梯的行为识别，布置成本高，识别准确率低。


技术实现要素：

4.本发明的目的在于提供扶梯逆行识别方法、装置及电子设备，能够在不同的摄像头拍摄角度下精确计算人在扶梯各个位置的沿着扶梯方向的速度，准确的进行扶梯逆行的判断。
5.为实现上述目的，本发明提供一种扶梯逆行的识别方法，包括如下步骤：步骤s1、获取待检测的图像，识别待检测的图像中朝向异常的人头的位置及该人头沿扶梯延伸方向的像素速度；步骤s2、获取历史数据集，所述历史数据集包括通过识别待检测图像之前多幅历史图像得到多条第一数据，每一条第一数据均包括一历史图像中的一人头在扶梯上的位置与该人头在该位置时其对应沿扶梯延伸方向的像素速度；步骤s3、利用多个第一数据拟合得到第一函数，所述第一函数用于表示图像中沿扶梯延伸方向的拟合速度与扶梯位置之间的关系；步骤s4、根据所述朝向异常的人头的位置和第一函数，得到朝向异常的人头的沿扶梯延伸方向的拟合速度；步骤s5、确定所述朝向异常的人头沿扶梯延伸方向的拟合速度与像素速度之间的差值，当所述差值小于预设的速度差值阈值时，判定该人头为逆行。
6.可选地，所述步骤s1具体包括：对待检测的图像进行目标识别，得到待检测的图像中所有的人头；对所述待检测的图像中的所有的人头进行分类检测，得到待检测的图像中朝向异常的人头的位置；对朝向异常的人头进行跟踪，根据跟踪前后人头位置的变化情况计算得到朝向异常的人头的像素速度；对朝向异常的人头的像素速度进行速度分解，得到朝向异常的人头沿扶梯延伸方
向的像素速度和垂直扶梯延伸方向的像素速度。
7.可选地，所述步骤s2具体包括：提取待检测的图像之前预设时段的多幅历史图像；识别所述历史图像集中各个历史图像中所有人头的位置及像素速度；将所述人头的像素速度进行速度分解，得到人头沿扶梯延伸方向的像素速度和人头垂直扶梯延伸方向的像素速度；用人头在扶梯上的位置与该人头在该位置时对应沿扶梯延伸方向的像素速度组成第一数据，得到包括多条第一数据的历史数据集。
8.可选地，所述步骤s3中的第一函数的表示如下：vy=f（y）；其中f为一次或者二次函数，y表示人头的位置，vy表示人头在y位置时对应沿扶梯延伸方向的拟合速度。
9.可选地，所述步骤s5判断逆行的公式为：vy-vv《a*std其中，vy为朝向异常的人头沿扶梯延伸方向的拟合速度，vv为朝向异常的人头沿扶梯延伸方向的像素速度，std为历史数据集中与该朝向异常的人头的位置相同的沿扶梯延伸方向的像素速度的标准差，a为可调节参数。
10.可选地，所述步骤s1中，待检测图像来源于第一摄像头；当所述扶梯为向靠近第一摄像头方向的运行的扶梯时，所述朝向异常的人头为背面人头；当所述扶梯为向远离第一摄像头方向的运行的扶梯时，所述朝向异常的人头为正面人头。
11.可选地，所述方法还包括：步骤s6、统计除已经被判定为逆行的人头以外的每一人头在扶梯上的逗留时长，并在当一人头的逗留时长与预设的常规通行时长之间差值大于预设的时间阈值时，判定该人头为逆行。
12.可选地，通过计算历史图像集中各个人头在扶梯区域内逗留的平均时长确定所述常规通行时长。
13.本发明还提供一种扶梯逆行的识别装置，包括：检测单元，用于获取待检测的图像，识别待检测的图像中朝向异常的人头的位置及该人头沿扶梯延伸方向的像素速度；获取单元，用于获取历史数据集，所述历史数据集包括通过识别待检测图像之前多幅历史图像得到多条第一数据，每一条第一数据均包括一历史图像中的一人头在扶梯上的位置与该人头在该位置时其对应沿扶梯延伸方向的像素速度；拟合单元，用于利用多个第一数据拟合得到第一函数，所述第一函数用于表示图像中沿扶梯延伸方向的拟合速度与扶梯位置之间的关系；计算单元，用于根据所述朝向异常的人头的位置和第一函数，得到朝向异常的人头的沿扶梯延伸方向的拟合速度；判断单元，用于确定所述朝向异常的人头沿扶梯延伸方向的拟合速度与像素速度
的含义是两个或两个以上，除非另有明确具体的限定。
21.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
22.请参阅图1，本发明提供一种扶梯逆行的识别方法，包括如下步骤：步骤s1、获取待检测的图像，识别待检测的图像中朝向异常的人头的位置及该人头沿扶梯延伸方向的像素速度。
23.具体地，如图2、图5、图6及图7所示，所述步骤s1具体包括：对待检测的图像进行目标识别，得到待检测的图像中所有的人头；对所述待检测的图像中的所有的人头进行分类检测，得到待检测的图像中朝向异常的人头的位置；对朝向异常的人头进行跟踪，根据跟踪前后人头位置的变化情况计算得到朝向异常的人头的像素速度；对朝向异常的人头的像素速度进行速度分解，得到朝向异常的人头沿扶梯延伸方向的像素速度和垂直扶梯延伸方向的像素速度。
24.其中，优选地，对待检测的图像进行目标识别通过yolov5s网络模型实现，对所述待检测的图像中的所有的人头进行分类检测通过预训练的图像分类网络完成，对所有人头进行跟踪的方法通过deepsort跟踪方法实现。
25.进一步地，所述步骤s1中获取待检测的图像具体包括：读取视频流，按照预设的抽帧方法从所述视频流从获取图像帧，如每10帧抽取一帧，将抽取得到的图像帧组合得到历史图像集。
26.进一步地，所述视频流可通过待监测的扶梯对应的监控摄像头拍摄得到，所述监控摄像头应当能够完整的拍摄出扶梯所在的区域，扶梯的运行方向可以是朝向摄像头运行或远离摄像头运行。
27.具体地，根据前后人头位置的变化情况计算得到所有人头的像素速度的具体包括：根据前后人头的位置坐标以及该前后人头之间所间隔的帧数，确定人头移动的距离及耗费的时间，进而根据距离与时间计算得到所有人头的像素速度。
28.具体地，结合图5与图8，所述步骤s1中，待检测图像来源于第一摄像头；当所述扶梯为向靠近第一摄像头方向的运行的扶梯时，所述朝向异常的人头为背面人头；当所述扶梯为向远离第一摄像头方向的运行的扶梯时，所述朝向异常的人头为正面人头。
29.其中，对于所述人头的朝向可通过分类网络模型来进行识别。
30.如图8所示，图8中扶梯为下行（靠近第一摄像头方向的运行的扶梯），此时图8中的背面人脸即为朝向异常的人头，需要列为可疑人员进行后续识别，而正面人脸的朝向正常
无需识别。
31.步骤s2、获取历史数据集，所述历史数据集包括通过识别待检测图像之前多幅历史图像得到多条第一数据，每一条第一数据均包括一历史图像中的一人头在扶梯上的位置与该人头在该位置时其对应沿扶梯延伸方向的像素速度。
32.具体地，如图3所示，所述步骤s2具体包括：提取待检测的图像之前预设时段的多幅历史图像；识别所述历史图像集中各个历史图像中所有人头的位置及像素速度；将所述人头的像素速度进行速度分解，得到人头沿扶梯延伸方向的像素速度和人头垂直扶梯延伸方向的像素速度；用人头在扶梯上的位置与该人头在该位置时对应沿扶梯延伸方向的像素速度组成第一数据，得到包括多条第一数据的历史数据集。
33.具体地，所述步骤s3中，所述数据点的表示如下：（y1,vy1）、（y2, vy2）、（y3, vy3）、（yn, vyn），其中，y1、y2、y3及yn表示人头在扶梯上的位置，vy1、vy2、vy3及vyn表示人头在该位置时对应沿扶梯延伸方向的像素速度。
34.需要说明的是，所述步骤s1和步骤s2中，将每个位置的人头的像素速度进行速度分解，分解成人头沿扶梯延伸方向的像素速度vy和人头垂直扶梯延伸方向的像素速度vy，每一个位置均包括一段时间的通过的多个人头的像素速度，进而可以针对每一个位置得到不同时间点的多个人头沿扶梯延伸方向的像素速度vy。
35.其中，使用速度分解，能够排除行人左右晃动导致的速度拟合不准的情形。
36.步骤s3、利用多个第一数据拟合得到第一函数，所述第一函数用于表示图像中沿扶梯延伸方向的拟合速度与扶梯位置之间的关系。
37.具体地，所述步骤s3中的第一函数的表示如下：vy=f（y）；其中f为一次或者二次函数，y表示人头的位置，vy表示人头在y位置时对应沿扶梯延伸方向的拟合速度。
38.步骤s4、根据所述朝向异常的人头的位置和第一函数，得到朝向异常的人头的沿扶梯延伸方向的拟合速度。
39.具体地，结合图8，图7中的背面人脸即为朝向异常的人头，所述此时获取图8中背面人脸的检验框，根据所述检验框确定所述背面人脸的位置y，并代入第一函数，得到背面人脸的沿扶梯延伸方向的拟合速度vy。
40.其中，通过拟合函数得到拟合速度，能克服图像上由于扶梯位置距离摄像头远近不同，而导致的行人像素速度不同的问题。
41.步骤s5、确定所述朝向异常的人头沿扶梯延伸方向的拟合速度与像素速度之间的差值，当所述差值小于预设的速度差值阈值时，判定该人头为逆行。
42.具体地，如图4所示，所述步骤s5具体包括：确定历史数据集中与该朝向异常的人头的位置相同的沿扶梯延伸方向的像素速度的标准差，并根据所述标准差确定速度差值阈值；计算朝向异常的人头沿扶梯延伸方向的拟合速度与像素速度的差值；比较所述差值与速度差值阈值，并根据比较结果确定该朝向异常的人头是否逆
行。
43.具体地，所述步骤s5判断逆行的公式为：vy-vv《a*std其中，vy为朝向异常的人头沿扶梯延伸方向的拟合速度，vv为朝向异常的人头沿扶梯延伸方向的像素速度，std为历史图像集中与该朝向异常的人头的位置相同的沿扶梯延伸方向的像素速度的标准差，a为可调节参数，一般来说朝向异常的人头的可调节参数小于朝向正常的人头。
44.进一步地，为了避免有人故意反向站立逆行导致的漏识别，本发明的一些实施例中还包括以下步骤：步骤s8、统计除已经被判定为逆行的人头以外的每一人头在扶梯上的逗留时长，并在当一人头的逗留时长与预设的常规通行时长之间差值大于预设的时间阈值时，判定该人头为逆行。
45.其中，通过计算历史图像集中各个人头在扶梯区域内逗留的平均时长确定所述常规通行时长。
46.通过人员在扶梯区域的逗留时长辅助判断是否存在逆行行为，能够进一步增加检测识别的准确率。
47.请参阅图9，本发明还提供一种扶梯逆行的识别装置，包括：检测单元10，用于获取待检测的图像，识别待检测的图像中朝向异常的人头的位置及该人头沿扶梯延伸方向的像素速度；获取单元20，用于获取历史数据集，所述历史数据集包括通过识别待检测图像之前多幅历史图像得到多条第一数据，每一条第一数据均包括一历史图像中的一人头在扶梯上的位置与该人头在该位置时其对应沿扶梯延伸方向的像素速度；拟合单元30，用于利用多个第一数据拟合得到第一函数，所述第一函数用于表示图像中沿扶梯延伸方向的拟合速度与扶梯位置之间的关系；计算单元40，用于根据所述朝向异常的人头的位置和第一函数，得到朝向异常的人头的沿扶梯延伸方向的拟合速度；判断单元50，用于确定所述朝向异常的人头沿扶梯延伸方向的拟合速度与像素速度之间的差值，当所述差值小于预设的速度差值阈值时，判定该人头为逆行。
48.请参阅图10，本发明还提供一种电子设备，包括：存储器100和处理器200，所述存储器100存储有计算机程序，所述计算机程序被所述处理器200执行时，使得所述处理器200执行上述方法的步骤。
49.综上所述，本发明提供一种扶梯逆行的识别方法、装置及电子设备，所述方法使用速度的分解，将人头的速度分解成沿着扶梯延伸方向和垂直扶梯延伸方向的速度，能够排除行人左右晃动导致的速度识别不准；使用函数拟合出行人在每个位置上沿着扶梯延伸方向的速度大小，能够克服由于扶梯位置距离摄像头远近不同，图像上行人的像素速度不同的问题；最后，根据各个位置上的拟合速度和行人沿着扶梯延伸方向的像素速度的对比结果，来判断是否逆行，能够提升逆行判断的准确性。
50.以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。