一种行人异常行为检测方法、系统、存储介质及计算机设备与流程

本发明属于检测领域，具体而言，涉及一种行人异常行为检测方法、系统、存储介质及计算机设备。

背景技术：

在某些重要的监控区域(例如劳动改造车间、车站进出口、安防重点管控区域等)，群体运动中会存在一些行人异常行为(违规改变运动方向、违规越界)的安全隐患。现有针对行人异常行为的检测，存在种种问题，比如，视频监控被动记录视频，难以做到实时检测预警的问题；人工监控的方法，人员检测耗费人力物力巨大、存在漏检现象的问题；采取群体行为分析，算法过于复杂，计算量大的问题。

技术实现要素：

本发明所要解决的技术问题是针对现有技术存在的问题，提供一种行人异常行为检测方法、系统、存储介质及计算机设备。

本发明解决上述技术问题的技术方案如下：一种行人异常行为检测方法，包括以下步骤：s1，在监控场景内标定特定区域r和预设人流方向nord；s2，获取所述监控场景的实时视频流，在所述特定区域r中进行每个行人的运动轨迹跟踪；s3，计算所述特定区域r中每个行人运动轨迹的方向矢量，根据所述运动轨迹的方向矢量和预设人流方向nord进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。

本发明的有益效果是：通过标定特定区域，对重点区域进行重点监控，并对特定区域的行人进行运行轨迹跟踪以确定运动轨迹的方向矢量，进而与预设行人流方向进行比对，实现对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，通过多目标跟踪器将当前帧检测出来的所有bbox和前一帧检测出来的所有bbox逐一作两两匹配，匹配到的bbox为其分配同一个id，表示其为同一个物体，匹配不上的bbox，表示其为一个新出现的物体；其中，bbox是一个4维向量(u,v,w,h)，用于表示一个矩形框；其中(u,v)是矩形中心点坐标，w是矩形框的宽度，h是矩形框的高度，单位为像素；所述矩形框用于标注感兴趣的目标物体在图像中的具体位置。

进一步地，所述s3包括：s3.1，根据如下公式确定行人运动轨迹的方向矢量，其中，表示行人i在第t帧的方向；pi^t表示行人i在第t帧时在二维图像上的位置；pi^t-n表示行人i在第t-n帧时在二维图像上的位置，所述n为小于t的正整数,根据行人速度和监控帧频进行预设；s3.2，将所述行人运动轨迹的方向矢量与所述预设人流方向nord点乘，当点乘结果大于或等于0时，判定为方向正常，当点乘结果小于0时，判定为方向异常；s3.3，利用第一预设颜色的矩形框对方向异常行人进行标定。

采用上述进一步方案的有益效果是：通过对相邻n帧的行人位置作差，得到行人方向，再与预设人流方向进行点乘，以获得异常判定结果，该算法具有简洁、快捷、易于理解、稳定性好的特点，采用该算法，实现对行人异常方向检测的速度和降低误判率。

进一步地，s4，在所述特定区域r中标定异常预警边界；根据所述异常预警边界对所述异常行人进行异常越界判定，将异常越界的所述异常行人标定为异常越界行人，利用第二预设颜色的矩形框对异常越界行人进行标定。

采用上述进一步方案的有益效果是：通过设定异常预警边界，对行人的异常行为进行进一步判定和处理，进一步提高对行人异常行为的检测和处理效果，以适应不同应用场景的需要。

进一步地，所述异常预警边界为纵坐标为固定值gatey的一条直线；所述s4包括：

根据如下公式进行异常越界判定：

其中，表示异常行人i在t帧上的y坐标，gatey表示异常预警边界的y坐标，表示异常行人i在t-1帧上的y坐标，当f′＝0时判定为未异常越界，f′＝1时表示异常越界。

采用上述进一步方案的有益效果是：该算法具有简洁、快捷、易于理解、稳定性好的特点，采用该算法，实现对行人异常方向检测的速度和降低误判率。

进一步地，还包括：s5，根据出现异常方向到异常越界的视频流中的视频帧数缓存视频流，或者根据预设视频缓存帧数缓存视频流；所述预设视频帧数根据存储空间容量设定；根据缓存的所述视频流对所述异常越界行人的运动轨迹进行回溯，得到所述异常越界行人回溯运动轨迹，并显示所述异常越界行人回溯运动轨迹。

采用上述进一步方案的有益效果是：通过对行人越界之前的运动轨迹进行回溯，更为直观、快捷地以给使用人员反馈更多的检测信息，进一步提高检测的效果。

进一步地，所述s5包括：将检测到异常行人越界的视频帧为单目跟踪器的初始帧，将多目标跟踪器检测到的所述异常行人的bbox作为单目标跟踪器的初始bbox；以所述异常行人出现异常方向到异常越界的频流中的视频帧数，或者以所述预设视频缓存帧数为缓存的视频帧数量；利用单目跟踪器检测出所述缓存的视频流中每一帧图像中所述异常行人的bbox；确定所述缓存的视频流中每一帧图像中所述异常行人的bbox的中心点，将相邻的所述中心点连起来，得到所述异常越界行人的回溯运动轨迹。

本发明还提供一种行人异常行为检测系统，包括：初始化模块，用于在监控场景内标定特定区域r和预设人流方向nord；多目标跟踪模块，用于获取所述监控场景的实时视频流，在所述特定区域r中进行每个行人的运动轨迹提取；方向失量计算模块，用于计算所述特定区域r中每个行人运动轨迹的方向矢量；方向异常判定模块，用于根据所述运动轨迹的方向矢量和预设人流方向nord进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。

采用上述技术方案的有益效果是：通过预设行人流方向，用简便的算法对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。

本发明还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述的行人异常行为检测方法。

本发明还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的行人异常行为检测方法。

附图说明

图1示出了根据本发明的实施例提供的一种行人异常行为检测方法流程图；

图2示出了运用本发明的实施例对街区行人运用多目标跟踪算法和运动方向异常判定后的效果图；

图3示出了运用本发明的实施例对街区行人越界后的效果图；

图4示出了运用本发明的实施例对街区对越界行人回溯的效果图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例即实施例中的特征可以相互结合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的实施例提供的一种行人异常行为检测方法流程图。

如图1所示，本实施例中，一种行人异常行为检测方法，包括以下步骤：s1，在监控场景内标定特定区域r和预设人流方向nord；s2，获取所述监控场景的实时视频流，在所述特定区域r中进行每个行人的运动轨迹跟踪；s3，计算所述特定区域r中每个行人运动轨迹的方向矢量，根据所述运动轨迹的方向矢量和预设人流方向nord进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。

所述特定区域r如图2所示。

在图像检测领域，往往关注的并不是整幅图像，而是图像的一部分，如道路的一部分、车站的出入口、监狱的出入口等某特定区域。通过标定特定区域r，以缩小图像检测的范围，可以降低检测算法对资源的消耗，提高运行的速度。

本实施例的预设人流方向nord，为人流前进的方向，用二维向量表示。

上述实施例中，通过预设人流方向，用简便的算法对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。

可选地，通过多目标跟踪器将当前帧检测出来的所有bbox和前一帧检测出来的所有bbox逐一作两两匹配，匹配到的bbox为其分配同一个id，表示其为同一个物体，匹配不上的bbox，表示其为一个新出现的物体；其中，bbox是一个4维向量(u,v,w,h)，用于表示一个矩形框；其中(u,v)是矩形中心点坐标，w是矩形框的宽度，h是矩形框的高度，单位为像素；所述矩形框用于标注感兴趣的目标物体在图像中的具体位置。

根据检测效果的需要，可以将运动轨迹跟踪的结果用预设的可区分的颜色表示，如图2所示，可用白色矩形框对行人进行标识。

需要说明的是，多目标跟踪算法是本领域常用的算法，任何可实现视频多目标跟踪的算法都可运用于本发明实施例。多目标跟踪算法可以包括以下步骤，第一步：对单帧图像进行多目标检测，得到所有物体的标识块bbox，标识块bbox为4维向量(u,v,w,h)，其中(u,v)是矩形中心点坐标，w是矩形框的宽度，h是矩形框的高度。

第二步：对检测出来的所有bbox进行多目标追踪，即对当前帧检测出来的所有bbox和前一帧检测出来的所有bbox逐一作两两匹配(匹配是通过计算每一帧中检测器检测出的物体bbox中心点与前一帧跟踪器跟踪的物体bbox中心点之间的马氏距离，距离最小的两个bbox便完成匹配)，匹配到的bbox为其分配同一个识别号，表示其为同一个物体，匹配不上的bbox(对前一帧中跟踪器中的所有bbox的马氏距离大于一个阈值)便认定其为一个新出现的物体。上述实施例中，采用tracking-by-detection方法实现特定区域中的人群轨迹跟踪，选用deep-sort作为多目标跟踪器，yolov3作为目标检测模块。

可选地，所述s3包括：s3.1，根据如下公式确定行人运动轨迹的方向矢量，其中，表示行人i在第t帧的方向；pi^t表示行人i在第t帧时在二维图像上的位置；pi^t-n表示行人i在第t-n帧时在二维图像上的位置；所述n为小于t的正整数,根据行人速度和监控帧频进行预设；s3.2，将所述行人运动轨迹的方向矢量与所述预设人流方向nord点乘，当点乘结果大于或等于0时，判定为方向正常，当点乘结果小于0时，判定为方向异常；s3.3，利用第一预设颜色的矩形框对方向异常行人进行标定。第一预设颜色的矩形框可以是黄色矩形框。

需要说明的是，n的取值随监控视频的帧频和行人正常步速确定。通常监控视频的帧频为每秒20-40帧，而通常行人步速约为1米/秒左右，如逐帧进行异常方向判定，将产生两帧之间时间过短，而行人未移动的情况。考虑帧频与行人步速的关系，n可以设定为20。

可以理解的是，当判定为方向异常时，可通过利用第一预设颜色的矩形框对方向异常行人进行标定的方式进行提示，也可以采用其它声、光、电的方式进行告警提示。

上述实施例中，通过对相邻n帧的行人位置作差，得到行人方向，再与预设人流方向进行点乘，以获得异常判定结果，通过确定适当的n值，可以减少检测次数，提高检测速度，该算法具有简洁、快捷、易于理解、稳定性好的特点，采用该算法，实现对行人异常方向检测的速度和降低误判率。

可选地，在所述特定区域r中标定异常预警边界；根据所述异常预警边界对所述异常行人进行异常越界判定，将异常越界的所述异常行人标定为异常越界行人，利用第二预设颜色的矩形框对异常越界行人进行标定。第二预设颜色矩形框，可以是红色。

可以理解的是，当判定为异常越界时，可通过利用第二预设颜色的矩形框对异常越界行人进行标定的方式进行提示，也可以采用其它声、光、电的方式进行告警提示。

上述实施例中，通过设定异常预警边界，对行人的异常行为进行进一步判定和处理，进一步提高对行人异常行为的检测和处理效果，以适应不同应用场景的需要。

可选地，所述异常预警边界为纵坐标为固定值gatey的一条直线；异常预警边界如图2所示，所述s4包括：

根据如下公式进行异常越界判定：

其中，表示异常行人i在t帧上的y坐标，gatey表示异常预警边界的y坐标，表示异常行人i在t-1帧上的y坐标，当f′＝0时判定为未异常越界，f′＝1时表示异常越界。

可以理解的是，异常预警边界可以是纵坐标为固定值的一条直线，也可以是横坐标标为固定值的一条直线，或者是二者的结合，为一矩形区域，其实现的越界判定的原理，与本发明实施例类似，在此不做赘述。

上述实施例中，通过比较行人当前坐标与预设预警线在相邻两帧间的位置变动，进行异常越界判定，异常越界判定算法具有简洁、快捷、易于理解、稳定性好的特点，采用该算法，提高对行人异常方向检测的速度和降低误判率。

可选地，还包括：s5，根据出现异常方向到异常越界的视频流中的视频帧数缓存视频流，或者根据预设视频缓存帧数缓存视频流；所述预设视频帧数根据存储空间容量设定；根据缓存的所述视频流对所述异常越界行人的运动轨迹进行回溯，得到所述异常越界行人回溯运动轨迹，并显示所述异常越界行人回溯运动轨迹。

可以理解的是，当根据出现异常方向到异常越界的视频流中的视频帧数进行视频缓存时，需要的存储空间较小，可以进一步节约存储空间。但存在对特定区域r外的越界行人的视频未缓存，从而无法回溯的问题。

根据存储空间的容量预设一定的缓存帧数，是视频监控领域的常用技术手段，该方案对视频进行缓存，不因异常方向判定结果而改变，能够实现对行人运动图像的完整缓存，但对存储空间的占用稍大。

采用上述进一步方案的有益效果是：通过对行人越界之前的运动轨迹进行回溯，更为直观、快捷地以给使用人员反馈更多的检测信息，进一步提高检测的效果。

进一步地，所述s5包括：将检测到异常行人越界的视频帧为单目跟踪器的初始帧，将多目标跟踪器检测到的所述异常行人的bbox作为单目标跟踪器的初始bbox；以所述异常行人出现异常方向到异常越界的频流中的视频帧数，或者以所述预设视频缓存帧数为缓存的视频帧数量；利用单目跟踪器检测出所述缓存的视频流中每一帧图像中所述异常行人的bbox；确定所述缓存的视频流中每一帧图像中所述异常行人的bbox的中心点，将相邻的所述中心点连起来，得到所述异常越界行人的回溯运动轨迹。

需要说明的是，单目标追踪算法是本领域常用的算法。任何能够实现视频序列单目标追踪的算法均可用于本发明。

可以理解的是，对越界行人在特定区域r内的运动轨迹，因在之前的多目标运动轨迹跟踪中已经获取，可通过直接调用多目标运动轨迹跟踪结果，并对特定区域r外的运动轨迹，采取单目标追踪算法的方式实现，将两种轨迹回溯的方式相结合，可以进一步提高轨迹回溯的速度，减少轨迹回溯的资源消耗。

此外，根据需要，可利用预设可区分颜色，可以是紫色，对回溯运动轨迹进行标识。

在上述实施例中，单目标追踪算法追踪的对像是缓存图像序列，运用该方法可以实现对整幅监控区域内的越界行人的运动轨迹进行回溯，可以得到更为完整的轨迹。

本发明还提供一种行人异常行为检测系统，包括：初始化模块，用于在监控场景内标定特定区域r和预设人流方向nord；多目标跟踪模块，用于获取所述监控场景的实时视频流，在所述特定区域r中进行每个行人的运动轨迹提取；方向失量计算模块，用于计算所述特定区域r中每个行人运动轨迹的方向矢量；方向异常判定模块，用于根据所述运动轨迹的方向矢量和预设人流方向nord进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。

在上述实施例中，通过预设行人流方向，用简便的算法对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。

本发明实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述的行人异常行为检测方法。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的行人异常行为检测方法。

以下，结合对大街行人运动轨迹进行检测，给出利用本实施例提供的一种行人异常行为检测方法的检测效果示意图。

经多目标跟踪算法和运动方向异常判定后的效果图示意如图2所示，可以看出特定区域内的正常行走行人用白色框标识，目标区域内行人逆向行走的，用第一预设颜色框标识，对未在目标区域内的行人不进行跟踪，可以提高处理的效率。

对越界行人进行检测的效果图如图3所示，可以看出，第二预设颜色框标识的为越界行人，正跨越预警线。

对越界行人进行回溯的效果图如图4所示，可以看出，黑色的曲线为行人的运动轨迹，通过采用单目标跟踪算法对整幅图像进行回溯，可以实现对目标区域外的行人轨迹进行回溯。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。