多目标行人安全隐患行为综合识别方法与流程

本发明属于图像处理，具体涉及一种多目标行人安全隐患行为综合识别方法。

背景技术：

1、随着城市交通的快速发展，自动扶梯作为重要的通行工具之一，其安全运营备受关注。行人的危险行为（如逆行、驻留、探出、下蹲、摔倒）、物品堵塞可能导致安全事故的发生。因此，实时监控并及时识别这些危险行为对于保障乘客安全至关重要。

2、传统的视频监控系统依赖人工监控，不仅效率低下，而且容易因监控人员疲劳而漏掉关键信息。随着人工智能技术的发展，利用计算机视觉和深度学习的方法自动检测行人的危险行为成为一种趋势。

3、目前的行为识别方法大部分基于二维图像处理或三维时空特征分析，但依然存在准确性与实时性难以兼顾的问题。

技术实现思路

1、本发明针对复杂的自动扶梯场景下，现有的行为识别方法依然存在准确性与实时性难以兼顾的技术问题，目的在于提供一种多目标行人安全隐患行为综合识别方法。

2、为了解决前述技术问题，本发明的第一方面提供一种多目标行人安全隐患行为综合识别方法，所述多目标行人安全隐患行为综合识别方法包括：

3、s1，获取待识别图像，对所述待识别图像中预设的目标区域进行图像分类识别，判断所述目标区域是否存在待检测物体，若存在待检测物体，则进入下一步，否则获取下一张待识别图像并进行本步骤中的图像分类识别及判断步骤；

4、s2，对所述待识别图像中所有的待检测物体进行识别，判断所述待检测物体是否为目标行人，若是目标行人，则进入下一步，否则返回步骤s1进行下一张待识别图像的图像分类识别及判断步骤；

5、s3，对各所述目标行人进行人体运动轨迹跟踪，判断所述目标行人是否存在若干异常行为，若存在任意一种异常行为，则所述目标行人对应的异常行为次数加一后进入下一步，否则进入下一步；

6、s4，对各所述目标行人进行人体姿态分类，判断所述目标行人是否存在若干异常姿态，若存在任意一种异常姿态，则所述目标行人对应的异常姿态次数加一后进入下一步，否则进入下一步；

7、s5，对所述目标行人的异常行为数量和异常姿态数量进行统计，若任意一种异常行为数量或任意一种异常姿态数量大于对应的预设阈值时，认为检测到风险活动，触发录制算法，记录对应数据，并进行报警，否则返回步骤s1进行下一张待识别图像的图像分类识别及判断步骤。

8、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，所述待识别图像来自原始视频流，对所述原始视频流逐帧提取图像或定时截图得到所述待识别图像，所述原始视频流为预设于自动扶梯目标位置处的摄像机摄制的视频流。

9、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，在进行步骤s1之前，还包括：

10、s0，展示初始图像，获取用户划分的目标区域，所述目标区域包括需要检测的扶梯区域、扶梯铝板区域和探出警示区域，还获取用户输入的扶梯运行方向信息。

11、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，对所述待识别图像中预设的目标区域进行图像分类识别，包括：

12、采用预设的图像分类识别算法，对所述待识别图像中预设的目标区域进行图像分类识别，得到二分类结果，所述二分类结果为存在待检测物体或不存在待检测物体。

13、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，所述图像分类识别算法采用基于yolov8-cls（you only look once-v8，cls是classification的缩写）的图像分类框架。

14、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，对所述待识别图像中所有的待检测物体进行识别，包括：

15、采用预设的人体关键点检测识别模型，对所述待检测物体进行识别，得到的人体关键点识别结果为人体的目标框信息时，认为所述待检测物体是目标行人，记录人体关键点坐标信息。

16、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，所述人体关键点检测识别模型采用基于yolov8-pose（you only look once-v8）的关键点检测模型。

17、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，采用预设的人体关键点检测识别模型，对所述待检测物体进行识别，得到的人体关键点识别结果为不存在人体信息时，判断为存在人体以外的其他物体，对其他物体进行分类识别，得到识别结果为异物时，物品滞留计数器加一并跳转至步骤s5；

18、步骤s5还包括：

19、判断物品滞留计数器是否大于对应的预设阈值，若大于，认为检测到风险活动，触发录制算法，记录对应数据，否则返回步骤s1进行下一张待识别图像的图像分类识别及判断步骤。

20、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，采用预设的人体关键点检测识别模型，对所述待检测物体进行识别，得到的人体关键点识别结果为人体的目标框信息之后，还包括：

21、对人体进行分类识别，得到识别结果，识别结果为清洁人员、维修人员或目标行人，对所述目标行人记录人体关键点坐标信息；

22、步骤s2中，还判断待检测物体是否为清洁人员、维修人员，若待检测物体是清洁人员或维修人员，则把识别结果进行记录并返回步骤s1进行下一张待识别图像的图像分类识别及判断步骤。

23、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，对所述待识别图像中所有的待检测物体进行识别，包括：

24、采用预设的语义分割模型，对所述待检测物体进行识别，得到识别结果，所述识别结果为清洁人员、维修人员、目标行人或异物。

25、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，步骤s2中，还判断所述待检测物体是否为清洁人员、维修人员或异物，若所述待检测物体是清洁人员或维修人员，则把识别结果进行记录并返回步骤s1进行下一张待识别图像的图像分类识别及判断步骤，若所述待检测物体是异物，则物品滞留计数器加一并跳转至步骤s5；

26、步骤s5还包括：

27、判断物品滞留计数器是否大于对应的预设阈值，若大于，认为检测到风险活动，触发录制算法，记录对应数据，否则返回步骤s1进行下一张待识别图像的图像分类识别及判断步骤。

28、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，所述语义分割模型采用基于yolov8-seg（you only look once-v8，seg是segmentation的缩写）的语义分割模型。

29、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，步骤s3中，采用预设的多目标跟踪算法对各所述目标行人进行人体运动轨迹跟踪；

30、在步骤s3之前还包括采用预设的人体关键点检测识别模型，对各所述目标行人记录人体关键点坐标信息。

31、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，所述异常行为包括逆行行为、驻留行为和探出行为中的至少一种；

32、步骤s3中，判断所述目标行人是否存在若干异常行为包括：

33、判断所述目标行人的行走路径与扶梯的运行方向是否一致，若不一致，则认为存在逆行行为，所述目标行人的逆行次数加一；

34、判断所述目标行人的行走路径中处于扶梯铝板区域的时间是否大于预设时间阈值，若大于，则认为存在驻留行为，所述目标行人的驻留次数加一；

35、判断所述目标行人的人体关键点坐标信息中，是否存在处于探出警示区域的关键点，若存在，则认为存在探出行为，所述目标行人的探出次数加一。

36、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，步骤s4中，采用预设的bp(back propagation)神经网络模型对各所述目标行人进行人体姿态分类，得到三分类结果，所述三分类结果为正常、下蹲或摔倒；

37、所述异常姿态包括下蹲和摔倒中的至少一种，若所述三分类结果为下蹲，则所述目标行人的下蹲次数加一，若所述三分类结果为摔倒，则所述目标行人的摔倒次数加一；

38、在步骤s4之前还包括采用预设的人体关键点检测识别模型，对各所述目标行人记录人体关键点坐标信息，对人体关键点坐标信息进行归一化处理后送入所述bp神经网络模型。

39、可选地，在如前所述的多目标行人安全隐患行为综合识别方法中，步骤s5中，对所述目标行人的异常行为数量和异常姿态数量进行统计后，按照预设的报警优先级进行排序后，逐个进行是否大于对应的预设阈值的判断。

40、本发明的积极进步效果在于：

41、1、由于自动扶梯大部分时间都处于空闲状态，本发明通过对目标区域进行图像分类识别来确定原始图片中的扶梯是否处于空闲状态，只有目标区域具有待检测物体时才进行后续的监测工作，可节省大量的计算资源。

42、2、本发明通过对各目标行人进行人体运动轨迹跟踪以及人体姿态分类，实现了包括逆行行为、驻留行为和探出行为在内的异常行为以及包括下蹲和摔倒在内的异常姿态实时监测、记录和报警。

43、3、本发明还对各待检测物体区分出清洁人员和维修人员，避免因清洁扶梯和维修扶梯所产生的探出、驻留、逆行、下蹲行为产生大量告警。

44、4、本发明还对各待检测物体区分出异物，以增加对物品滞留的监测、记录和报警。

45、5、本发明使用的跟踪算法实效性高，对于扶梯多行人堆叠的跟踪效果尤为突出。

46、6、本发明通过bp神经网络直接对人体姿态坐标点进行分类，不但能挖掘出人体关键点之间的联系，而且没有使用图像信息，避免了多场景下背景干扰以及大量的卷积运算，本发明在运算速度与准确率上都有较大的提升。