一种行人过马路特殊姿态监测系统及方法与流程

1.本发明属于交通安全设施领域，涉及一种行人过马路特殊姿态监测系统及方法。


背景技术：

2.目前对于斑马线区域行人的监测只能监测到行人是否存在闯红灯过马路的行为，由于斑马线区域人群密集路况复杂，可能出现儿童滞留斑马线区域玩耍、行人突发疾病等情况，从而造成人员伤害或交通拥堵的问题。目前针对这些情况缺少有效的监测机制。


技术实现要素：

3.本发明目的是：提供一种行人过马路特殊姿态监测系统及方法，能够适用于复杂环境的行人过马路过程中特殊姿态的检测，且融合定向发声技术对特定方向的人员进行通知示警。
4.本发明的技术方案是：第一方面，一种行人过马路特殊姿态监测系统，包括：摄像头采集装置、算法处理装置、定向发声装置；所述算法处理装置包括人体骨架检测模块、行人姿态分类模块、行人特殊姿态判断模块、控制模块；所述摄像头采集装置用于采集斑马线区域的图像，输入至所述算法处理装置；所述人体骨架检测模块用于利用深度学习对图像中每个行人的关节点进行定位，获取行人定位、人体骨架和各个关节点的位置及对应关系，生成记录文件输入到所述行人姿态分类模块；所述行人姿态分类模块用于根据所述人体骨架检测模块获取的记录文件，利用训练好的分类器对行人姿态进行分类；所述行人特殊姿态判断模块用于根据所述行人姿态分类模块的分类结果判断是否处于特殊姿态；当判断出现特殊姿态行人时，将对应的行人确定为目标行人，将目标行人的位置信息发送给所述控制模块；所述控制模块用于根据位置信息控制定向发声装置向目标方向发声示警；所述定向发声装置用于根据所述控制模块的控制向目标方向发声。
5.其进一步的技术方案是：所述行人特殊姿态判断模块还用于针对分类结果判断为特殊姿态的行人，结合之前连续帧图像中对应行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像内均为特殊姿态的行人确定为目标行人。
6.其进一步的技术方案是：姿态的分类结果至少包括走、站、蹲、卧、跪、弯腰；所述特殊姿态至少包括蹲、卧、跪、弯腰。
7.其进一步的技术方案是：所述定向发声装置包括可转向的扬声器或不同朝向的多个扬声器。
8.第二方面，一种行人过马路特殊姿态监测方法，应用于如第一方面所述的行人过马路特殊姿态监测系统中，包括：
s1，通过摄像头采集装置采集斑马线区域的图像，将采集到的图像输入至算法处理装置中；s2，通过算法处理装置中的人体骨架检测模块利用深度学习对图像中的每个行人的关节点进行定位，通过关节点之间的亲和度向量区分不同的人，并根据人体结构将每个人的关节点连接起来，获取行人定位、人体骨架及各个关节点的位置，根据从图像中检测到的每个人不同关节点的位置及对应关系生成记录文件；s3，通过算法处理模块中的行人姿态分类模块以所述人体骨架检测模块生成的记录文件作为样本，根据不同关节的相对位置，利用训练好的分类器对行人姿态进行分类；s4，通过算法处理模块中的行人特殊姿态判断模块根据所述行人姿态分类模块的分类结果判断行人是否处于特殊姿态，当判断出现特殊姿态行人时，将对应的行人确定为目标行人，将目标行人的位置信息发送给控制模块；s5，通过控制模块根据位置信息控制定向发声装置向目标方向发声示警。
9.其进一步的技术方案是：步骤s4还包括：针对分类结果判断为特殊姿态的行人，通过所述行人特殊姿态判断模块结合之前连续帧图像中对应行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像均为特殊姿态的行人确定为目标行人。
10.其进一步的技术方案是：若所述定向发声装置包括可转向的扬声器，则步骤s5包括：通过控制模块根据位置信息控制扬声器转向目标方向发声示警。
11.其进一步的技术方案是：若所述定向发声装置包括不同朝向的多个扬声器，则步骤s5包括：通过控制模块根据位置信息控制对应目标方向的扬声器发声示警。
12.本发明的优点是：通过计算机视觉及深度学习技术，判断出斑马线区域的行人是否为特殊姿态，对于特殊姿态的行人通过定向发声装置对行人所在方向定向发声，提醒当事人及周边行人，避免行人突发情况造成人员伤害或交通拥堵；另外，由于采用定向发声装置进行发声，可以有效通知目标周围人群并且减少对周围环境的干扰及噪声污染。
13.另外，通过对连续帧图像中的行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像内均为特殊姿态的行人确定为目标行人，可以提高目标行人判定的准确性，排除干扰。
附图说明
14.下面结合附图及实施例对本发明作进一步描述：图1是本技术提供的行人过马路特殊姿态监测系统的结构框图；图2是本技术提供的行人过马路特殊姿态监测方法的流程图。
具体实施方式
15.实施例：本技术提供了一种行人过马路特殊姿态监测系统，基于行人特殊姿态检测和定向发声技术融合，如图1所示，该系统包括：摄像头采集装置10、算法处理装置20、定
向发声装置30；算法处理装置20包括人体骨架检测模块21、行人姿态分类模块22、行人特殊姿态判断模块23、控制模块24。
16.摄像头采集装置10用于采集斑马线区域的图像，输入至算法处理装置20。
17.摄像头采集装置10对准斑马线区域，采集斑马线区域图像，图像每秒输出不低于30帧。
18.人体骨架检测模块21用于利用深度学习对图像中每个行人的关节点进行定位，获取行人定位、人体骨架和各个关节点的位置及对应关系，生成记录文件输入到行人姿态分类模块22。
19.行人姿态分类模块22用于根据人体骨架检测模块21获取的记录文件，利用训练好的分类器对行人姿态进行分类。
20.姿态的分类结果至少包括走、站、蹲、卧、跪、弯腰；所述特殊姿态至少包括蹲、卧、跪、弯腰。
21.行人特殊姿态判断模块23用于根据行人姿态分类模块22的分类结果判断是否处于特殊姿态；当判断出现特殊姿态行人时，将对应的行人确定为目标行人，将目标行人的位置信息发送给控制模块24。
22.行人特殊姿态判断模块23还用于针对分类结果判断为特殊姿态的行人，结合之前连续帧图像中对应行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像内均为特殊姿态的行人确定为目标行人。
23.控制模块24用于根据位置信息控制定向发声装置30向目标方向发声示警，及时通知周围人群。
24.定向发声装置30用于根据控制模块24的控制向目标方向发声。
25.可选的，定向发声装置30包括可转向的扬声器或不同朝向的多个扬声器。在实际应用中，定向发声装置30可以采用具备声学定向的发声装置。
26.本技术利用计算机视觉及深度学习技术，设计出行人特殊姿态检测功能，正常斑马线过马路行人的姿态应该为行走或站立，诸如蹲、卧、跪、弯腰等姿态，可以列为特殊姿态，对于连续多帧图像内都呈现为特殊姿态的行人，及时通过定向发声装置对行人所在方向定向发声，提醒当事人及周边行人。可以避免行人突发情况造成人员伤害或交通拥堵，采用定向发声装置，可以有效通知目标周围人群，减少对周围环境的干扰及噪音污染。
27.本技术还提供一种行人过马路特殊姿态监测方法，应用于图1所示的行人过马路特殊姿态监测系统中，结合参考图2，该方法可以包括以下步骤。
28.，通过摄像头采集装置采集斑马线区域的图像，将采集到的图像输入至算法处理装置中。
29.，通过算法处理装置中的人体骨架检测模块利用深度学习对图像中的每个行人的关节点进行定位，通过关节点之间的亲和度向量区分不同的人，并根据人体结构将每个人的关节点连接起来，获取行人定位、人体骨架及各个关节点的位置，根据从图像中检测到的每个人不同关节点的位置及对应关系生成记录文件。
30.，通过算法处理模块中的行人姿态分类模块以人体骨架检测模块生成的记录文件作为样本，根据不同关节的相对位置，利用训练好的分类器对行人姿态进行分类。
31.，通过算法处理模块中的行人特殊姿态判断模块根据行人姿态分类模块的分类结
果判断行人是否处于特殊姿态，当判断出现特殊姿态行人时，将对应的行人确定为目标行人，将目标行人的位置信息发送给控制模块。
32.可选的，针对分类结果判断为特殊姿态的行人，通过行人特殊姿态判断模块结合之前连续帧图像中对应行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像均为特殊姿态的行人确定为目标行人。
33.，通过控制模块根据位置信息控制定向发声装置向目标方向发声示警。
34.可选的，若定向发声装置包括可转向的扬声器，则通过控制模块根据位置信息控制扬声器转向目标方向发声示警。
35.可选的，若定向发声装置包括不同朝向的多个扬声器，则通过控制模块根据位置信息控制对应目标方向的扬声器发声示警。
36.综上所述，本技术提供的行人过马路特殊姿态监测系统及方法，通过计算机视觉及深度学习技术，判断出斑马线区域的行人是否为特殊姿态，对于特殊姿态的行人通过定向发声装置对行人所在方向定向发声，提醒当事人及周边行人，避免行人突发情况造成人员伤害或交通拥堵；另外，由于采用定向发声装置进行发声，可以有效通知目标周围人群并且减少对周围环境的干扰及噪声污染。
37.另外，通过对连续帧图像中的行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像内均为特殊姿态的行人确定为目标行人，可以提高目标行人判定的准确性，排除干扰。
38.术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本技术的描述中，除非另有说明，“多个”的含义是两个或者两个以上。
39.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
40.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器、磁盘或光盘等。
41.以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。