一种人行横道信号灯的控制方法、系统、设备和存储介质与流程

本发明涉及图像数据处理，具体为一种人行横道信号灯的控制方法、系统、设备和存储介质。

背景技术：

1、早晚高峰期间，行人及来往车辆较多，人行横道信号灯若是显示不科学，容易造成人行横道拥挤，发生行人碰撞事件，甚至会影响后续车辆通行，加剧交通堵塞。

2、现有的人行横道信号灯，主要是通过控制信号灯的固定时长，来控制通行时间。但是，当行人数量较多时，信号灯切换时间相对较短，容易造成人行通道拥堵；当行人数量较少时，信号灯切换时间相对较长，容易出现行人闯红灯现象，易造成交通安全事故发生。

技术实现思路

1、本发明的目的是提供一种基于行人识别结果的人行横道信号灯的控制方法、系统、设备和存储介质。

2、本发明技术方案如下：

3、一种人行横道信号灯的控制方法，包括如下操作：

4、s1、获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；

5、s2、所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；

6、获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；

7、获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；

8、s3、获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；

9、所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；

10、s4、基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。

11、所述s1中第一语义特征提取的操作具体为：所述人行横道图像依次经特征卷积和局部特征聚合，得到的局部聚合特征图，用于执行所述第二语义特征提取的操作；所述局部特征聚合的操作具体为：将经特征卷积处理过的卷积输入，进行多次特征卷积处理后，得到卷积聚合图；所述卷积聚合图与卷积输入经特征融合处理，得到所述局部聚合特征图。

12、所述第二语义特征提取的操作具体为：所述局部聚合特征图经卷积处理，得到优化局部聚合图；所述优化局部聚合图经特征校准处理，得到校准聚合特征图；所述校准聚合特征图与优化局部聚合图经特征融合处理，得到所述第二特征图。

13、所述特征校准处理的操作具体为：所述优化局部聚合图经平均池化处理，得到池化局部聚合图；所述优化局部聚合图依次经平均池化处理和标准池化处理，得到标准局部聚合图；所述池化局部聚合图和标准局部聚合图经特征融合，得到初始校准聚合图；所述初始校准聚合图依次经线性处理、批量归一化处理和非线性处理，得到所述校准聚合特征图。

14、所述s3中得到感兴趣区域检测框集的操作具体为：所述融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；所述检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了所述感兴趣区域检测框集。

15、所述s3中位置特征匹配处理的操作具体为：将所述行人检测框集中，每个行人检测框的底部中心位置点，分别与斑马线区域位置范围和等待区域位置范围进行匹配；若行人检测框的底部中心位置点处于斑马线区域位置范围内，对应行人检测框为斑马线区域行人检测框，统计所有斑马线区域行人检测框的数量，得到所述斑马线区域行人数；若行人检测框的底部中心位置点处于等待区域位置范围内，对应行人检测框为等待区域行人检测框，统计所有等待区域行人检测框的数量，得到所述等待区域行人数。

16、所述s4的操作具体为：当所述斑马线区域行人数不为0时，所述人行横道信号灯结果为通行；当所述斑马线区域行人数为0时，等待区域行人数超过第二阈值，或等待区域行人数对应的等待时间超过第三阈值，所述人行横道信号灯结果为通行。

17、一种人行横道信号灯的控制系统，包括：

18、融合特征图生成模块，用于获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；

19、感兴趣区域分类框集生成模块，用于所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；

20、斑马线区域行人数和等待区域行人数生成模块，用于获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；

21、人行横道信号灯结果生成模块，用于基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。

22、一种人行横道信号灯的控制设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的人行横道信号灯的控制方法。

23、一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的人行横道信号灯的控制方法。

24、本发明的有益效果在于：

25、本发明提供的一种人行横道信号灯的控制方法，将人行横道图像进行语义特征提取和特征融合，得到的融合特征图经检测框预测和分类后，根据交并比值和分类概率进行检测框筛选，留下可靠性强的检测框用于统计斑马线区域行人数和等待区域行人数，最后根据斑马线区域行人数和等待区域行人数，灵活控制人行横道信号灯显示情况，合理安排行人过马路，避免交通安全事故的发生。

技术特征：

1.一种人行横道信号灯的控制方法，其特征在于，包括如下操作：

2.根据权利要求1所述的人行横道信号灯的控制方法，其特征在于，所述s1中第一语义特征提取的操作具体为：

3.根据权利要求2所述的人行横道信号灯的控制方法，其特征在于，所述第二语义特征提取的操作具体为：

4.根据权利要求3所述的人行横道信号灯的控制方法，其特征在于，所述特征校准处理的操作具体为：

5.根据权利要求1所述的人行横道信号灯的控制方法，其特征在于，所述s3中得到感兴趣区域检测框集的操作具体为：

6.根据权利要求1所述的人行横道信号灯的控制方法，其特征在于，所述s3中位置特征匹配处理的操作具体为：

7.根据权利要求1所述的人行横道信号灯的控制方法，其特征在于，所述s4的操作具体为：

8.一种人行横道信号灯的控制系统，其特征在于，包括：

9.一种人行横道信号灯的控制设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的人行横道信号灯的控制方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的人行横道信号灯的控制方法。

技术总结
本发明涉及图像数据处理技术领域，具体为一种人行横道信号灯的控制方法、系统、设备和存储介质，该控制方法将人行横道图像进行语义特征提取和特征融合，得到的融合特征图经检测框预测和分类后，根据交并比值和分类概率进行检测框筛选，留下可靠性强的检测框用于统计斑马线区域行人数和等待区域行人数，最后根据斑马线区域行人数和等待区域行人数，灵活控制人行横道信号灯显示情况，可合理安排行人过街道，避免交通安全事故的发生。

技术研发人员：张有磊,潘晓东,于洋,于晰廷,初明超,姜再超,宫行磊
受保护的技术使用者：山东海润数聚科技有限公司
技术研发日：
技术公布日：2024/2/1