基于深度学习的电瓶车上楼智能管控系统的制作方法

1.本发明涉及一种基于深度学习的电瓶车上楼智能管控系统。


背景技术：

2.电瓶车使用方便、价格低，因此作为一种交通工具得到了大量的使用。
3.随着电瓶车使用增多，其需要时时充电的特性也逐渐带来居民小区管理方面的问题。例如，一些居民为了自己方便，私自通过电梯将电瓶车搬运上楼并在室内或者楼道等公共区域进行充电。由于电瓶车使用一段时间后，车里的连接路线容易老化短路，当发生短路且外部温度较高时，就很容易燃烧并引发火灾，从而酿成悲剧。
4.为了防止事故发生，许多小区的物业部门设置了禁止电瓶车上楼的规定；而为了切实有效地防止居民携带电瓶车上楼，实现电瓶车上楼管控，现有技术中出现了一些电瓶车上楼管控系统。例如，通过铺设地感线圈来检测电瓶车，或通过传统的图像识别方法(例如人工设计特征)来检测电瓶车，并在检测出电瓶车时阻止携车居民上楼。这些方法存在一些缺点，包括：检测不准确从而对电瓶车放行，达不到阻止的效果；错误识别率高，将人或自行车、婴儿车等误识别为电瓶车，阻止上电梯，影响居民正常使用；等等。


技术实现要素：

5.为解决上述问题，提供一种识别准确率高、识别准确从而能够在阻止电瓶车上楼的同时不影响居民正常使用的电瓶车上楼管控系统，本发明采用了如下技术方案：
6.本发明提供了一种基于深度学习的电瓶车上楼智能管控系统，其特征在于，包括：图像获取模块，设置在电梯内，用于对电梯内部进行实时图像获取从而获得电梯内图像；电瓶车检测模块，对图像获取模块获取的电梯内图像依次进行目标检测，从而检测出电梯内图像中是否存在电瓶车；以及判断控制模块，根据电瓶车检测模块的检测结果判定电梯内是否存在电瓶车，并在判定为存在时控制电梯保持开门状态从而防止电瓶车通过电梯上楼，其中，电瓶车检测模块包括一个由改进的tiny-yolov3网络eyevatornet构成的目标检测神经网络。
7.本发明提供的基于深度学习的电瓶车上楼智能管控系统，还可以包括：语音模块，设置在电梯内，当判定电梯内存在电瓶车时，判断控制模块在控制电梯保持开门状态的同时还控制语音模块向电梯内播放语音提示。
8.本发明提供的基于深度学习的电瓶车上楼智能管控系统，还可以包括：状态监测模块，用于检测各个模块的工作状态并形成相应的工作状态信息；以及通信模块，用于向外发送工作状态信息。
9.本发明提供的基于深度学习的电瓶车上楼智能管控系统中，图像获取模块还可以包括设置在电梯内的广角数字摄像头。
10.本发明提供的基于深度学习的电瓶车上楼智能管控系统中，电瓶车上楼智能管控系统中除广角数字摄像头以外的部分还可以均集成在控制盒内从而形成对应的管控终端。
11.本发明提供的基于深度学习的电瓶车上楼智能管控系统中，还可以包括：电源模块，用于向电瓶车上楼智能管控系统中的各个模块供电。
12.本发明提供的基于深度学习的电瓶车上楼智能管控系统中，还可以包括：遥控模块，与开关单元相连接，用于与开关单元配合从而让管理人员通过开关单元对电瓶车上楼智能管控系统进行启动或关闭。
13.发明作用与效果
14.根据本发明提供的基于深度学习的电瓶车上楼智能管控系统，由于采用改进的tiny-yolov3网络eyevatornet构成的目标检测神经网络来对电梯内图像进行目标检测，因此其具有更强的提取图像信息的能力以及更高的识别精准度，不容易发生误判。设备经现场测试，系统运行稳定，管控效果极佳。本发明的目标检测基于ai图像识别技术，与传统的模式识别和埋设地感线圈等检测方法相比，更加可靠和稳定，能够有效解决电瓶车上楼充电问题带来的安全隐患。
附图说明
15.图1是本发明实施例的基于深度学习的电瓶车上楼智能管控系统的构成框图；
16.图2是本发明实施例的tiny-yolov3网络eyevatornet的结构示意图；
17.图3是本发明实施例的tiny-yolov3网络eyevatornet的检测结果示意图；
18.图4是本发明实施例的管控系统的工作流程图。
具体实施方式
19.以下，参照附图以及实施例对本发明的具体实施方式进行详细阐述。
20.<实施例>
21.图1是本发明实施例的基于深度学习的电瓶车上楼智能管控系统的构成框图。
22.如图1所示，实施例的基于深度学习的电瓶车上楼智能管控系统(以下简称管控系统)100可分为核心部分与外围部分，具体包括图像获取模块10、电瓶车检测模块20、判断控制模块30、语音模块40、状态监测模块50、通信模块60、电源模块70以及遥控模块80。
23.图像获取模块10设置在电梯内，本实施例中该图像获取模块10包括一个广角数字摄像头，其能够获取电梯轿厢内的实时图像(即电梯内图像)。获取的实时图像数据分为两路，一路数据传输至社区监控室(例如传至社区监控室的安防监控显示器进行显示)，另一路作为电瓶车检测模块20的输入。也就是说，本实施例的图像获取模块10中的摄像头同时作为安防监控摄像头使用。在其他实施例中，该摄像头也可以将社区监控系统中原有的电梯内摄像头进行线路改造得到，将其实时图像数据分出一路输入电瓶车检测模块20即可。
24.电瓶车检测模块20用于对图像获取模块10获取的电梯内图像进行目标检测，从而检测出电梯内图像中是否存在电瓶车。本实施例中，摄像头以视频形式获取电梯内的实时图像，其视频流中包含按时间顺序的多个实时图像帧，电瓶车检测模块20按照时间顺序依次获得这些实时图像帧并依次对这些实时图像帧进行目标检测。
25.本实施例中，电瓶车检测模块20包括一个目标检测神经网络，其具体为改进的tiny-yolov3网络eyevatornet。
26.图2是本发明实施例的tiny-yolov3网络eyevatornet的结构示意图。
27.如图2所示，本实施例所采用的tiny-yolov3网络eyevatornet基于现有的tiny-yolov3神经网络模型改进得到，其具体由以下层结构构成：416*416*3的输入层input、多个卷积层(conv/bn/lk*n，n＝1或7)、多个最大池化层(maxpooling)、26*26*256的特征层x1、13*13*256的特征层x2、上采样层upsampling2d、26*26*128的特征层x2、融合层concatenate[x1,x2]以及输出y1、输出y2。
[0028]
本实施例的eyevatornet经构建后采用涉及电瓶车的图像训练集训练得到，将实时图像帧统一变换为灰度图像进行输入后，即可得出该实时图像中是否包含电瓶车的检测结果；另外，该eyevatornet的硬件形式采用jetson-nano实现。
[0029]
图3是本发明实施例的tiny-yolov3网络eyevatornet的检测结果示意图。
[0030]
如图3所示，tiny-yolov3网络eyevatornet能够对电梯内的实时图像进行目标检测，并检测出其中的电瓶车(框内部分)。另外，本实施例中的目标检测模板框除了采用yolov3对所有目标进行维度聚类方法外，还额外对检测的每个类别进行维度聚类，对得到的两组anchor取平均作为最后模板框，经现场测试以上种策略得到的模板框在识别准确率上有显著提高。不仅如此，本实施例的目标检测网络在训练的机制上加入图像增强策略(光照、角度、拉伸变换等)，能够使得模型具有更强的鲁棒性，在同样的识别精度下能够有效降低对环境的依赖。
[0031]
判断控制模块30用于根据电瓶车检测模块20的检测结果判断当前电梯内是否存在电瓶车，并根据判断结果进行相应的控制，该控制包括：判断为存在电瓶车时，控制电梯门不关闭(即保持开启状态)。由于此时电梯门始终保持开启，电梯轿厢也不能上升，即达到了防止电瓶车通过电梯上楼的目的。
[0032]
本实施例中，判断控制模块30判断当前电梯内存在电瓶车的过程为：当电瓶车检测模块20检测出一个实时图像帧中包含电瓶车时，进一步判断接下来的一秒内是否又检测出大于3张带有电瓶车的实时图像帧，若又检测出了大于三张，则判断当前电梯内存在电瓶车。
[0033]
另外，本实施例的判断控制模块30的硬件形式采用一个主控板实现，其对电梯门开启的控制可以通过接入电梯的控制系统并向其发送电梯开门信号来实现。
[0034]
本实施例中，语音模块40包括一个与主控板电性连接的喇叭。判断控制模块30判断当前电梯内存在电瓶车后，在控制电梯门不关闭的同时还控制该语音模块40播放语音报警以提示携带电瓶车的居民，例如，播放“为保证消防安全，禁止电瓶车上楼”等。
[0035]
状态监测模块50用于检测管控系统100中各个模块的工作状态，并形成相应的工作状态信息。
[0036]
通信模块60为4g蜂窝网络通信模块，用于将工作状态信息等向外发送。例如，发送给负责维护管控系统100的后台管理系统，以便在发生故障时通知维护人员及时检修。
[0037]
电源模块70用于向管控系统100中的各个模块供电，以保证管控系统100的正常工作。
[0038]
遥控模块80与设置在社区监控室内的开关单元(图中未示出)相连接，用于让社区管理人员通过该开关单元对整个管控系统100进行启动或关闭(即，使电源模块70连通或断开，从而让整个管控系统100启动或关闭)。该遥控模块80也可以采用接入社区监控室内监控系统的形式，使得社区管理人员通过监控系统终端pc来控制管控系统100的启动或关闭。
[0039]
本实施例中，电瓶车检测模块20、判断控制模块30、语音模块40、状态监测模块50、通信模块60、电源模块70以及遥控模块80均集成在一个控制盒内，从而形成管控终端。该控制盒壳体可以留存网口、usb3.0接口、hdmi接口等，以便将摄像头的实时图像通过局域网传输至社区监控室。同时，由于除图像获取模块10的摄像头以外，管控系统100的硬件均集成在内，其体积小、重量轻(实际制造的管控终端尺寸为145mm*85mm*65mm，重量仅为0.82kg)，因此便于安装、维修或更换。当电梯内本来就存在监控摄像头时，安装该管控终端后将摄像头接入即可，整个管控系统100的布置也不需要复杂操作，容易实现。另外，即使电梯内原本不存在摄像头，本实施例的管控终端也只需要安装并外接一个摄像头即可进行工作。
[0040]
以下结合附图说明本实施例的管控系统100的工作流程。
[0041]
图4是本发明实施例的管控系统的工作流程图。
[0042]
如图4所示，管控系统100开机启动并初始化后，其工作流程包括如下步骤：
[0043]
步骤s1，状态监测模块50判断图像获取模块10是否有图像输入，若无图像输入则生成异常状态提示并由通信模块60发出，若有图像输入则进入步骤s2；
[0044]
步骤s2，电瓶车检测模块20对图像获取模块10获取的实时图像持续进行电瓶车检测，若检测出电瓶车则进入步骤s3；
[0045]
步骤s3，判断控制模块30判断接下来1秒内是否又检测出大于3张带有电瓶车的实时图像帧，当又检测出时，判断电梯内存在电瓶车，然后进入步骤s4；
[0046]
步骤s4，判断控制模块30控制语音模块40进行语音报警，并同时控制电梯不关门。
[0047]
上述过程实时往复进行，直到整个管控系统100通过遥控模块80被关闭。
[0048]
实施例作用与效果
[0049]
根据本实施例提供的管控系统，由于采用改进的tiny-yolov3网络eyevatornet构成的目标检测神经网络来对电梯内图像进行目标检测，因此其具有更强的提取图像信息的能力以及更高的识别精准度，不容易发生误判。设备经现场测试，系统运行稳定，管控效果极佳。本实施例的目标检测基于ai图像识别技术，与传统的模式识别和埋设地感线圈等检测方法相比，更加可靠和稳定，能够有效解决电瓶车上楼充电问题带来的安全隐患。
[0050]
另外，相比于原始的tiny-yolov3网络结构，本实施例改进后得到的eyevatornet具有更强的图像信息提取能力，能够大幅度提高识别准确率：其训练网络策略上加入图像增强策略，在弱光条件下无需另外补光即可表现出良好的识别效果；检测预选框是分别对每类检测物体维度聚类和对整体聚类再取平均得到，相比只针对整体聚类得到的预选框具有更好的识别效果。现场测试也表明，本实施例的eyevatornet具有更好的识别效果。
[0051]
实施例中，判断控制模块在电瓶车检测模块检测出一个实时图像帧中包含电瓶车时，进一步判断接下来的一秒内是否又检测出大于3张带有电瓶车的实时图像帧，若又检测出了大于三张，则判断当前电梯内存在电瓶车，该判断方式可以进一步有效减少误判。
[0052]
本实施例中，除摄像头外的其他构成部分均集成在控制盒内，因此体积小、重量轻、集成度高、设计紧凑，安装方便快捷。
[0053]
本实施例中，摄像头获得的实时图像数据除了作为电瓶车检测模块的输入，还分出一路作为社区监控室的输入，因此本实施例的管控系统还具有一机多用的效果。
[0054]
上述实施例仅用于举例说明本发明的不同实施形态，而本发明的保护范围不限于上述实施例的描述范围。