基于深度学习的直梯电动车检测方法与告警系统与流程

本发明涉及电梯应用领域，更具体的说，它涉及基于深度学习的直梯电动车检测方法与告警系统。

背景技术：

随着计算机视觉技术的快速发展，自2012年alex在imagenet图像分类竞赛上取得第一的成绩，而且远超第二名，掀起了深度学习的一次浪潮。之后，rossgirshick又将卷积神经网络（cnn）取代了传统的hog、hof和dpm等特征提取方法。深度学习通过多层网络模型来自动学习特征参数，能够发现大数据中的复杂结构。目前，深度学习方法已成功地应用到多种模式分类问题上，包括目标检测，目标跟踪，行为识别。而电梯领域，考虑到监控视频的景深、分辨率、光照等条件和场景的多样性，也急需此类技术的结合来实现检测高精度，目标框位置信息精准，降低人工作业量。

技术实现要素：

本发明克服了现有技术的不足，提供了一种设计简单，又能完成多种场景的监控告警任务的基于深度学习的直梯电动车检测方法与告警系统。

为了解决上述技术问题，本发明的技术方案如下：

基于深度学习的直梯电动车检测方法与告警系统，包括视频存储服务模块、分析请求模块和电动车检测模块；分析请求模块包括红外传感器、监控摄像头、测速传感器和中央处理器，红外传感器、监控摄像头、测速传感器和中央处理器电性连接；

101）监控步骤：直梯内设置红外传感器，直梯门上设置开关门标志位，直梯外侧设置测速传感器；当红外传感器传输检测到人体的信号、监控摄像头根据开关门标志位判断直梯门关闭，且测速传感器监测到直梯在运作时，触发监控摄像头实时拍摄到的视频中的任意一张图像传输给分析请求模块；

102）分析步骤：将步骤101）选取的图像由分析请求模块传输给电动车检测模块，并由电动车检测模块进行分析识别，若不存在电动车目标，则返回数量0并写入数据库，若存在电动车，则返回电动车数量，产生一个电动车告警，并将图片名、检测触发时间点，电动车数量信息写入数据库中；

103）告警步骤：当在步骤102）中检测到图像中存在电动车目标时，系统确认报警，根据数据库信息获得检测触发的时间点，拉取后15秒录像视频，并向直梯管理平台推送一条电动车进梯告警，并反馈给物业，同时轿厢内部显示屏上提示有电动车进梯告警弹框。

进一步的，该模型训练集包含10万以上直梯电动车样本，其中模型检测精准率达到99%以上，能有效区分直梯自行车、婴儿车、轮椅和电动车。

本发明相比现有技术优点在于：本发明通过监控摄像头实时触发行人乘坐直梯图像，针对电动车进电梯情况进行监测，一旦检测到电动车目标，对乘梯人及时劝阻并产生告警反馈给物业，同时云梯平台存储告警触发点后15秒录像视频用于事后追溯。本发明在yolov3网络的基础上，替换了backbone网络，将darknet53网络替换为extraction网络，鉴于电动车的目标较大，以extraction网络作为backbone网络提取特征，检测精度几乎不变。其中图像2给出extraction网络模型，采取卷积组的方式来提取图像特征，一共做了五次下采样。第一层卷积采用64个7*7的卷积核提取特征，并做第一次下采样；第二层卷积采用了192个3*3的卷积核，做第二次下采样；第三至七层卷积层采用1*1的卷积核，做第三次下采样；后两次下采样前的卷积层分别用1*1和3*3的卷积核交替提取特征，一共做了15次卷积。整体网络模型共174m，相比yolov3的模型大小246m，大幅减少了计算量，提高了检测速度，同时保持电动车检测精度。

附图说明

图1为本发明的系统流程图；

图2为本发明的网络模型图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

如图1至图2所示，基于深度学习的直梯电动车检测方法与告警系统，包括视频存储服务模块、分析请求模块和电动车检测模块；分析请求模块包括红外传感器、监控摄像头、测速传感器和中央处理器，红外传感器、监控摄像头、测速传感器和中央处理器电性连接，并且在现有yolov3检测网络的架构上，修改网络部分层级结构，从而降低模型计算量，提高计算速度，并保持计算结果的高精度。具体步骤如下：

101）监控步骤：直梯内设置红外传感器，直梯门上设置开关门标志位，直梯外侧设置测速传感器；当红外传感器传输检测到人体的信号、监控摄像头根据开关门标志位判断直梯门关闭，且测速传感器监测到直梯在运作时，触发监控摄像头实时拍摄到的视频中的任意一张图像传输给分析请求模块。从触发量上看，由于直梯数量多，且24小时不间断触发，并发量大，要求检测算法处理速度快，且精度要求高。

102）分析步骤：将步骤101）选取的图像由分析请求模块传输给电动车检测模块，并由电动车检测模块进行分析识别，若不存在电动车目标，则返回数量0并写入数据库，若存在电动车，则返回电动车数量，产生一个电动车告警，并将图片名、检测触发时间点，电动车数量信息写入数据库中。其中模型训练集包含10万以上直梯电动车样本，其中模型检测精准率达到99%以上，能有效区分直梯自行车、婴儿车、轮椅和电动车等相似目标。具体的分析方法在云服务器上运行，直梯上的设备只是负责数据采集和一个反馈。

103）告警步骤：当在步骤102）中检测到图像中存在电动车目标时，系统确认报警，根据数据库信息获得检测触发的时间点，拉取后15秒录像视频，并向直梯管理平台推送一条电动车进梯告警，并反馈给物业，同时轿厢内部显示屏上提示有电动车进梯告警弹框，以提醒乘梯人。

本方案在yolov3网络（对象检测网络）的基础上，替换了backbone网络（一种帮助开发重量级的javascript应用的框架），将darknet53网络（yolov3网络中的一种网络结构）替换为extraction网络（孔隙网络），鉴于电动车的目标较大，以extraction网络作为backbone网络提取特征，检测精度几乎不变。其中图像2给出extraction网络模型，采取卷积组的方式来提取图像特征，一共做了五次下采样。第一层卷积采用64个7*7的卷积核提取特征，并做第一次下采样；第二层卷积采用了192个3*3的卷积核，做第二次下采样；第三至七层卷积层采用1*1的卷积核，做第三次下采样；后两次下采样前的卷积层分别用1*1和3*3的卷积核交替提取特征，一共做了15次卷积。整体网络模型共174m，相比yolov3的模型大小246m，大幅减少了计算量，提高了检测速度，同时保持电动车检测精度。

综上所述，本方案利用直梯部分硬件设备，红外感应，速度传感器等判断条件分析请求，结合视频存储技术获得图像，通过图像处理的方式，利用修改了backbone网络的yolov3网络框架检测电动车，得到真正的电动车进梯视频，继而上报。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

技术特征：

技术总结
本发明公开了基于深度学习的直梯电动车检测方法与告警系统，包括视频存储服务模块、分析请求模块和电动车检测模块；分析请求模块包括红外传感器、监控摄像头、测速传感器和中央处理器，红外传感器、监控摄像头、测速传感器和中央处理器电性连接；本发明提供了一种设计简单，又能完成多种场景的监控告警任务的基于深度学习的直梯电动车检测方法与告警系统。

技术研发人员：陈国特;王超;施行;王伟;蔡巍伟;吴磊磊
受保护的技术使用者：浙江新再灵科技股份有限公司
技术研发日：2018.11.30
技术公布日：2019.07.12