基于目标检测的防止电瓶车进入电梯的管理系统和方法

本发明属于电梯安全，尤其涉及基于目标检测的防止电瓶车进入电梯的管理系统和方法。

背景技术：

1、由于电瓶车价格低廉，停靠方便等特点，电瓶车成为了人们青睐的交通方式。随着电瓶车使用的增多，一些安全隐患逐渐暴露出来。例如，一些居民为了自己方便，私自通过电梯将电瓶车搬运上楼并在室内或者楼道等公共区域进行充电。由于电瓶车使用一段时间后，车里的连接路线容易老化短路，当发生短路且外部温度较高时，很容易燃烧并引发火灾。同时，由于电瓶车的市场监管不足、电瓶车质量参差不齐，部分人违规私自改装电瓶车，加装超标蓄电池，这也埋下了安全隐患。在封闭的电梯内，空间狭小，几乎无处可逃，如果电瓶车在电梯内爆炸，容易造成大范围火灾和损失，其造成伤亡的可能性比开阔场地更高。为了防止事故发生，许多小区的物业部门设置了禁止电瓶车上楼的规定；而为了切实有效地防止居民携带电瓶车上楼，实现电瓶车上楼管控。

2、现有技术中出现了一些禁止电瓶车上楼的管控系统。例如，通过铺设地感线圈来检测电瓶车，或通过传统的图像识别方法(例如人工设计特征)来检测电瓶车，并在检测出电瓶车时阻止携车居民上楼。这些方法在识别过程中都存在较高的错误率，影响居民正常使用等等。

3、目标检测是计算机视觉领域最重要的分支之一。它在人们生活中得到了广泛的应用，如监控安全、自动驾驶等。随着用于检测任务的深度学习网络的快速发展，目标检测器的性能得到了极大的提高。大型目标检测网络在带来高准确率的同时，存在计算量大、大量资源消耗的问题。基于yolov4-tiny的轻量级检测网络，参数只有600万，相当于原来的十分之一，模型占用的内存更小，使得具有轻便快捷特点的yolov4-tiny网络，实现了速度和精度的完美平衡，适合搭载在嵌入式端中进行实时识别反馈的目标检测领域。将现有的yolov4-tiny网络运行在边缘设备进行目标检测时，由于算力有限，难以在昏暗的电梯环境中达到预期的精度和速度。

4、发明目的

5、为了解决上述问题，本发明的目的在于提供一种基于目标检测的防止电瓶车进入电梯的管理系统和方法，采用改进的yolov4-tiny轻量型结构，适用于边缘设备，能在昏暗的电梯环境中，更精确更快速地识别即将进入电梯的电瓶车并提出警告，从而防止电瓶车进入电梯，避免安全隐患。

6、本发明基于目标检测的防止电瓶车进入电梯的方法，包括如下步骤：

7、步骤1、构造初始数据集：通过电梯监控摄像头采集n天数据，对出现各种电瓶车的监控录像采集预置数量图像，得到初始数据集；

8、步骤2、对初始数据集进行数据增强步骤；

9、步骤3、标记数据集：对数据集中的电瓶车做标记；

10、步骤4、搭建改进的yolov4-tiny目标检测模型：

11、步骤5、训练改进的yolov4-tiny目标检测模型，通过知识蒸馏得到轻量化学生模型

12、使用yolov5对数据集进行训练，得到训练完成的教师模型，使用知识蒸馏获得训练完成的学生模型；若教师模型中的最高logit表示一个不准确类，则用该不准确类的最大logit替换为准确类的logit，从而产生一个准确类并指向最高logit，在教师模型将错误预测的logit传递给学生模型之前将其纠正，使得学生模型总是学到正确的知识；

13、步骤6、将轻量化学生模型部署到边缘设备上得到图像分析模块；

14、步骤7、启动控制模块响应于电梯门的打开而被触发，控制所有模块脱离待机进入工作状态，且控制图像获取模块从电梯监视摄像头收集进入电梯的人和物的图像；

15、步骤8、图像获取模块对电梯监视摄像头收集的进入电梯的人和物的图像进行数据增强后传递给边缘设备上的图像分析模块；

16、步骤9、图像分析模块采用改进的yolov4-tiny目标检测模型对采集的图像进行分析和目标检测，判断是否有电瓶车进入电梯，如果有，则传递脉冲信号电梯控制模块；与电梯的超载检测模块关联的电梯控制模块，接收到图像分析模块的脉冲信号后，触发电梯超载检测模块中电梯超载的控制指令，控制电梯暂停运行；

17、在电梯控制模块被触发后，一旦图像分析模块未识别到电瓶车，判断电瓶车已离开电梯，则再次向电梯控制模块发送脉冲信号，控制电梯控制模块停止运行，电梯可正常使用。

18、所述步骤2中数据增强步骤，是对初始数据集中的图像进行去噪和对比度增强，让检测目标更具辨识度,具体包括如下步骤：

19、采用中值滤波法对图像进行噪声突变点的过滤：

20、fout＝median(f1,f2,f3,…,f9) (1)

21、式(1)中,采用3×3的运算区域,fout为滤波后得到的像素值,f1,f2,f3,…,f9为运算区域中排序好的像素值，通过median()函数取出中间值进行赋值操作,有效消除噪声突变点；

22、对图像进行对比度增强,使该特定环境下未显示的目标细节信息呈现出来，先统计图像中不同灰度级像素个数：

23、count(k)＝mk       (2)

24、式(2)中,0≤k≤255,mk表示不同通道下灰度级为k的像素总个数,count(k)表示统计的灰度级为k的像素总个数；

25、再计算灰度级分布概率：

26、

27、进一步累加灰度级分布概率：

28、

29、式(4)中,0≤n≤255；

30、利用累加灰度级分布概率计算新的灰度级，然后进行灰度级像素个数重新分配,得到对比度增大后新的灰度级：

31、

32、进行灰度级k的像素与hk的像素映射,映射完成得到对比度增强后的图像。

33、所述步骤4中改进的yolov4-tiny目标检测模型包括主干特征提取网络、颈部加强特征提取网络和yolo head模块；

34、所述主干特征提取网络，是以多尺度空洞卷积模块为基础改进的轻量化ghost卷积特征提取网络，包括依次连接的第一深度可分离卷积模块、第二深度可分离卷积模块、第一csp_ghost多尺度空洞卷积特征提取网络模块、第二csp_ghost多尺度空洞卷积特征提取网络模块、第三csp_ghost多尺度空洞卷积特征提取网络模块和第三深度可分离卷积模块；其中第二csp_ghost多尺度空洞卷积特征提取网络模块一支向下卷积，连接第三csp_ghost多尺度空洞卷积特征提取网络模块，另一支直接与与颈部加强特征提取网络的连接模块相连接；

35、所述多尺度空洞卷积特征提取网络模块包括依次连接的第一至第三ghost空洞卷积模块，其中第一ghost空洞卷积模块拼接至连接模块,第二和第三ghost空洞卷积模块拼接连接模块，而后连接1×1卷积模块得到特征并调整通道数，再接入连接模块与第一ghost空间卷积模块进行拼接，最后接入最大池化模块，完成对图像的降采样；其中第一ghost空洞卷积模块用于保持原有通道数量，第二和第三ghost空洞卷积模块用于压缩通道数量，通过1×1卷积模块调整输出的通道数,得到特征,再与第一ghost空洞卷积模块拼接,做最大池化；

36、所述ghost空洞卷积模块，引入了扩张率不同的空洞卷积，用于获取不同尺度的特征；

37、所述颈部加强特征提取网络包括与第三csp_ghost多尺度空洞卷积特征提取网络模块连接的连接模块，和与第三深度可分离卷积模块连接的conv卷积模块，最终融合两个不同尺度的特征并输出给yolo head模块；

38、所述yolo head模块，分别与颈部加强特征提取网络的连接模块与conv卷积模块连接，将在颈部加强特征提取网络提取到的特征转化为预测结果。

39、所述步骤5使用知识蒸馏获得训练完成的学生模型，知识蒸馏中采用的损失函数为：

40、

41、其中ce代表交叉熵，(σos，1)表示对学生模型os进行温度为1的软化，a代表超参数，kl代表散度，y为一位热编码标签；ak中k表示最可能被预测到的类别，ak表示所有预测类别中包含k的专才模型，m表示某个预测类别中包含k的专才模型，q表示各类别的预测概率值，pm表示广义全模型分布概率。

42、本发明基于目标检测的防止电瓶车进入电梯的管理系统，包括启动控制模块、图像获取模块、图像分析模块、电梯控制模块，其中

43、所述启动控制模块，响应于电梯门的打开而被触发，控制所有模块脱离待机进入工作状态，且控制图像获取模块从电梯监视摄像头收集进入电梯的人和物的图像；

44、所述图像获取模块，对电梯监视摄像头采集的进入电梯的人和物的图像进行数据增强后传递给图像分析模块；

45、所述图像分析模块，通过搭建和训练改进的yolov4-tiny目标检测模型，经知识蒸馏得到轻量化学生模型后部署到边缘设备上而获得，采用改进的yolov4-tiny目标检测模型对图像信息进行分析和目标检测，判断是否有电瓶车进入电梯，如果有，则传递脉冲信号给电梯控制模块；并在电梯控制模块被触发后，一旦图像分析模块未识别到电瓶车，意味着电瓶车已离开电梯，则再次向电梯控制模块发送脉冲信号，控制电梯控制模块停止运行，电梯可正常使用；

46、所述训练改进的yolov4-tiny目标检测模型，是使用yolov5对数据集进行训练，得到训练完成的教师模型，使用知识蒸馏获得训练完成的学生模型；若教师模型中的最高logit表示一个不准确类，则用该不准确类的最大logit替换为准确类的logit，从而产生一个准确类并指向最高logit，在教师模型将错误预测的logit传递给学生模型之前将其纠正，使得学生模型总是学到正确的知识；

47、所述电梯控制模块，与电梯的超载检测模块关联，接收到图像分析模块的脉冲信号后，触发电梯超载检测模块中电梯超载的控制指令，控制电梯暂停运行；该电梯控制模块被触发后，再次接收图像分析模块发送的脉冲信号，停止运行，则电梯可正常使用。

48、所述图像获取模块中的数据增强，是对初始数据集中的图像进行去噪和对比度增强，让检测目标更具辨识度，具体包括如下步骤：

49、采用中值滤波法对图像进行噪声突变点的过滤：

50、fout＝median(f1，f2，f3，...，f9) (1)

51、式(1)中，采用3×3的运算区域，fout为滤波后得到的像素值，f1，f2，f3，…，f9为运算区域中排序好的像素值，通过median()函数取出中间值进行赋值操作，有效消除噪声突变点；

52、对图像进行对比度增强，使该特定环境下未显示的目标细节信息呈现出来，先统计图像中不同灰度级像素个数：

53、count(k)＝mk    (2)

54、式(2)中，0≤k≤255，mk表示不同通道下灰度级为k的像素总个数，count(k)表示统计的灰度级为k的像素总个数；

55、再计算灰度级分布概率：

56、

57、进一步累加灰度级分布概率：

58、

59、式(4)中，0≤n≤255；

60、利用累加灰度级分布概率计算新的灰度级，然后进行灰度级像素个数重新分配，得到对比度增大后新的灰度级：

61、

62、进行灰度级k的像素与hk的像素映射，映射完成得到对比度增强后的图像。

63、所述改进的yolov4-tiny目标检测模型包括主干特征提取网络、颈部加强特征提取网络和yolo head模块；

64、所述主干特征提取网络，是以多尺度空洞卷积模块为基础改进的轻量化ghost卷积特征提取网络，包括依次连接的第一深度可分离卷积模块、第二深度可分离卷积模块、第一csp_ghost多尺度空洞卷积特征提取网络模块、第二csp_ghost多尺度空洞卷积特征提取网络模块、第三csp_ghost多尺度空洞卷积特征提取网络模块和第三深度可分离卷积模块；其中第二csp_ghost多尺度空洞卷积特征提取网络模块一支向下卷积，连接第三csp_ghost多尺度空洞卷积特征提取网络模块，另一支直接与与颈部加强特征提取网络的连接模块相连接；

65、所述多尺度空洞卷积特征提取网络模块包括依次连接的第一至第三ghost空洞卷积模块，其中第一ghost空洞卷积模块拼接至连接模块，第二和第三ghost空洞卷积模块拼接连接模块，而后连接1×1卷积模块得到特征并调整通道数，再接入连接模块与第一ghost空间卷积模块进行拼接，最后接入最大池化模块，完成对图像的降采样；其中第一ghost空洞卷积模块用于保持原有通道数量，第二和第三ghost空洞卷积模块用于压缩通道数量，通过1×1卷积模块调整输出的通道数，得到特征，再与第一ghost空洞卷积模块拼接，做最大池化；

66、所述ghost空洞卷积模块，引入了扩张率不同的空洞卷积，用于获取不同尺度的特征；

67、所述颈部加强特征提取网络包括与第三csp_ghost多尺度空洞卷积特征提取网络模块连接的连接模块，和与第三深度可分离卷积模块连接的conv卷积模块，最终融合两个不同尺度的特征并输出给yolo head模块；

68、所述yolo head模块，分别与颈部加强特征提取网络的连接模块与conv卷积模块连接，将在颈部加强特征提取网络提取到的特征转化为预测结果。

69、所述使用知识蒸馏进行模型压缩，获得训练完成的学生模型，该知识蒸馏中采用的损失函数为：

70、

71、其中ce代表交叉熵，(σos，1)表示对学生模型os进行温度为1的软化，a代表超参数，kl代表散度，y为一位热编码标签；ak中k表示最可能被预测到的类别，ak表示所有预测类别中包含k的专才模型，m表示某个预测类别中包含k的专才模型，q表示各类别的预测概率值，pm表示广义全模型分布概率。

72、本发明改进的yolov4-tiny目标检测模型的主干特征提取网络，以csp结构(基于ghost多尺度空间卷积特征提取模块)为基础的，该csp结构将原输入的特征图分为两个分支，使得通道数减半，一支直接与输出相连接，另一支进行多个重复的普通卷积操作。本发明保留了csp结构，但考虑到参数量集中于此，对重复进行普通卷积操作的分支进行了优化，借鉴inception的思想增加分支数，但是根据倒置残差结构可以发现，通道数的下降会导致网络提取特征的能力变弱。为了解决这个问题，引入了ghost卷积。ghost卷积的特点就是消耗少的计算资源获取更多的通道数量，所以将第一ghost卷积模块用于扩展通道数量，第二ghost卷积模块用于压缩通道数量，最后使用1×1卷积模块调整输出的通道数。但是inception模块中如果卷积核的大小相同，则inception会损失提取多个尺度融合和减少冗余特征的优势。为了不增加参数量，本发明引入了扩张率不同的空洞卷积，获取不同尺度的特征，当扩张率分别d＝2或3时，对应的感受野是5或7。相比于普通3×3卷积模块，该主干特征提取网络结构解决了特征提取过程中“大而密”的问题，加快了训练的速度，降低了参数量，提高了特征表达能力。

73、在训练检测模块的过程中，需要使用复杂的模型，大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。在实验中，效果最好的模型往往规模很大，甚至由多个模型集成得到。而大模型不方便部署到边缘设备中去，会出现推断速度慢、对部署资源要求高等问题。本发明采用知识蒸馏的方法对模型进行压缩，以达到减小内存开销，提升运行速度的目的。经过蒸馏后的小模型更适合部署在边缘设备上。为了提升小模型的精确性,本发明在教师模型将错误预测的logit传递给学生模型之前将其纠正，使得学生模型总是学到正确的知识。意味着若教师模型中的最高logit表示一个不准确类，则将用该不准确类的最大logit替换准确类的logit，从而将产生一个准确类，指向最高logit，这样教师模型始终是更好的老师，能够有效地进行知识提炼，同时使学生模型能够更有效地学习。

技术实现思路