一种针对难分辨的目标检测方法与系统

本发明涉及计算机视觉技术和物联网，尤其是涉及一种针对难分辨的目标检测方法与系统。

背景技术：

1、生活中，我们经常会看到电动车被推到客运电梯中。这一行为十分危险，电动车电瓶一旦在电梯中起火，燃烧速度快，并产生大量有毒气体，将危及电梯内人员生命安全，并且人员逃生和抢救十分困难。近几年该类安全事故时有发生，已经造成一定数量的人员伤害和财产损失。尽管“禁止电动车进入电梯”的提示牌放在单元和电梯门口醒目地方，但是还是有部分居民将电动车推进电梯内。智能化高精度识别出电动车进出电梯是解决小区管理中消防安全隐患的一种行之有效手段。虽然有些小区电梯安装了识别系统，但是，由于识别系统精度不高，时常会报出错误结果。另外，在现实生活场景中，由于物体的结构、颜色和光线强度的不同，在大多数应用场景中，物体是多变的，可预测精度不高。

2、其次，移动端设备运算能力有限，尽管现在的移动端设备的cpu、gpu、npu能提供强大的运算能力，但相对ai模型来说，移动端设备也无法为ai模型提供足够的内存。ai模型除了运算复杂、模型过大外，对内存的消耗，小则几个gb，大小十几个gb。一些神经网络模型，无法集成到移动设备上正常运行，即使能运行，用户体验也会打折扣。

3、在这种情况下，亟需研究出一种更高精度、更容易部署以及更加快捷的识别方法。

技术实现思路

1、本发明的目的在于提供一种针对难分辨的目标检测方法与系统，以解决上述背景技术中现有的识别方法在特殊场合目标识别精度低以及无法移植到移动终端或嵌入式设备上的问题。

2、本发明的核心思路是：通过迁移学习nanodet模型在coco数据集上的学习参数，并改进nanodet模型中评估损失函数方式，增强识别准确度，降低数据处理时间，从而提高在现实场景中特殊目标检测性能。

3、为实现上述目的，本发明提供一种针对难分辨的目标检测方法，包括以下步骤：

4、s1：收集样本图片，制作神经网络的训练数据集、验证数据集和测试数据集；

5、s2：修改nanodet模型的giou损失计算方法，生成改进后的nanodet模型；

6、s3：根据s1中的数据集和s2中改进后的nanodet模型，使用简单启发式超级参数调节方法训练评估改进后的nanodet模型，生成损失值最小的神经网络权重参数文件，利用该神经网络权重参数文件，生成深度神经网络目标特征提取器；

7、s4：将s3中深度神经网络目标特征提取器转化为onnx文件，部署在检测场合的监控设备上或者嵌入式装置中，实现与场合中监控装置对接；

8、s5：运行深度神经网络目标特征提取器，如果场合中出现目标对象，则深度神经网络目标特征提取器程序记录原始视频帧集it和it-n，并利用深度神经网络目标特征提取器对原始视频帧集it和it-n进行处理；

9、s6：将s5中原始视频帧集it和it-n输入深度神经网络目标特征提取器的深度神经网络中，获取目标特征值，并输出基于判断是否发出警报的检测结果视频帧集rt和rt-n。

10、进一步的，s2中nanodet模型的giou损失计算方法修改为：

11、s201：选取目标框和标注框中区域交叉点(p,q)；

12、s202：根据p,q的坐标计算p,q之间距离；

13、s203：通过s＝|l2cosαsinα|公式计算区域积分面积。

14、进一步的，s6中获取目标特征值的具体步骤为：

15、s601：主干网络使用backbone网络，采用卷积神经向下采样，形成图像金字塔式采样网络，在深度神经网络目标特征提取器中选取特定的5层下采样输出后，再进行上采样和侧连接方式生成3层pan结构，完成在该结构层上的fpn特征金字塔多尺度的目标识别，每层图像大小为原图的1/4，组成金字塔式采样网络；

16、s602：在backbone网络中设置有正则网络层，改变图片像素值的分布，使图像像素值趋于l1正则分布；

17、s603：在backbone网络中设置卷积层、批归一化batchnorm和激活层relu，对图像进行特征提取。

18、进一步的，s601中进行上采样和侧连接的具体步骤为：

19、s6011：使用最近邻差值方法，每层之间特征图的尺度比例相差为2倍，采用类似于残差网络的侧向连接结构，侧向连接将backbone网络中的对等层通过相加的方法进行融合；

20、s6012：上采样过程先经过1x1卷积，得到特征，再经过3x3卷积，生成图像金字塔结构；

21、s6013：将经深度特征提取阶段处理所有目标后得到的特征矩阵ft和ft-n进行组合，得到1024×nm×nm的特征矢量ψ(t-n,t)，利用压缩网络对特征矢量ψ(t-n,t)进行压缩，得到nm×nm大小的关联矩阵m，利用损失函数进行损失度计算，计算出最终的目标之间的关联度；

22、s6014：通过设置的损失函数进行计算关联概率，其计算结果逐渐逼近真实结果，从而反馈给设定的模型优化器，对模型进行训练，记录神经元相应的权重值。

23、一种针对难分辨的目标检测系统，包括：

24、数据集整理模块：收集样本图片，制作神经网络的训练数据集、验证数据集、测试数据集；

25、模型预处理模块：修改nanodet模型的giou损失计算方法，生成改进后的nanodet模型；

26、模型训练模块：根据超级参数列表，使用简单启发式方法训练评估改进后的nanodet模型，生成损失值最小的神经网络权重参数文件，利用该神经网络权重参数文件，生成深度神经网络目标特征提取器；

27、转化模块：将深度神经网络目标特征提取器转化为onnx文件，部署在检测场合的监控设备上或者嵌入式装置中，实现与场合中监控装置对接；

28、运行模块：如果场合中出现目标对象，则深度神经网络目标特征提取器程序记录原始视频帧集it和it-n，并利用深度神经网络目标特征提取器对原始视频帧集it和it-n进行处理；

29、输出模块：将原始视频帧集it和it-n输入深度神经网络目标特征提取器的深度神经网络中，获取目标特征值，并输出基于判断是否发出警报的检测结果视频帧集rt和rt-n。

30、进一步的，模型预处理模块中还包括：

31、选取子模块：选取目标框和标注框中区域交叉点(p,q)；

32、计算子模块一：根据p,q的坐标计算p,q之间距离；

33、计算子模块二：通过s＝|l2cosαsinα|公式计算区域积分面积。

34、进一步的，输出模块中还包括：

35、识别子模块：主干网络使用backbone网络，采用卷积神经向下采样，在深度神经网络目标特征提取器中选取特定的5层下采样输出后，再进行上采样和侧连接方式生成3层pan结构，完成在该结构层上的fpn特征金字塔多尺度的目标识别；

36、正则分布子模块：在backbone网络中设置有正则网络层，改变图片像素值的分布，使图像像素值趋于l1正则分布；

37、激活子模块：在backbone网络中设置卷积层、批归一化batchnorm和激活层relu，对图像进行特征提取。

38、进一步的，识别子模块中还包括：

39、融合子模块：侧向连接将backbone网络中的对等层通过相加的方法进行融合；

40、卷积子模块：上采样过程先经过1x1卷积，得到特征，再经过3x3卷积，生成图像金字塔结构；

41、压缩计算子模块：将特征矩阵ft和ft-n进行组合，得到1024×nm×nm的特征矢量ψ(t-n,t)，进行压缩得到nm×nm大小的关联矩阵m，进行损失度计算，计算出最终的目标之间的关联度；

42、训练子模块：通过设置的损失函数进行计算关联概率，其计算结果逐渐逼近真实结果，从而反馈给设定的模型优化器，对模型进行训练，记录神经元相应的权重值。

43、与现有技术相比，本发明的有益效果是：

44、1.改进giou损失计算方法，在进行损失积分面积计算时采用两点角度法代替原算法中的四个顶点信息法，使得计算更加快捷以及节约计算机计算资源，避免浪费计算机存储和计算资源；

45、2.标注一些难识别样本加入模型训练集来增强模型强度，提高模型的鲁棒性；

46、3.通过简单启发式微调方法，对超级参数进行多次实验和调整，能够得出性能优的神经网络模型参数；

47、4.提高识别进入电梯的电瓶车精度，对电动车进入电梯发出警报，快速识别出；

48、5.能够识别出一些隐蔽电瓶型电动车，便于在一些特殊场合自动区分出电动车与自行车；

49、6.能够嵌入到移动设备和无人机中或者一些嵌入式设备中，便于应用在急救搜寻中。