一种基于移动端的人员入侵检测模型迁移方法与流程

本发明涉及目标检测，特别涉及一种基于移动端的人员入侵检测模型迁移方法。

背景技术：

1、针对输电线路上的风筝、网布、鸟巢和马蜂窝等异物目前通常使用激光清障仪进行激光清除，激光打在异物表面，异物吸收激光能量后温度急剧升高，温度达到或超过异物的熔点、燃点甚至沸点，使异物熔化、燃烧或汽化，最终掉落，实现异物清除。通过激光对输电线路异物进行远程、快捷、精准清除，同时不会对设备造成损伤，具有安全、快速、可带电作业的特点，激光清障仪解决了传统的带电作业或停电人工作业时间长、安全风险高等缺点，提升了清除效率。但是，传统的激光清障仪通过手动照准，依靠传统的枪械瞄准原理瞄准目标，较为依赖人工的瞄准和跟踪捕捉，效率较低，在距离较远的情况下容易漏看漂浮物等异物情况。高压电塔离得较近的情况下，对现场作业人员的人身安全危险性高。

2、随着无人机巡检技术的发展，无人机的载重和搭载传感器越来越多，续航能力也越来越强，激光清障仪可以搭载在无人机上进行较近距离的异物清除，作业人员通过在移动端上操控无人机，实现更加安全且精准的异物清除工作。

3、但是，经实际测试发现，作业人员在移动端上操控无人机时，通过肉眼观察是否有人在目标视角范围内的判断方法较为单一、局限，难以及时发现人员入侵并快速停止激光清除工作，较为危险。现有技术通过深度学习目标检测模型进行人员入侵检测，当异物目标视角内出现人员时自动停止激光照射。然而移动端的核心处理器采用的是cpu，算力和运行内存较小，对于无人机拍摄的高清影像，推理时计算成本很高，往往无法实现实时检测。若将高清影像压缩成成低分辨率图像再输入模型进行推理，则压缩过程中会损失大量的像素信息，大大降低了模型推理精度。

技术实现思路

1、针对现有技术将常规目标检测模型应用在移动端的占用内存大、推理速度慢和检测精度低的问题，无法保证无人机远程激光清除异物的安全性，因此本发明提出一种基于移动端的人员入侵检测模型迁移方法，该基于移动端的人员入侵检测模型迁移方法利用尺度知识蒸馏框架来实现跨尺度的信息迁移，从而提高采用低分辨率图像作为输入的模型的精度，实现对人员入侵的实时精准检测。

2、本发明采用的技术方案为：

3、一种基于移动端的人员入侵检测模型迁移方法，包括以下步骤：

4、步骤1构建教师模型和学生模型：

5、用于知识蒸馏的教师模型和学生模型的网络结构一致，均由主干网络、特征金字塔网络和三个检测头分支组成，主干网络进行输入图像的特征提取操作，在特征金字塔网络对相邻层提取的特征进行特征融合，最后由三个检测头分支生成三个尺度的检测特征图；

6、步骤2设计尺度知识蒸馏框架：

7、首先采用层适应模块la和特征层对齐模块fa对特征图进行对齐，获取5对师生模型的特征匹配对；其次，采用关键位置掩码对师生特征匹配对进行处理；最后，采用基于位置感知l2范式距离的蒸馏损失函数衡量两个模型的特征匹配对之间的差异，结合学生模型的对象置信度损失和定位损失共同组成整体框架的训练损失函数；

8、步骤3蒸馏训练：

9、基于度知识蒸馏框架，先利用公共数据集visdrone2018中的行人数据进行预训练，再使用人员入侵数据进行微调训练；模型训练时，通过知识蒸馏不断对齐师生特征匹配对中的检测特征图，将教师模型的跨尺度知识迁移至学生模型，通过知识蒸馏将具有相同语义层次的检测特征图进行对齐；通过蒸馏训练，实现框架内教师模型的尺度知识向学生模型迁移，使学生模型在仅使用小尺寸图像作为输入的前提下也可具备人员入侵检测能力，在训练结束后，提取框架内的学生模型作为最终检测模型；

10、步骤4移动端模型部署：

11、对安卓移动端进行学生模型部署，提取学生模型的权重参数；将学生模型的权重参数转换为开放神经网络交换格式，并以开放神经网络交换格式为媒介，将模型文件转化为ncnn推理框架下对应的pa ram文件与bin文件；param文件与bin文件通过androidstudio软件编译，生成适用于安卓端的安装包文件，实现部署。

12、进一步的，步骤1中，主干网络采用resnet50、特征金字塔网络采用fpn、检测头分支由4层卷积层组成；

13、教师模型和学生模型所输出检测特征图的通道长度为15，表示特征图上每个位置是一个长度为15的预测向量，向量中包含3个不同长宽尺寸的锚点框信息，每个锚点框具有横坐标偏移量、纵坐标偏移量、宽度偏移量、长度偏移量和人员入侵置信度共5种信息。

14、进一步的，步骤1中，采用深度可分离卷积层来替代教师模型和学生模型中的标准卷积层；学生模型的图像输入尺寸是教师模型的一半，对于相同层检测头分支输出的检测特征图，学生模型的特征图长宽尺寸是教师模型的一半。

15、进一步的，步骤2中，对于学生模型输出的3个检测特征图，层适应模块采用双线性插值方法进行一次两倍上采样，使检测特征图扩大后的尺寸与教师模型所输出检测特征图的尺寸一致，将学生和教师模型同一网络层输出的检测特征图配对，获取3对师生特征匹配对；通过特征层对齐模块将学生和教师模型输出的具有相同尺寸的检测特征图进行配对，获取2对师生特征匹配对。

16、进一步的，步骤2中，采用关键位置掩码对师生特征匹配对进行处理，包括以下步骤：

17、步骤一，对于师生特征匹配对中尺寸h×w为的教师特征图t_feat和学生特征图s_feat，因此特征图含有numa个锚点框(anchor box)，numa＝h×w×3，其中h、w:表示特征图的高度和宽度，3表示每个空间位置的锚点框的数量；将所有锚点框的坐标和长宽信息用张量定义为rnuma×4，其中r表示实数域，numa表示锚点框的数量，4表示每个锚点框的坐标和长宽信息的维度；将所有真实框(ground truth box)定义为rg×4，其中g表示真实框的数量；令所有锚点框与每个真实框计算一次交并比iou，用张量表示所有计算结果为iou_map∈rnuma×r；

18、步骤二，计算自适应的交并比阈值threshiou，计算公式为：

19、threshiou＝λthreshmax_iou,threshiou∈rg×1

20、λthresh＝mean(iou_map)+std(iou_map)

21、式中，λthresh是自适应参数，通过iou_map的均值和标准差相加得到；max_iou是每个真实框与锚点框计算得到的最大值，max_iou∈rg×1；threshiou表示阈值的张量，维度为(g×1)；mean表示对张量中的元素进行平均值计算的操作；std表示对张量中的元素进行标准差计算的操作；iou_map表示交并比的张量；

22、步骤三，计算所有锚点框与真实框的交并比是否大于阈值threshiou，用张量mask∈rh×w×3×g，计算公式如下：

23、

24、式中，mask表示掩码张量，维度为(h×w×3×g)；i和j为锚点框在特征图中的位置；k表示锚点框的序号，k＝1,2,3；g表示真实框的序号；if表示如果；thresh_iou(g)表示第g个真实框对应的阈值，是一个实数；otherwise表示在条件判断为假时，即锚点框与真实框的交并比不大于阈值的情况下的处理方式；

25、步骤四，根据mask(i,j,k,g)后两个维度的叠加值，生成特征图的关键位置掩码kp_mask，表达为：

26、

27、式中，表示对索引变量k的求和操作，用来计算mask张量的后两个维度的叠加值；表示对索引变量g的求和操作，用来计算mask张量的后两个维度的叠加值；

28、上式中，最终获取的kp_mask的尺寸与t_feat和s_feat的尺寸一致，kp_mask中某点(i,j)的值若为1，则表示该点是需要进行蒸馏的关键位置，若为0，则表示该点为无需进行蒸馏的背景区域；

29、步骤五，令t_feat和s_feat分别与kp_mask相乘，使特征图上的非关键位置的通道值均为0，再进行配对，获取处理后的师生匹配对。

30、进一步的，步骤2中，采用基于位置感知l2范式距离的蒸馏损失函数衡量两个模型的特征匹配对之间的差异，结合学生模型的对象置信度损失和定位损失共同组成整体框架的训练损失函数，包括以下步骤：

31、步骤ⅰ，设计蒸馏损失函数：

32、基于采用关键位置掩码对师生特征匹配对进行处理，计算处理后的师生匹配对的l2范式距离，表达为：

33、pa_l2_distance＝(t_feat-s_feat)2

34、式中，pa_l2_distance表示师生匹配对的l2范数距离；t_feat表示师模型的特征；s_feat表示学生模型的特征；

35、因此，最终的蒸馏损失表达为：

36、

37、式中，lossdistill表示蒸馏损失，用于衡量师生模型特征匹配对之间的差异程度；表示所有位置上的师生特征匹配对的l2范数距离的累加和；表示对索引变量i在高度方向上进行求和操作，h表示特征图的高度；表示对索引变量i在宽度方向上进行求和操作，w表示特征图的宽度；pa_l2_distance(i,j)表示在位置(i，j)处的师生特征匹配对的l2范数距离，用于衡量对应位置上的特征差异；表示所有位置上的师生特征匹配对的l2范数距离的累加和；

38、步骤ⅱ，尺度知识蒸馏框架整体损失函数：

39、尺度知识蒸馏框架整体损失函数由蒸馏损失lossdistill、置信度损失lossobj和定位损失lossloc，表达为

40、loss＝λdistill·lossdistill+λobj·lossobj+λloc·lossloc

41、式中，loss表示表示整体损失函数；λdistill、λobj和λloc为对应损失的权重因子，它们值分别设置为0.001、1.0和1.0；lossdistill表示蒸馏损失，用于衡量师生特征匹配对之间的差异程度；lossobj和lossloc是模型常规的置信度损失和定位损失。

42、进一步的，步骤3中，人员入侵数据分为图像数据和标注数据，图像数据为真实应用场景中人员入侵图像，每张图像使用labelme工具进行标注，生成对应的标注数据；标注时，框出图像中人员入侵目标的最大外接矩形框，生成其标注信息，含有矩形框的左上角和右下角坐标信息，分别是标注框左上角x坐标、标注框左上角y坐标、标注框右下角x坐标、以及标注框右下角y坐标。

43、进一步的，步骤3中，进行预训练和微调训练时，均采用自适应矩估计优化器作为网络的训练优化策略；每次训练100轮次，学习率从0.001开始动态调整，每一轮次更新完成后，学习率乘以0.9；观察验证集损失loss的变化，当loss值连续5个轮次没有下降的时候，停止训练，此时模型的收敛效果最好；微调训练冻结主干网络和特征金字塔网络的权重参数，仅对检测头分支进行微调训练。

44、本发明的有益效果是：

45、为了生成一种可以应用在移动端进行实时检测，且具有较高精度的模型，本发明提出一种基于移动端的人员入侵检测模型迁移方法，该基于移动端的人员入侵检测模型迁移方法提出一种尺度知识迁移框架，在训练中通过知识蒸馏将框架内教师模型的尺度知识迁移至学生模型，使学生模型在以小尺寸图像作为输入的前提下显著提高特征提取能力，将学生模型部署至安卓移动端，可实现较高精度的人员入侵实时检测，解决了现有技术将常规目标检测模型应用在移动端的占用内存大、推理速度慢和检测精度低的问题，进一步提高了无人机远程激光清除异物的安全性。

46、此外，本发明所提尺度知识迁移框架适用于众多具有相似网络结构的单阶段目标检测模型，如retinanet、efficientdet和yolo系列模型等，具有较高的实用性。