一种应用于综合管廊未授权人员识别与搜索方法与流程

本发明属于航空遥感图像处理与分析，涉及一种应用于综合管廊未授权人员识别与搜索方法，尤其涉及基于mgn网络的一种应用于综合管廊未授权人员识别与搜索方法。

背景技术：

1、城市综合管廊将电力、通信、燃气、供水等各种市政管线集于一体，是保障城市运行的生命线和主动脉。一旦有未授权人员入侵综合管廊，对管廊内部电力、通信、供水、供暖等系统实施破坏，将会造成不可挽回的损失。因此，综合管廊的安全性是管廊管理的重要任务。城市地下综合管廊的未授权人员识别可以称为行人重识别(people re-identification, reid)。reid是利用技术判断图像或者视频序列中是否存在特定行人的技术，指通过穿着、体态、发型等在不确定的场景中能够再次识别是同一个人，并以此描绘出个体行进轨迹的ai视觉技术。常用的reid网络包含fastreid、renest、ibn等网络结构。但是其他方法都有其缺点，比如内存占用量高，显存需求大，网络训练时间久等缺点。综合考虑之下，本发明选用yolo v5网络识别拍摄图像中的行人，使用mgn网络完成特征向量匹配，高效和精准的实现城市综合管廊未授权人员识别与搜索。

技术实现思路

1、本发明的目的是：(1)解决城市综合管廊的复杂背景下的行人识别问题。(2)解决城市综合管廊未授权人员识别与搜索问题。基于以上问题，本发明提供一种使用yolo v5算法识别综合管廊行人，使用mgn网络识别综合管廊未授权人员的人员识别与搜索方法。

2、本发明的技术方案是：一种应用于综合管廊未授权人员识别与搜索方法，包含以下步骤：

3、步骤（1）：采集城市综合管廊工作人员的图像，提取特征向量，搭建城市综合管廊注册工作人员数据库；

4、步骤（2）：使用四个公开数据集market-1501、dukemtmc-reid、cuhk03、msmt17等训练mgn网络，得到用于比对行人特征向量相似度的预训练的yolo v5网络模型；

5、步骤（3）：针对城市综合管廊摄像头拍摄图像，使用训练好的yolo v5网络识别拍摄图像中的行人，并记录行人位置的图像；

6、步骤（4）：将yolo v5网络模型识别的行人结果通过mgn网络与步骤（1）中综合管廊注册人员的特征向量进行比对，并设定相似度阈值，比对的相似度结果高于阈值，代表识别的行人为注册的工作人员，比对的相似度结果低于阈值，则代表识别的行人为未授权人员；

7、步骤（5）：针对步骤（4）中识别的未授权人员，与步骤（1）中的未授权人员数据集通过mgn网络进行特征向量比对，比对的相似度低于阈值，将步骤（4）的未授权人员图像加入未授权人员数据集，并进行未授权人员编号；

8、步骤（6）：针对步骤（4）中的yolo v5网络模型对城市综合管廊的行人识别结果，通过mgn网络与未授权人员数据集中的特征向量进行比对，确定识别结果是否为未授权人员，并将未授权人员使用矩形框标注，并给出未授权人员编号，最后发出警报。

9、其中，步骤（1）中特征向量信息包含人物面孔，穿着和姿态等信息。

10、步骤（2）中训练方法使用深度学习通用训练方法，将数据集划分为训练集、验证集合测试集，通过反向传播更新网络参数。

11、所述的一种应用于综合管廊未授权人员识别与搜索方法，所述步骤（2）中yolo v5网络模型由输入部分、人员检测特征提取部分、neck部分和输出部分组成。

12、yolo v5网络的输入部分为城市综合管廊工作人员的特征向量，并加入了自适应锚框、自适应图片缩放和moasic数据增强算法；人员检测特征提取部分采用cspdarknet53网络，cspdarknet53网络由多个残差网络和csp结构组成，在完成人员检测特征提取的同时又避免网络层数加深带来的梯度消失问题，具备resnet50的特征提取功能并且可以比较有效的降低计算量；neck部分使用fpn+pan结构，并对结构进行了一定程度的修改，将普通的卷积改为csp2结构，加强网络的特征融合能力；输出部分使用ciou_loss作为损失函数，并且通过三种不同大小的head端口，达到不同尺度的高精度分类结果。

13、步骤（2）中mgn网络的人员识别搜索特征提取部分采用resnet50，针对resnet50提取的高维度特征，branches部分将提取的高维度特征分为三个部分，global分支、part_2分支和part_3分支，global分支首先进行一次下采样，进一步提取行人特征信息，然后将提取的特征转化为1×1×2048的向量，将特征向量与全连接层相连接，并通过softmax层，得到global分支的分类结果；

14、part_2分支对主干人员识别搜索特征提取网络提取的高维度特征进行纵向分割，分割后的两部分进行max-pooling操作，得到两个1×1×2048的特征向量，对得到的两个特征向量分别通过1×1的卷积核，用于降低特征向量的维度，降低维度后的特征向量与全连接层连接，并通过softmax层得到分类结果；

15、part_3分支将高维度特征纵向分为三个部分，分别进行max-pooling操作和通过1×1卷积核，最后的结果通过softmax层，并且主干人员识别搜索特征提取网络有一个单独的分支，进行global分支的操作，最后通过三元损失函数得到结果，损失函数由softmax损失函数和三元损失函数组成，总损失函数为：式中，g表示global分支，p2和p3分别表示part_2和part_3分支，softmax和triplet分别表示交叉熵损失函数和三元损失函数。

16、三元损失函数由三元组成，分别为锚框anchor、正样本positive、负样本negative，三元损失函数主要是最大化锚框与负样本之间的距离，最小化锚框与正样本之间的距离，因此期望以下等式成立；

17、式中为锚框值，为正样本，为负样本，表示负样例比正样例远的距离，根据上公，三元损失函数的公式可以写为：

18、。

19、yolo v5网络模型输入部分，加入了moasic数据增强、自适应锚框计算、自适应的图片缩放，moasic数据增强由cutmix数据增强演化而来，将四幅图像重组为一幅新的图像，使用自适应锚框计算，通过设计自适应图片缩放，填充的灰色部分为自适应的比例大小，加快模型的推理速度。

20、使用darknet53作为主干人员识别搜索特征提取网络，在neck部分使用特征金字塔网络和pan网络，用于更好的融合不同特征层的特征信息，head部分拥有三个不同尺度的预测结果，针对不同尺度的预测结果，通过非极大抑制操作剔除分数较低的锚框，得到最后的预测结果。

21、步骤（6）中采用精度和召回率指标对未授权人员检测结果进行评估，其计算公式如下：

22、；式中， tp，true positive，表示正确检测的未授权人员数量， fp，false positive，表示错误检测未授权人员数量， fn，false negative，表示未检测到的未授权人员的数量。

23、本发明具有的优点和积极效果是：yolo v5通过其独特的多模型能力，适用于不同环境的应用。并且yolo v5网络的目标检测精度较高，在工业方面应用较为广泛。mgn网络将区域分割为一个全局和两个局部分支，通过不同的分割区域数量引入不同的颗粒度，并且深度学习机制可以在整张抠图上捕捉人体上的大致注意力信息，因此mgn网络可以捕捉到局部特征中更集中的显著性偏好。本发明通过结合yolo v5目标检测网络和mgn网络，解决了城市综合管廊的未授权人员识别与搜索问题，其网络识别未授权人员的效果较好。