一种基于特征增强的多实例行人检测方法

本发明涉及目标检测，尤其涉及一种基于特征增强的多实例行人检测方法。

背景技术：

1、目标检测技术是计算机视觉领域中的一个重要研究课题，目的在于识别图像或视频中有哪些物体以及物体的位置。而行人检测作为目标检测的一个重要分支，其目的在于判断图像或视频中是否存在行人并给出精确定位。行人检测与行人跟踪、行人重识别等技术相结合后，在人工智能系统、车辆辅助驾驶系统、智能机器人、智能视频监控、人体行为分析、智能交通等领域有着巨大的应用前景和实用价值。

2、传统的行人检测方法主要通过手工设计特征进行行人检测，现有技术中公开了方向梯度直方图(hog)特征作为行人特征，并且采用svm分类器来对行人特征进行分类；还包括积分通道特征(icf)，采用积分图技术，来将行人的梯度、颜色等特征进行随机组合，并且采用svm分类器对特征进行分类。上述方法初期能够提高行人检测效率，并且对后面的行人检测方法起到极大的促进作用。然而，手工特征提取算法较为复杂，并且手工设计的特征不能很好的表示尺度姿态多变、遮挡严重、背景复杂等状态下的行人，使得传统的行人检测方法不能很好的解决现实生活中的实际问题。近些年来深度学习算法取得了巨大进步，因此大量学者转为利用深度学习框架开展行人检测研究，取得了一定的成果。但是现有的基于深度学习的行人检测方法在行人密集场景下还存在一些问题：(1)由于行人之间高度重叠，导致行人特征高度相似，难以区分。(2)由于行人之间高度重叠，使得原有的单实例检测方法容易造成漏检。

技术实现思路

1、本发明提出了一种基于特征增强的多实例行人检测方法，以解决上述现有技术中技术问题。

2、为实现上述目的，本发明提供了一种基于特征增强的多实例行人检测方法，包括：

3、获取数据集，并将所述数据集划分为训练集和测试集；

4、基于所述训练集对改进后的faster rcnn网络模型进行训练，获取训练好的faster rcnn网络模型；

5、通过所述测试集对所述训练好的faster rcnn网络模型进行测试，获取检测结果。

6、优选地，所述数据集包括带有标注行人可见框和全身框的数据集。

7、优选地，所述改进后的faster rcnn网络模型，包括：

8、backbone单元：用于提取图像中的行人特征，生成特征图；

9、双rpn单元：用于生成行人的可见候选框和全身候选框；

10、rol pooling单元：用于将候选框中的特征图缩放到相同大小的尺寸；

11、head单元：用于对候选框中的特征使用多实例进行预测；

12、所述backbone单元、所述双rpn单元、所述rol pooling单元和所述head单元依次连接。

13、优选地，对所述改进后的faster rcnn网络模型进行训练，包括：

14、将所述训练集中待检测的行人图像输入到所述backbone单元中，通过resnet50提取所述图像中不同层的行人特征，基于fpn将提取到的所述不同层的行人特征进行特征融合，得到不同尺度的特征图；

15、基于所述特征图，通过所述双rpn单元分别生成行人的可见候选框和全身候选框，将所述行人的可见候选框和全身候选框投影到图像的所述特征图上，获取相应行人的可见特征和全身特征，其中所述行人的可见特征为行人未被遮挡的可见部分的特征，通过所述可见候选框获得；行人的全身特征为整个行人的特征，通过所述全身候选框获得；

16、增强所述行人的可见特征，对增强后的行人特征进行多实例预测，完成预测后，获取所述改进后的faster rcnn网络模型。

17、优选地，生成所述行人的可见候选框，包括：

18、使用n×n的滑动窗口在所述特征图上进行滑动，每滑动到一个位置生成一个一维向量，所述一维向量通过两个全连接层输出目标概率和边界框的回归参数；对于所述特征图上每个n×n的滑动窗口，计算所述滑动窗口中心点对应原始图像上的中心点，并计算出所述中心点对应的k个anchor boxes；

19、删除超出图像边界的anchor box，通过所述边界框的回归参数调整所述anchorbox的位置，获得所述候选框，基于所述候选框的目标概率，通过非极大值抑制删除重复的候选框，生成所述行人的可见候选框。

20、优选地，增强所述行人的可见特征，包括：

21、将所述可见候选框和所述全身候选框中的特征进行比较，若所述可见候选框与所述全身候选框对应位置值的差在预设阈值范围内,则将所述可见候选框对应所述全身候选框位置的值置为1，否则置为0，并且将所述全身候选框对应所述可见候选框之外的所有值都置为0，获取与所述全身候选框大小一致的二值图；

22、将所述全身候选框与所述二值图进行内积，获得所述全身候选框所对应全身的可见特征；

23、将所述全身候选框的可见特征与所述可见候选框的特征进行特征融合，增强所述行人的可见特征。

24、优选地，将所述全身候选框的可见特征与所述可见候选框的特征进行特征融合，包括：

25、将所述全身候选框的可见特征与所述可见候选框的特征通过skff特征融合模块获得增强行人可见部分后的特征，其中，所述skff特征融合模块基于自注意力进行选择性的特征融合；所述skff特征融合模块通过fuse操作和select操作完成特征融合。

26、优选地，所述fuse操作包括通过结合来自不同的特征信息生成全局特征描述，所述select操作包括基于所述全局特征描述重新校准特征映射，并进行聚合。

27、优选地，对所述增强后的行人特征进行多实例预测，包括：

28、将所述行人的可见特征通过rol pooling单元缩放到相同大小的特征图，将所述相同大小的特征图通过若干个全连接层进行多实例预测，获得最后的结果。

29、与现有技术相比，本发明具有如下优点和技术效果：

30、本发明在faster rcnn网络中通过两个rpn网络引入额外行人可见候选框，得到遮挡较小的行人可见特征，用于辅助特征融合得到容易区分的行人特征；通过在双rpn网络后添加skff模块进行特征融合，得到便于区分的行人特征，能够使得faster rcnn网络预测得更准确。

31、本发明通过使用多实例预测方法对不同的候选框，预测与之相对应的行人个数，来减少行人出现的漏检。

技术特征：

1.一种基于特征增强的多实例行人检测方法，其特征在于，包括：

2.根据权利要求1所述的基于特征增强的多实例行人检测方法，其特征在于，所述数据集包括带有标注行人可见框和全身框的数据集。

3.根据权利要求1所述的基于特征增强的多实例行人检测方法，其特征在于，所述改进后的faster rcnn网络模型，包括：

4.根据权利要求3所述的基于特征增强的多实例行人检测方法，其特征在于，对所述改进后的faster rcnn网络模型进行训练，包括：

5.根据权利要求4所述的基于特征增强的多实例行人检测方法，其特征在于，生成所述行人的可见候选框，包括：

6.根据权利要求4所述的基于特征增强的多实例行人检测方法，其特征在于，增强所述行人的可见特征，包括：

7.根据权利要求6所述的基于特征增强的多实例行人检测方法，其特征在于，将所述全身候选框的可见特征与所述可见候选框的特征进行特征融合，包括：

8.根据权利要求7所述的基于特征增强的多实例行人检测方法，其特征在于，所述fuse操作包括通过结合来自不同的特征信息生成全局特征描述，所述select操作包括基于所述全局特征描述重新校准特征映射，并进行聚合。

9.根据权利要求1所述的基于特征增强的多实例行人检测方法，其特征在于，对所述增强后的行人特征进行多实例预测，包括：

技术总结
本发明公开了一种基于特征增强的多实例行人检测方法，包括：获取数据集，并将所述数据集划分为训练集和测试集；基于所述训练集对改进后的Faster RCNN网络模型进行训练，获取训练好的Faster RCNN网络模型；通过所述测试集对所述训练好的Faster RCNN网络模型进行测试，获取检测结果。本发明通过使用多实例预测方法对不同的候选框，预测与之相对应的行人个数，来减少行人出现的漏检。

技术研发人员：刘军清,王鹏,康维,张威威,张思甜
受保护的技术使用者：三峡大学
技术研发日：
技术公布日：2024/1/15