一种红外图像行人检测方法

本发明涉及行人检测，具体涉及一种红外图像行人检测方法。

背景技术：

1、行人检测是一项至关重要的任务，具有广泛的实际应用，包括增强行人的安全性，实现自动驾驶，改善视频监控。然而，在弱光环境下，由于能见度降低等因素，行人检测仍然是一项具有挑战性的任务。因此，开发有效的红外行人检测系统成为当务之急。红外成像由于其优越的视觉能力，已成为监控系统中可见光成像的热门技术。然而，由于红外图像相比可见光图像具有更为明显的特征，传统的依赖人工设计特征的行人检测方法可能不足以用于红外行人检测。此外，为了训练具有高精度的行人检测模型，大规模数据集的收集和标注也是一项艰巨的任务。

2、近年来，机器学习模型在红外行人检测和识别任务中得到了广泛应用。在端到端检测方法发展之前，传统的计算机视觉技术，如方向梯度直方图(hog)、局部二值模式(lbp)和聚合通道特征(acf)也常用于此领域。然而，这些方法在准确捕捉热成像中有关行人的所有必要信息方面存在局限性。虽然基于机器学习的方法，如深度神经网络和yolo系列，已经被证实在一定程度上可以提高红外行人检测的性能，但它们可能会产生成本高昂的复杂检测模型。此外，红外行人的数据集通常比可见光数据集更小，因此使用复杂的检测模型并不总是切实可行的。

技术实现思路

1、本发明的目的在于简便的提高热图像行人检测的性能，针对上述存在的不足，提出一种红外图像行人检测方法。

2、本发明采用如下技术方案：

3、一种红外图像行人检测方法，包括以下步骤：

4、s1：将yolov5与attention模块、unet结合，形成yolo-unet网络；

5、s2：attention模块和unet形成attention unet，attention unet选择一副红外图像或者一对红外与可见光行人图像，attention unet对选择的一副红外图像或者一对红外与可见光行人图像进行编码和解码，生成伪彩色图像并传输至yolov5；

6、s3：yolov5利用diou-nms技术进行后处理和检测损失函数，并进行特征提取和行人分类；

7、在步骤s3中的diou-nms技术涉及以下式子：

8、

9、

10、

11、其中，si为diou-nms的得分，iou为交并比，rdiou为diou新增的惩罚项，ε为预定义的阈值，b为估计边界框，bgt为目标基准真值，b为b的中心点，bgt为bgt的中心点，c为同时覆盖b和bgt的最小边界框c的对角线长度，ρ为b和bgt两个中心点的欧式距离。

12、可选的，在步骤s3中，yolov5检测的损失函数由三个部分组成，分别为bbox回归损失、目标置信度损失和类别损失。

13、可选的，在步骤s3中，yolov5检测损失函数满足以下式子：

14、

15、

16、

17、

18、

19、其中，l(tp,tgt)为总损失，tp为预测向量，tgt为真值向量，k、s2和b分别为输出特征图、预测框和每个预测框上anchor的数量，αbox、αobj和αcls为对应的bbox回归损失、目标置信度损失和类别损失的权重，为第k个输出特征图，为用于平衡每个尺度的输出特征图的权重，取值为或或时对应80*80的输出特征图，时对应40*40的输出特征图，时对应20*20的输出特征图，lciou为ciou损失，ciou为考虑了重叠面积、中心点距离、长宽比的iou，dv为同时覆盖真值边界框和预测框的最小边界框的对角线长度，de为真值边界框和预测框的中心点的欧式距离，wgt为真值边界框的宽，hgt为真值边界框的高，w为预测框的宽，h为预测框的高，lobj为目标置信度损失，piou为预测框和与之对应的目标框的iou值，po为预测框中的目标置信度分数，为带sigmoid的二进制交叉熵函数bcewithlogitsloss，wobj为调节样本的权重，lcls为分类损失，wcls为调节样本的权重，cp为预测框的类别分数，cgt为目标框的类别分数。

20、可选的，在步骤s3中，yolov5包括相互通信连接的骨干组件、颈部组件和头部组件。

21、可选的，在步骤s3中，骨干组件使用csp-darknet53架构，颈部组件使用sppf和csp-pan架构来生成特征金字塔，头部组件使用yolo通用预测层。

22、本发明所取得的有益效果是：

23、1、将yolov5与attention模块、unet结合，形成yolo-unet网络，以专注于共同特征，能优化特征的提取且对行人进行分类；

24、2、yolo-unet网络能共享来自多个相关数据集的可见光信息，在公共红外行人数据集中能取得较高的行人检测精度；

25、3、yolo-unet网络可以在不需要复杂检测模型或者大型数据集的情况下提高热图像行人检测的性能。

26、为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。

技术特征：

1.一种红外图像行人检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种红外图像行人检测方法，其特征在于，在步骤s3中，yolov5检测的损失函数由三个部分组成，分别为bbox回归损失、目标置信度损失和类别损失。

3.如权利要求2所述的一种红外图像行人检测方法，其特征在于，在步骤s3中，yolov5检测损失函数满足以下式子：

4.如权利要求3所述的一种红外图像行人检测方法，其特征在于，在步骤s3中，yolov5包括相互通信连接的骨干组件、颈部组件和头部组件。

5.如权利要求4所述的一种红外图像行人检测方法，其特征在于，在步骤s3中，骨干组件使用csp-darknet53架构，颈部组件使用sppf和csp-pan架构来生成特征金字塔，头部组件使用yolo通用预测层。

技术总结
本发明涉及行人检测技术领域，具体涉及一种红外图像行人检测方法，包括以下步骤：S1：将YOLOv5与attention模块、Unet结合，形成YOLO‑Unet网络；S2：attention模块和Unet形成attention Unet，attention Unet选择一副红外图像或者一对可见光和红外行人图像，attention Unet对选择的一副红外图像或者一对可见光和红外行人图像进行编码和解码，生成伪彩色图像并传输至YOLOv5；S3：YOLOv5利用DIoU‑NMS技术进行后处理和检测损失函数，并进行特征提取和行人分类。YOLO‑Unet网络可以在不需要复杂检测模型或者大型数据集的情况下，能提高热图像行人检测的性能。

技术研发人员：魏俊宇,苏绍璟,赵宗庆,左震,郭晓俊,刘君豪
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/1/15