一种航拍红外图像行人识别系统和方法

本发明涉及图像识别领域，尤其是一种基于单边抑制的算子融合卷积神经网络的航拍红外图像行人识别系统和方法。

背景技术：

1、人工智能技术在无人机航拍检测领域得到广泛应用。传统的单一可见光图像在微光等非理想条件下成像效果差，给后续检测带来挑战。采用红外相机可以捕获红外光谱范围内的图像，人体在图像中通常呈现为明亮的区域，可以对可见光图像形成有效补充。目前，在无人机机载图像处理中，主要分为远程数据处理方式和机载实时处理方式。远程数据处理方式存在带宽和延迟问题。相比之下，将卷积神经网络部署在嵌入式平台上可以保障数据安全性，减少数据传输和处理延迟，实现实时处理。

2、人工智能技术在行人检测和识别领域已经取得进展，但是在航拍红外图像的行人检测和识别领域仍存在挑战。目前大多算法采用服务器端进行部署，整体体积大，功耗高，成本昂贵。远程调用云服务器进行计算需要大带宽的数据传输链路，存在高延迟、数据安全性差的问题。相反，将轻量化卷积神经网络部署在小型嵌入式平台上，能在保护数据隐私和安全性的同时，减少数据传输量和降低处理延迟，实现实时处理。因此，基于小型化嵌入式平台的轻量化神经网络模型的实现与部署技术十分重要。

3、cn115641606a公开了一种基于tipssd的轻量级多尺度热红外行人检测方法，其采用轻量级骨干网络resnet50替换掉ssd网络中的vgg16，并在模型中引入特征金字塔实现多尺度语义信息融合，同时和多尺度训练策略相结合，最后在数据预处理部分引入了图像原色填充策略的方法进行模型的轻量化设计，有利于模型在端侧设备上进行部署。

4、cn116012659b公开了一种红外目标检测方法、装置、电子设备及存储介质，其采用多种图像增强技术，并结合轻量化的卷积网络架构提高算法的计算速度，同时在候选区域提取阶段，采用全局阈值分割的方法，提高候选区域提取的速度。

5、cn116824630a公开了一种轻量化红外图像行人目标检测方法，其利用轻量化的骨干特征提取网络mbnet替代yolov5的骨干网络部分，并增加特殊滤波器突出行人边缘特征，并基于高斯概率密度分布以及指数分布改进损失函数，重新设计损失函数中的交并比部分。

6、cn116469077a公开了一种夜间行人检测方法，其利用红外图像与雷达数据相融合的方式进行夜间行人的检测，避免了单个传感器对目标检测行人的漏检误检等情况，同时在卷积块中添加端侧神经网络对特征图进行增强，添加se注意力机制模块以改善模型的检测精度和检测速度。

7、再例如“基于改进yolov5与嵌入式平台的多旋翼无人机检测算法”(程江川,王伟,康林等，《兵工自动化》)将mobilenetv3网络代替yolov5中的csp-darknet53作为骨干网络进行特征提取，并优化改进特征加强网络以及算法的回归框损失函数从而提高算法识别的速度。

8、此外，“基于红外与可见光的航拍行人检测”(庄正屹，西南科技大学)在jetsontx2上部署的改进版yolov4-tiny模型，该模型在进行tensor rt加速后，640640分辨率的图片推理一张仍需77ms，且此时jetson tx2运行在max q模式(功耗高达15w)。

9、上述现有技术在一定程度上，的确实现了在机载端的轻量化部署，但是存在以下不足之处：

10、1)目前的识别设备通常是直接读取摄像头图像进行检测，最终往往仅传输识别目标的相对位置以及类别，对于调试和复盘不太友好。

11、2)现有的轻量化模型往往采用缩小网络结构，减少网络层数的方式达到轻量化的目的，例如采用mobilenet或是其他更浅层的特征提取网络，或是将模型的通道数降低，从而减少计算量，而这样做会导致模型的精度下降较多，但是航拍图像往往目标较小，检测精度要求较高，无法满足对航拍红外图像进行行人检测的需求。

12、3)精度较高的模型的算子计算复杂度高，例如sigmoid激活函数、tanh激活函数这样的非线性激活函数。若使用整型数进行计算，计算过程复杂且精度损失较多，而使用浮点数进行计算又会占用大量的存储和计算资源，硬件重量大、体积大、功耗高，不适用于在嵌入式平台进行部署。

13、因此，在轻量化模型部署方面，亟需一种既能保证检测精度高，又能大规模部署于嵌入式平台的检测算法。

技术实现思路

1、本发明的发明目的在于：针对上述存在的全部或部分问题，提供一种基于单边抑制的算子融合卷积神经网络的航拍红外图像行人识别方法，以在保证对航拍红外图像进行行人检测的需求的前提下，满足检测消耗资源少、检测速度快、硬件体积小的要求。

2、本发明采用的技术方案如下：

3、一种航拍红外图像行人识别系统，其包括红外相机数据获取模块和检测模块，其中：

4、所述红外相机数据获取模块用于获取红外相机的视频流数据，得到红外图像；

5、所述检测模块用于对获取的红外图像中的行人进行检测；所述检测模块中配置有预处理模块和神经网络推理模块，其中：

6、所述预处理模块对获取的红外图像进行预处理；

7、所述神经网络推理模块中配置单边抑制的算子融合卷积神经网络模型，使用红外图像数据集训练该网络模型，得到能够检测行人的检测模型；

8、所述单边抑制的算子融合卷积神经网络模型包括：跨阶段分层连接深度骨干网络、多尺度特征融合模块，以及检测输出模块三部分；所述跨阶段分层连接深度骨干网络和所述多尺度特征融合模块中包含卷积融合模块，所述卷积融合模块将卷积和单侧抑制激活函数进行融合；

9、所述跨阶段分层连接深度骨干网络对输入的红外图像进行特征提取，输出三个不同维度的特征图；所述多尺度特征融合模块分别从所述跨阶段分层连接深度骨干网络获取所述三个不同维度的特征图进行特征提取，输出三种尺度的特征结果；所述检测输出模块分别从所述多尺度特征融合模块获取所述三种尺度的特征结果进行转化，对应得到各个特征结果的预测结果。

10、进一步的，所述单边抑制的算子融合卷积神经网络模型的三部分还包括：残差单元模块、跨阶段局部网络模块、快速空间金字塔池化模块，以及输出模块，其中：

11、所述残差单元模块采用两种不同的残差组件，分别应用于所述跨阶段分层连接深度骨干网络和多尺度特征融合模块之中；

12、所述跨阶段局部网络模块由所述卷积融合模块和所述残差单元模块组合而成，其输入一路仅经过所述卷积融合模块，另一路经过所述卷积融合模块后再经所述残差单元模块进行残差运算，之后两路进行通道叠加，再进行一次卷积融合模块提取特征后输出；

13、所述快速空间金字塔池化模块将经过卷积融合模块、一次池化、两次池化和三次池化的四组数据进行拼接，之后再通过卷积融合模块提取特征输出；

14、所述输出模块将输入数据进行一次卷积运算，再进行尺度变换，再进行位置调换，得到预测结果。

15、进一步的，所述跨阶段分层连接深度骨干网络中，输入的红外图像经过两层卷积融合模块的计算以及一层单残差跨阶段局部网络模块的计算，得到的结果再经过两层卷积融合模块的计算以及一层双残差跨阶段局部网络模块的计算，得到第一维度的特征图并输出给多尺度特征融合模块；同时该第一维度的特征图再经过一层卷积融合模块的计算以及一层三残差跨阶段局部网络模块计算，得到第二维度的特征图并输出给多尺度特征融合模块；该第二维度的特征图再经过一层卷积融合模块的计算以及一层单残差跨阶段局部网络模块计算和快速空间金字塔池化模块计算，得到第三维度的特征图输出给多尺度特征融合模块。

16、进一步的，所述多尺度特征融合模块包含三层特征金字塔，分别从所述跨阶段分层连接深度骨干网络获取三个不同维度的特征图，经过卷积融合模块、跨阶段局部网络模块、尺寸变换以及通道叠加，得到三种尺度的特征结果。

17、进一步的，所述红外相机数据获取模块还将获取的红外图像由三通道灰度图像转换为单通道灰度图像；

18、所述预处理模块的预处理包括：

19、对红外图像的分辨率进行统一；

20、将统一的红外图像由单通道灰度图像扩展为三通道灰度图像。

21、进一步的，所述系统还包括识别结果叠加编码模块，所述识别结果叠加编码模块将所述预测结果与红外图像进行叠加，并将叠加的图像进行编码。

22、进一步的，所述识别结果叠加编码模块并将叠加的图像进行硬件编码。

23、进一步的，所述系统还包括多线程控制模块，所述多线程控制模块用于并行处理整个视频流数据，其启用三个子线程分别用于所述红外相机数据获取模块、所述检测模块，以及所述识别结果叠加编码模块的并行运行。

24、进一步的，所述检测模块还包括后处理模块，所述后处理模块对三个所述预测结果进行后处理，包括移除重复候选框，以及将预测结果发送给主线程和识别结果叠加编码模块所在线程。

25、本发明还提供了一种航拍红外图像行人识别方法，该方法基于上述的航拍红外图像行人识别系统；该方法包括：

26、利用红外相机数据获取模块获取红外相机的视频流数据；

27、利用检测模块对获取的红外图像中的行人进行检测。

28、综上所述，由于采用了上述技术方案，本发明的有益效果是：

29、1、本发明所提供的解决方案可以在保证满足对航拍红外图像进行行人检测的需求的前提下，满足检测速度快、设备体积小、整机功耗低的特点，满足无人机记载平台的需求，并可以低成本、大规模的投入应用。

30、2、本发明利用单侧抑制激活函数运算简单，占用资源少，且可以和卷积计算直接结合的特点，将传统的卷积与复杂激活函数单独计算优化处理，检测速度多提升了近10％，且优化针对性更强，更适合在人工智能处理器上进行部署推理。

31、3、本发明大量使用了融合算子，在保持较高的模型精度的情况下，有效的降低计算量，提高红外图像处理的速度，实现了更高的实时性。

32、4、本发明仅采用红外图像进行识别，无需额外添加雷达设备，从而大幅减轻了无人机所需携带的设备负荷，使得整个系统更加轻便，并且最终的检测效果也与之相近，适用于无人机机载平台使用。在检测算法上，本发明所提出的神经网络结构更加简单，计算量更小，速度更快，实现了更高的实时性。

33、5、本发明提出的基于单边抑制的算子融合卷积神经网络，采用了四线程并行处理的方式，在同样640×640分辨率下推理一张图片仅需46毫秒左右，速度提升40％，整机功耗(包含核心板和红外摄像头)仅6瓦，能效比极高。