基于频域差分的感兴趣区域快速定位方法及装置

本发明涉及图像检测，更具体的说是涉及一种基于频域差分的感兴趣区域快速定位方法及装置。

背景技术：

1、图像检测是指利用计算机对图像进行处理、分析和理解，以定位和识别图像中不同的目标。其中，定位图像中可能为目标的感兴趣区域是图像检测的基础。随着人工智能软硬件技术的普及，深度学习算法在道路监测、海洋监测等领域发挥着重要作用。然而，基于深度学习的图像检测方法不仅参数量大而且实时性差。

2、现有面向可见光的深度学习方法图像处理算法需使用大量运算资源实现感兴趣区域定位功能。以卷积神经网络为例，最轻量的卷积神经网络也需要使用1兆左右的参数量与几十层卷积层或线性层来定位常规尺寸输入图像（256×256）中感兴趣区域。卷积层与线性层的数量决定了卷积神经网络的深度，而网络越深则运算资源开销越大。因此，即便处理单波段的红外图像，现有卷积神经网络仍需花费大量运算开销。此外，虽然网络轻量化技术可针对应用需求定制化修改网络结构，然而轻量化后网络对于部署硬件的兼容性难以保证。以网络剪枝技术为例，该技术通过降低网络宽度来压缩卷积层或线性层的计算量。然而该技术导致了网络层间宽度差异加剧，从而增加硬件并行计算设计的难度。

3、同时，通过红外目标结构不变性可区分图像中前景区域与背景区域，但现有红外图像处理算法泛化性较差。即当红外目标常为舰船、汽车、飞机等刚性较强的物体时，其内部相对不变点个数远高于云、雾等自然干扰；而当红外目标不具备结构不变性时，受成像环境影响，红外目标特性会发生巨大变化，使得无法有效区分前景区域。

4、因此，如何克服上述问题，结合红外目标特性定制化设计感兴趣区域快速定位方法，是当前亟待解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于频域差分的感兴趣区域快速定位方法及装置，主要提供了一种混合小波变换算子，用于以低参数量构建红外图像辐射变化信息；以及一种基于频域变换结果的显著性预测网络，用于根据图像特征高效表征目标特征，快速定位图像中前景与背景区域与目标热辐射特性相似的显著性区域。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种基于频域差分的感兴趣区域快速定位方法，包括：

4、s1、利用混合小波变换算子对红外图像进行二维离散小波频域变换，得到红外图像频域特征；

5、s2、构建显著性预测网络，用于根据红外图像频域特征输出显著图；所述显著性预测网络包括特征筛选模块和显著性预测模块，

6、所述特征筛选模块依次包括全局池化层、第一二维卷积层，silu激活函数、第二二维卷积层以及逐像素点乘运算层；

7、所述显著性预测模块依次包括第三二维卷积层，silu激活函数，第四二维卷积层和silu激活函数；

8、s3、利用高斯滤波算子抑制所述显著图中背景，增强红外目标信息，定位得到感兴趣区域位置。

9、优选地，s1中，利用混合小波变换算子分别对红外图像的行特征和列特征进行频域变换，得到行特征和列特征的高低频特征，进行拼接后得到所述红外图像频域特征；

10、所述混合小波变换算子包括haar、daubechies、coiflet和biornr.nd。

11、优选地，所述混合小波变换算子权重为：

12、

13、式中，表示第i种小波变换中提取低频分量的一维卷积核，表示第i种小波变换中提取高频分量的一维卷积核，d表示小波变换算子种类，ci表示第i中小波变换算子的参数数量，length为一维卷积核长度，i对应不同二维离散小波频域变换类别下标。

14、优选地，s2中，第一二维卷积层、第二二维卷积层和第四二维卷积层的滤波核尺寸为1×1；第三二维卷积层的滤波核尺寸为3×3。

15、优选地，s3中，所述高斯滤波算子由一个滤波核尺寸为3×3的卷积层组成。

16、优选地，根据红外数据集构建图像感兴趣区域标签集合，按如下公式自适应调整混合小波变换算子、显著性预测网络与和高斯滤波算子的参数；

17、

18、式中，focal为损失函数，为本技术预测所得第m幅图像的感兴趣区域，asm表示图像感兴趣区域标签集合中第m幅图像的感兴趣区域，为采用双线性插值函数将输入沿长和宽各扩大2倍。

19、优选地，根据红外数据集构建图像感兴趣区域标签集合的步骤包括：

20、1）遍历红外图像数据集中每幅图像的目标位置信息<num,xcen,ycen,wobj,hobj>，num为每幅图像中的目标数量，xcen和ycen分别为每个目标最小外接矩中心点的横纵坐标，wobj和hobj分别为每个目标最小外接矩的宽与高；

21、2)根据每幅图像中目标最小外界据长宽wobj,hobj，按如下公式确定图内各目标显著性分布系数；

22、

23、

24、其中，为第m个目标在水平方向的显著性系数，为第m个目标在竖直方向的显著性系数，scale为尺度系数；

25、3）根据所述目标显著性分布系数，采用高斯分布估计图像感兴趣区域概率；

26、

27、式中，asm(i,j)表示第m幅图像中点(i,j)感兴趣区域概率；且

28、

29、

30、。

31、第二方面，一种基于频域差分的感兴趣区域快速定位装置，包括：

32、图像频域变换单元，用于利用混合小波变换算子对红外图像进行二维离散小波频域变换，得到红外图像频域特征；

33、显著图获取单元，存储如上所述的基于频域差分的感兴趣区域快速定位方法中的显著性预测网络，用于根据红外图像频域特征输出显著图；其中，所述显著性预测网络包括特征筛选模块和显著性预测模块，

34、所述特征筛选模块依次包括全局池化层、第一二维卷积层，silu激活函数、第二二维卷积层以及逐像素点乘运算层；

35、所述显著性预测模块依次包括第三二维卷积层，silu激活函数，第四二维卷积层和silu激活函数；

36、显著图优化单元，用于利用高斯滤波算子抑制所述显著图中背景，增强红外目标信息，定位得到感兴趣区域位置。

37、优选地，还包括参数优化单元，用于根据红外数据集构建图像感兴趣区域标签集合，按如下公式自适应调整混合小波变换算子、显著性预测网络与和高斯滤波算子的参数；

38、

39、式中，focal为损失函数，为本技术预测所得第m幅图像的感兴趣区域，asm表示图像感兴趣区域标签集合中第m幅图像的感兴趣区域，为采用双线性插值函数将输入沿长和宽各扩大2倍。

40、第三方面，本发明提供了一种计算机可读存储介质，存储介质中存储有计算机程序，计算机程序被执行时实现如上所述的基于频域差分的感兴趣区域快速定位方法。

41、经由上述的技术方案可知，本发明公开提供了一种基于频域差分的感兴趣区域快速定位方法及装置，与现有技术相比，本发明设计的基于频域差分的感兴趣区域快速定位方法，可快速定位图像中与目标红外热辐射特性高度相似的任务感兴趣区域，适用于多种成像场景下红外图像目标定位；

42、具体通过可同时进行多种小波变换的混合小波变换算子，实现以低参数量构建红外图像辐射变化信息；以及构建并基于频域变换结果的显著性预测网络，根据图像特征高效表征目标特征，快速定位图像中前景与背景区域与目标热辐射特性相似的显著性区域。

43、本发明方法可准确且快速地定位多种海况下红外图像中监测目标区域，且算法参数量低且存储空间占用少，对运行平台硬件条件要求远低于通用深度学习目标区域定位算法。

44、此外，本发明还利用深度学习算法数据驱动的优势提升了本方法的泛化性。