基于多频率融合的通道注意力图像处理方法

本发明涉及图像处理分析，具体为基于多频率融合的通道注意力图像处理方法。

背景技术：

1、许多基本的计算机视觉任务中的图像处理任务，如structure from motion（sfm）、simultaneous localization and mapping（slam）、相对姿态估计和视觉定位等，都是以匹配同一场景下的两个或多个视图为中心，图像匹配任务也是一种重要的图像分析处理任务，他旨在将两幅图像中具有相同/相似属性的内容或结构进行像素上的识别与对齐，现有的图像匹配方法可以分为三种类型：detect then describe框架、describe todetect框架以及detect free框架，detect then describe框架首先检测图像关键点，然后在关键点周围生成patch，并将patch送入特征提取网络提取特征；describe to detect框架则首先使用cnn提取密集的描述符，然后基于该描述符的可分辨性来确定该描述符是否作为关键点的可能性；detector free框架不需要检测图像的关键点，使用cnn或transformer提取不同层次的特征图，然后根据粗粒度的特征图进行粗级别的匹配，最后在粗略匹配的基础上根据细粒度的特征图进行细化匹配，这种方法由于直接计算待匹配图像特征图之间全部特征向量的相似度，所以可以产生可重复的密集匹配，更有利于在低纹理区域以及重复图案产生对应关系，目前来看，这种无检测器方法在大多数情况下优于基于检测器的方法。

2、然而，在目前的图像处理方法中，很少有将通道注意力融入其中的做法。特别是基于无检测器框架的图像匹配分析方法中，并没有引入通道注意力的概念。对于一张图片所产生的特征图，不同通道的权重一般都是不一样的，进而对于下游的图像处理任务的结果产生重要影响。如何将通道注意力融入图像匹配问题的解决方案中，进而融入到图像处理领域，是一个亟需解决的技术问题。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了基于多频率融合的通道注意力图像处理方法，具备将通道注意力融入图像特征过程中等优点，解决了上述技术问题。

3、（二）技术方案

4、为实现上述目的，本发明提供如下技术方案：一种基于多频率融合的通道注意力图像处理方法，包括以下步骤：

5、s1、通过主干网络提取图像的多尺度特征；

6、s2、用不同频率分量的离散余弦变换对特征图分别进行处理；

7、s3、使用算法公式对权重进行计算，并对处理得到的向量进行加权，得到初始化的注意力向量；

8、s4、对初始化的注意力向量进行处理，得到最终通道注意力向量；

9、s5、将该注意力向量与原始图像特征图相乘，得到经通道注意力加权的特征图。

10、作为本发明的优选技术方案，所述步骤s1中的提取特征的主干网络的基础结构为，并采用的残差网络结构，通过特征金字塔结构对图像的多尺度特征进行提取。

11、作为本发明的优选技术方案，所述步骤s2中的离散余弦变换表达式如下：

12、；

13、其中，，，为输入图像的高度，为输入图像的宽度，上标表示二维图像，为二维离散余弦变换的频谱，且，表示输入图像，且，为第行，列的二维离散余弦变换的基函数，和分别表示输入二维图像的长和宽维度上的具体数值，表示内部数据对应和为变量的求和运算。

14、作为本发明的优选技术方案，所述二维离散余弦变换的基函数的具体表达式如下：

15、；

16、其中，表示弧度角，（*）为余弦函数。

17、作为本发明的优选技术方案，所述步骤s2的处理过程中多个频率分量压缩信息，包括最低频率分量，将不同的频率分量将分别作用到图像特征图中，其处理的结果可以用作通道注意力的作用结果，产生的向量表达式如下：

18、；

19、其中，表示第个离散余弦变换的频率分量，表示第个离散余弦变换的频率分量处理得到的向量，表示处理得到向量的序号，，即16个频率分量分别作用到图像特征图，二维离散余弦变换的基函数，，分别为对应和中的值，表示内部数据对应，为变量的求和运算。

20、作为本发明的优选技术方案，所述步骤s3中对向量进行百分比加权法步骤如下：

21、s3.1、设置特征图的通道数为；

22、s3.2、对每一个处理后的的百分比权重进行计算；

23、s3.3、对每一个维度的进行加权，得到维初始化的注意力向量的每一个维度的数值。

24、作为本发明的优选技术方案，所述步骤s3.2中的百分比权重计算公式如下：

25、；

26、其中，，，表示经过第个离散余弦变换的频率分量处理得到的向量的序号，表示向量通道数的序号，为给每一个向量的第个通道的百分比加权的权重，为每一个向量的第个通道的数值。

27、作为本发明的优选技术方案，所述步骤s3.3中的维初始化的注意力向量的每一个维度的数值的表达式如下：

28、；

29、其中，表示使用第个离散余弦变换的频率分量处理得到的向量在经过百分比加权后的第个通道的数值。

30、作为本发明的优选技术方案，所述步骤s4中的处理采用映射函数将权重数值映射到区间内，并通过函数进行初始化。

31、作为本发明的优选技术方案，所述步骤s5中得到经过通道注意力加权的特征图的计算公式如下：

32、；

33、其中，为经过通道注意力加权的特征图。

34、与现有技术相比，本发明提供了基于多频率融合的通道注意力图像处理方法，具备以下有益效果：

35、本发明通过16个不同的频率分量的离散余弦变换对特征图分别进行处理，之后将处理得到的16个一维向量进行百分比加权法，得到初始化的注意力向量映射函数以及sigmoid函数对初始化的注意力向量进行处理最后将该注意力向量与原始图像特征图相乘，得到经通道注意力加权的特征图，从而有效的提高了图像的匹配能力以及匹配精准度。

技术特征：

1.一种基于多频率融合的通道注意力图像处理方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述步骤s1中的提取特征的主干网络的基础结构为，并采用的残差网络结构，通过特征金字塔结构对图像的多尺度特征进行提取。

3.根据权利要求1所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述步骤s2中的离散余弦变换表达式如下：

4.根据权利要求3所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述二维离散余弦变换的基函数的具体表达式如下：

5.根据权利要求3所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述步骤s2的处理过程中多个频率分量压缩信息，包括最低频率分量，将不同的频率分量将分别作用到图像特征图中，其处理的结果可以用作通道注意力的作用结果，产生的向量表达式如下：

6.根据权利要求5所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述步骤s3中对向量进行百分比加权法步骤如下：

7.根据权利要求6所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述步骤s3.2中的百分比权重计算公式如下：

8.根据权利要求7所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述步骤s3.3中的维初始化的注意力向量的每一个维度的数值的表达式如下：

9.根据权利要求7所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述步骤s4中的处理采用映射函数将权重数值映射到区间内，并通过函数进行初始化。

10.根据权利要求1所述的基于多频率融合的通道注意力图像处理方法，其特征在于：所述步骤s5中得到经过通道注意力加权的特征图的计算公式如下：

技术总结
本发明涉及图像处理技术领域，且公开了基于多频率融合的通道注意力图像处理方法。通过主干网络提取图像的多尺度特征，用不同频率分量的离散余弦变换对特征图分别进行处理，得到最终通道注意力向量，将该注意力向量与原始图像特征图相乘，得到经通道注意力加权的特征图。该基于多频率融合的通道注意力图像处理方法通过16个不同的频率分量的离散余弦变换对特征图分别进行处理，之后将处理得到的16个一维向量进行百分比加权法，得到初始化的注意力向量映射函数以及sigmoid函数对初始化的注意力向量进行处理最后将该注意力向量与原始图像特征图相乘，得到经通道注意力加权的特征图，从而有效的提高了图像的匹配能力以及匹配精准度。

技术研发人员：刘沛瑜,廖赟,刘俊晖,段清,吴旭宁,潘志轩,邸一得,周豪,朱开军,钱旭,靳方伟,李沄朋,滕荣睿,吕佳依,陈楠,胡宗潇
受保护的技术使用者：云南大学
技术研发日：
技术公布日：2024/3/4