基于非局部信息注意力机制的交叉视角地理定位方法与流程

本发明属于交叉视角的地理定位领域，具体涉及基于非局部信息注意力机制的交叉视角地理定位方法，将不同视角的地理目标图片进行匹配检索，引申为定位和导航问题。

背景技术：

1、随着时代的演进，多视角地理定位技术的市场需求越来越大，将交叉视角匹配问题应用于定位和导航方面也受到越来越多的重视，即从不同的视角图像中检索出对应地理目标。如今，这方面的研究已经被慢慢应用到无人驾驶、无人机配送、机器人运输、自主巡检等领域。交叉地理定位是指从不同视点的图像推断地理位置，一般被视为图像检索任务。通常，在给定一个无人机视角图像后，实现从卫星的候选图像库中找出同一目标物的图像，从而我们可以利用卫星图中带有的相关信息，结合目前已有的定位技术，实现导航等功能。此外，当gps信号相对较弱或不稳定的时候，可以借助其实现一个独立的辅助工具来帮助用户定位。随着深度学习技术的成熟，该技术在计算机视领域被广泛应用，神经网络被引入到交叉视角地理定位中。因此，模型的性能也得到了较大提升。例如，可以利用一个已经经过预训练的神经网络模型，提取交叉视角地理图片的相关特征，通过训练，提取相关语义信息，保留重要特征。因此，研究人员可以通过提取图片中地理目标丰富的语义信息，实现多视角图片的匹配，最终完成地点目标的检索任务。在提取特征的过程中，既要关注局部信息，又要保留全局信息，结合上下文语义信息后有助于提高检索分类的性能。

2、非局部信息的注意力机制目前被广泛应用到神经网络机器学习中，并在很多场景下取得了不错的效果。将视觉注意力机制应用到深度学习的研究工作，目前常常使用掩码(mask)来形成注意力机制。掩码的目的是得到一层新的权重，计算相似度，从而提取出图片信息中的关键信息，这些关键信息往往是对其性能提升是至关重要的。通过模型训练，提取出图片中要重点关注的相关区域，即注意力机制。在一些场景下，捕获长范围特征依赖需要累积很多层的网络，这样会降低学习的效率。并且如果网络较深，需要小心地设计模块和梯度。非局部操作计算效率很高，为了达到同等效果，往往只需要更少的堆叠层。非局部操作可以保证输入尺度和输出尺度不变，并且这种设计可以很容易嵌入到目前的网络架构中。计算图片相似度、提取关键信息的方法也各有不同，因而得到的非局部注意力机制性能效果也各不相同。在具体方案中，要尽可能利用上下文信息，并提高模型的鲁棒性。

3、如今，生活节奏越来越快。人们对快递、外卖配送效率的要求也慢慢提高，这些行业需要尽可能提高配送效率。而在配送的过程中，就需要提升无人化水平，然而无人化配送必然会对地理地位导航技术带来高标准要求。无人机技术目前呈快速发展的趋势，与地理定位技术加强融合，将有着很大的研究空间和应用市场。比如在疫情的大背景下，可以利用无人机和机器人进行无接触配送，大大降低感染的风险。在救灾方面，利用无人配送也将会大大提高救灾的效率，实现点对点精准物资救援，这样也在一定程度上降低了救灾人员在救援过程中存在的风险。但在交叉视角地理地位任务中，卫星图、无人机图视角差异较大，在神经网络下学出的特征分布差异也较大，有时不能很好完成检索分类任务。目前该领域的研究方法也很多，有一些方法采用很深的网络，这样会大大降低学习的效率，不利于产品落地。还有一些方法过于关注局部信息，而忽略了许多有用的上下文信息，视野受到限制，从而准确率有待进一步提高，模型性能还有一定的提升空间。同样，在不同视角图片的匹配过程中，还存在着一些信息不对齐的现象，这样不利于建筑的检索。

技术实现思路

1、针对现有技术中存在的不足，本发明提供基于非局部信息注意力机制的交叉视角地理定位方法

2、为了更好得挖掘全局信息，充分利用全局信息和局部信息，提高全局上下文任意元素之间的依赖关系，本发明考虑利用非局部信息的注意力机制对神经网络进行改进。从而提取出关键信息，减少有用信息的丢失，并融合上下文信息，缓解图像块中信息不对齐现象，提高重要特征的关注度，进一步提升地理目标定位的性能。

3、交叉视角地理定位中存在图像特征信息挖掘不充分、部分全局信息丢失、上下文信息交互不足、不同视角图像特征分布差异过大问题，通过非局部信息注意力机制模块来缓解这些问题。

4、本发明将非局部信息的注意力机制应用到交叉视角地理定位领域上。通过利用非局部信息的注意力机制，可以更好地融合全局信息，促进不同视角图像之间的特征对齐，提高关键特征的关注度，优化特征分布，使得不同视角下的图片特征更容易对齐，提高同一地理位置图片的相似度，从而更有效地提高检索的效率以及准确率。通过利用非局部信息的注意力机制，改变不同视角图像的特征分布，融合进周边的一些信息，重要的特征部分会被强化处理，从而获得更好的分类效果，提升跨视角图像同一目标的匹配准确度。本发明在实现非局部信息的注意力机制上，对特征部分分别采取自注意力和互注意力运算，加权求和后得到新的特征矩阵，优化特征图，更充分挖掘关键信息，优化模型性能。

5、基于非局部信息注意力机制的交叉视角地理定位方法，包括以下步骤：

6、步骤一：使用resnet-50网络模型，，分别提取无人机视角和卫星视角图像的特征。

7、步骤二：采用方环分割方法划分特征，根据图像到图像中心的距离，把图像分成八部分，分离后进行平均池化，融合上下文信息，方环分区的中心可以近似地看作是特征映射的中心，八个特征部分最终成为八个维度相同的矩阵，其中通道维的信息更加重要。

8、步骤三：利用非局部信息注意力机制模块，生成每个特征部分的自注意力权重，并与原来特征矩阵相乘，得到自注意力运算后特征矩阵，即自注意力特征。

9、步骤四：步骤二中每个特征部分再分别与最近邻的两个特征部分做互注意力运算，生成两个互相关矩阵权重，并分别与对应特征矩阵相乘，得到互注意力特征。在自注意力和互注意力的计算过程中，引入多头机制，提高计算效率。

10、步骤五：将步骤三中得到的自注意力特征和步骤四中得到的互注意力特征进行加权求和，得到最终的新特征矩阵，即新特征图。优化模型，融合全局信息，提高网络性能。

11、本发明的有益效果如下

12、本发明将非局部信息的注意力机制应用到交叉视角地理定位任务中。通过非局部信息的注意力机制模型融合全局信息，结合上下文的特征信息，缓解局部特征在训练中视野不够大、部分信息丢失、关键特征抓取不准等问题。并且在一定程度上改善了交叉视角地理定位任务中同一地理建筑不同视角特征分布差异较大的问题，优化训练模型，从而提高匹配检索和分类的准确率以及效率，并且非局部信息的注意力机制可以很方便地嵌入到很多现有模型中，进一步提高模型性能。

技术特征：

1.基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤一具体方法如下：

3.根据权利要求2所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤二具体方法如下：

4.根据权利要求3所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤三具体方法如下：

5.根据权利要求4所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤四具体方法如下：

6.根据权利要求5所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤五具体方法如下：

技术总结
本发明公开了基于非局部信息注意力机制的交叉视角地理定位方法。将非局部信息的注意力机制应用到交叉视角地理定位任务中。通过非局部信息的注意力机制模型融合全局信息，结合上下文的特征信息，缓解局部特征在训练中视野不够大、部分信息丢失、关键特征抓取不准等问题。并且在一定程度上改善了交叉视角地理定位任务中同一地理建筑不同视角特征分布差异较大的问题，优化训练模型，从而提高匹配检索和分类的准确率以及效率，并且非局部信息的注意力机制可以很方便地嵌入到很多现有模型中，进一步提高模型性能。

技术研发人员：薛轶天,张强,颜成钢,王廷宇,高宇涵,孙垚棋,陈楚翘,王鸿奎,朱尊杰,殷海兵,张继勇,李宗鹏,赵治栋
受保护的技术使用者：杭电（丽水）研究院有限公司
技术研发日：
技术公布日：2024/1/11