基于街景图特征库的拍照实时定位方法、设备及存储介质与流程

1.本发明涉及图像处理技术领域，特别地，涉及实时图像地理位置定位领域。


背景技术：

2.图像地理位置定位就是发现图像或视频所拍摄的地理位置的研究，该任务可以应用到各种现实场景中，图像地理位置定位有着广泛的应用前景，也引起越来越多研究者的兴趣。目前图像地理位置定位主要依靠大量带有gps信息的地面视角的图像作为参考来确定查询图像的位置信息。现有的图像地理位置定位方法主要通过将地理定位问题转换为跨视角匹配、图像检索、分类等方法。这些方法干扰强、定位精度低。


技术实现要素：

3.为了提高拍摄图像的地理位置定位精度，本发明对大规模街景数据采用深度局部特征提取网络进行深层局部密集特征提取，进行特征筛选获取关键特征构建大规模高效索引特征向量库，进行大规模候选街景图像检索，提升图像检索效率；对检索获取的候选街景图像进行精细匹配，获取手机拍摄图片的高精度地理定位。
4.本发明实施例提供了一种基于街景图特征库的拍照实时定位方法，包括：
5.s1，获取大规模街景图像数据，提取特征点，形成第一特征，基于第一特征进行特征选择，选择关键特征点，形成第一关键特征点，构建大规模街景图像特征索引库；选择关键特征点包括：特征选在采用基于注意力的分类器来比较特征间的相关性，在resnet50 conv4_x的输出后接入注意力模块，根据每张特征图的局部特征表达得分，选取得分最大的k个局部特征，作为关键特征，k值可以根据需要进行调整，注意力模块采用两个1x1卷积层后接一个softplus激活函数的结构来获取得分，其中softplus激活函数的计算公式如下：
6.softplus(x)＝log(1+e
x
)。
7.s2，待定位手机图片采用与图像特征库相同的特征提取方法提取特征，为第二特征；选择待匹配关键特征点，为第二关键特征点；
8.s3，将第二关键特征点与第一关键特征点进行相似性度量计算，根据索引库快速检索出与第二关键特征点匹配的候选街景图像；
9.s4，根据候选街景图像的第一特征与手机图像提取的第二特征进行匹配，获取高精度匹配街景图像；
10.s5，根据高精度匹配街景图像得到待定位手机图片的高精度定位。
11.在可选的实施例中，s1中大规模街景图像数据包进行虚拟拼接，虚拟恢复整景街景图像。
12.在可选的实施例中，恢复整景街景图像之后，对虚拟整景街景影像构建金字塔索引；搭建高效相似性搜索工具，并进行高效索引api封装。
13.在可选的实施例中，s3中根据索引库快速检索出与第二关键特征点匹配的候选街景图像包括：调用索引api快速检索出匹配的候选街景图像。
14.在可选的实施例中，特征提取方法为离线密集不变特征提取算法。
15.在可选的实施例中，在s1中，还包括对第一关键特征点和第二关键特征点进行向量化。
16.在可选的实施例中，离线密集不变特征提取采用resnet-50网络进行微调，利用已经配对的光照差异和拍摄角度差异的数据对网络进行训练，使特征提取器学习到光照、几何变化影像的不变性特征。
17.在可选的实施例中，将原始的向量集构建封装成一个索引文件index file并缓存，提供实时的查询计算；在首次构建索引文件的时候，经过训练和添加两个过程；如果有新的向量需要被添加到索引文件，增加添加操作实现增量索引。
18.本发明另一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算机设备执行时，所述计算机设备执行上述任一项所述的基于街景图特征库的拍照实时定位方法。
19.本发明又一实施例还提供了一种计算机设备，包括：存储器和处理器；
20.所述存储器用于存储计算机指令；
21.所述处理器执行所述存储器存储的计算机指令，以使所述计算机设备执行任一项所述的基于街景图特征库的拍照实时定位方法。
22.本发明的发明点和技术效果：
23.1、手机图片与街景图像分辨率不一致，属于异源图像匹配，本发明是建立金字塔在不同层级上进行匹配，使得异源图像匹配的准确度更高。
24.2、本发明分为快速匹配和精匹配，两个匹配使用的特征点是一样的，是相同的特征提取器提取，前面检索(快速匹配)为了快速获取候选街景影像，对提取的特征点进行选择，筛选出关键点；后面异源图像匹配采用提取的所有特征点进行精匹配，提升匹配的精确度。
25.3、不同人、不同角度对同一地标拍摄的影像对，没有固定的角度差异，不同人拍出来的影像差异大，本发明密集特征提取采用resnet-50网络进行微调，通过微调来提升局部表达的判别能力，获取深层次特征。利用已经配对的光照差异大(大量昼夜影像对)和拍摄角度差异大(不同人群拍摄的地标影像对)的数据对网络进行训练，让特征提取器能学习到光照、几何等变化影像的不变性特征。同时为了应对较大尺度差异，对街景图像构建离散尺度金字塔，对每个尺度影像进行特征提取，获取描述不同大小区域、不同感受野的特征。使特征点既有足够抽象性、也可以获得较高的定位精度。
26.4、本发明中大规模街景图像数据和手机图像都进行筛选关键特征点，提升初筛的效率。特征索引是根据关键点索引(也就是初筛)，这样索引效率高，精筛是根据第一特征进行匹配，第一特征点多，搜索图像能更准确。
27.5、本发明通过特征选在采用基于注意力的分类器来比较特征间的相关性，在resnet50 conv4_x的输出后接入注意力模块，根据每张特征图的局部特征表达得分，选取得分最大的k个局部特征，作为关键特征，k值可以根据需要进行调整，注意力模块采用两个1x1卷积层后接一个softplus激活函数的结构来获取得分，方法简单，速度快，精度高。
28.6、本发明采用虚拟整景街景影像构建金字塔索引，便于后续再不同尺度上进行匹配索引。
29.7、本发明采用高效相似性搜索工具，能够提升检索效率。
附图说明
30.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
31.图1是本发明实施例中的手机图片定位技术路线；
32.图2本发明实施例中的密集特征提取网络示意图；
33.图3本发明实施例中的注意力模块结构示意图；
34.图4本发明实施例中的索引构建数据流示意图；
35.图5本发明实施例中的索引api封装流程图。
具体实施方式
36.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
37.结合以下附图：
38.图1是本发明实施例中的基于街景图特征库的拍照实时定位方法技术路线；
39.图2本发明实施例中的密集特征提取网络示意图；
40.图3本发明实施例中的注意力模块结构示意图；
41.图4本发明实施例中的索引构建数据流示意图；
42.图5本发明实施例中的索引api封装流程图。
43.本发明一实施例提供了一种基于街景图特征库的拍照实时定位方法的，如图1，该方法包括：
44.s1，获取大规模街景图像数据，提取特征点，形成第一特征，基于第一特征进行特征选择，选择关键特征点，形成第一关键特征点，构建大规模街景图像特征索引库；
45.这个步骤是对大规模街景图像数据获取与处理，具体的，在s1中大规模街景图像数据包括街景瓦片数据，对获取的大规模街景瓦片数据进行虚拟拼接，虚拟恢复整景街景图像。
46.恢复整景街景图像之后，对虚拟整景街景影像构建金字塔索引，便于后续再不同尺度上进行匹配索引；
47.此外，搭建高效相似性搜索工具，并进行高效索引api封装。
48.其中，对构建金字塔索引的大规模街景图像数据进行离线密集不变特征提取，提取大规模街景图像数据的特征点。
49.对提取的密集特征点进行特征选择，选择关键特征点，并对关键特征进行向量化，降低后续索引计算量；然后采用相似性搜索工具建立高效索引文件，形成大规模街景图像特征索引库，作为待定位手机图片基准图像快速索引库。
50.s2，待定位手机图片采用与图像特征库相同的特征提取方法提取特征，为第二特
征；选择待匹配关键特征点，为第二关键特征点；
51.s3，将第二关键特征点与第一关键特征点进行相似性度量计算，根据索引库快速检索出与第二关键特征点匹配的候选街景图像；根据索引库快速检索出与第二关键特征点匹配的候选街景图像为：调用索引api快速检索出匹配的候选街景图像。
52.s4，根据候选街景图像的第一特征与手机图像提取的第二特征进行进一步匹配，获取高精度匹配街景图像；
53.s5，根据高精度匹配街景图像得到待定位手机图片的高精度定位。
54.以上，待定位手机图片与检索出的候选街景图像进行精匹配，利用提取的街景图像密集特征与手机图像提取的密集特征进行进一步的匹配，获取高精度匹配街景图像，从而实现待定位手机图片的高精度定位。
55.上述方法中，密集特征提取采用resnet-50网络进行微调，利用已经配对的光照差异和拍摄角度差异的数据对网络进行训练，使特征提取器学习到光照、几何变化影像的不变性特征。
56.密集特征提取网络的设计主要基于以下几点：
57.卷积网络的前几层感受野很小，得到的特征是相对底层的边缘、角点等局部特征，但定位精度较高；网络层数越深，提取的特征越抽象，信息越全局，越能抵抗异源影像带来的干扰，但定位精度越差。因此，为了能够使特征点既有足够抽象性、也可以获得较高的定位精度，本文密集特征提取采用resnet-50网络进行微调，通过微调来提升局部表达的判别能力，获取深层次特征。
58.由于是不同人、不同角度对同一地标拍摄的影像对，没有固定的角度差异，不同人拍出来的影像差异大。
59.因此利用已经配对的光照差异大(大量昼夜影像对)和拍摄角度差异大(不同人群拍摄的地标影像对)的数据对网络进行训练，让特征提取器能学习到光照、几何等变化影像的不变性特征。
60.同时为了应对较大尺度差异，对街景图像构建离散尺度金字塔，对每个尺度影像进行特征提取，获取描述不同大小区域、不同感受野的特征。设置了从0.25到2.0的尺度范围，分别使用了0.25、0.5、0.75、1.0、1.25、1.5、1.75、2.0共8种不同的尺度。如图2所示：
61.图中分为三个部分：左侧为resnet50整体结构，中间为resnet50各个stage具体结构，右侧为bottleneck具体结构。
62.(1)resnet50整体结构展示resnet的backbone部分，没有resnet中的全局平均池化层和全连接层。
63.(2)resnet分为5个stage(阶段)，其中stage 0的结构比较简单，为对input的预处理，后4个stage都由bottleneck组成，结构较为相似。stage1包含3个bottleneck，剩下的3个stage分别包括4、6、3个bottleneck。
64.(3)网络使用了2种bottleneck的结构，2种bottleneck分别对应了2种情况：输入与输出通道数相同。
65.另外在s1中，选择关键特征点的方法中：特征选择采用基于注意力的分类器来比较特征间的相关性，在resnet50 conv4_x的输出后接入注意力模块，根据每张特征图的局部特征表达得分，选取得分最大的k个局部特征，作为关键特征，k值可以根据需要进行调
整，注意力模块采用两个1x1卷积层后接一个softplus激活函数的结构来获取得分。注意力模块结构如图3所示，其中softplus激活函数的计算公式如下：
66.softplus(x)＝log(1+e
x
)
67.在搭建高效相似性搜索工具，并进行高效索引api封装这一步骤中，高效索引构建数据流如图4所示，索引api封装流程如图5所示：
68.在使用相似性搜索进行查询向量的相似性搜索之前，需要将原始的向量集封装成一个索引文件(index file)并缓存在内存中，提供实时的查询计算。在第一次构建索引文件的时候，需要经过训练和添加两个过程。后续如果有新的向量需要被添加到索引文件的话还可以有一个添加操作从而实现增量索引。
69.由于本发明中是手机图片与街景图像，是异源图像，因此图像匹配算法使用的是异源图像匹配算法。
70.本发明的匹配方法分为快速匹配和精匹配，两个匹配使用的特征点是一样的，是相同的特征提取器提取，前面检索(快速匹配)为了快速获取候选街景影像，对提取的特征点进行选择，筛选出关键点；后面异源图像匹配采用提取的所有特征点进行精匹配，提升匹配的精确度。
71.并且，手机图片与街景图像分辨率不一致，本发明是建立金字塔在不同层级上进行匹配，使得异源图像匹配的准确度更高。
72.本发明提供的基于街景图特征库的拍照实时定位方法，包括：
73.(1)大规模街景图像数据获取与处理，对获取大规模街景瓦片数据进行虚拟拼接，虚拟恢复整景街景图像，然后对虚拟整景街景影像构建金字塔索引，便于后续再不同尺度上进行匹配索引；
74.(2)搭建高效相似性搜索工具，提升检索效率，并进行高效索引api封装；
75.(3)对构建金字塔索引的大规模街景图像数据进行离线密集不变特征提取，提取大规模街景图像数据的特征点；
76.(4)对提取的密集特征点进行特征选择，选择关键特征点，并对关键特征进行向量化，降低后续索引计算量；然后采用相似性搜索工具建立高效索引文件，形成大规模街景图像特征索引库，作为待定位手机图片基准图像快速索引库；
77.(5)待定位手机图片采用图像特征库相同的特征提取算法获取图像不变性特征，并与大规模街景图像特征库进行相似性度量计算，调用索引api快速检索出匹配的候选街景图像；
78.(6)待定位手机图片与检索出的候选街景图像进行精匹配，利用提取的街景图像密集特征与手机图像提取的密集特征进行进一步的匹配，获取高精度匹配街景图像，从而实现待定位手机图片的高精度定位。
79.通过以上方法完成了获取手机拍摄图片的高精度地理定位。
80.另一方面，本技术实施例提供的定位方法可以部署于计算机设备。
81.计算机设备可以包括：输入单元、处理器单元、通信单元、存储单元、输出单元及电源等电子设备。
82.输入单元，用于输入或载入图像数据，
83.处理器单元，用于进行图像数据的处理和计算，
84.通信单元，用于实现数据的接收和发送，
85.存储单元，用于存储计算机指令，和数据库，
86.输出单元，用于输出处理结果。
87.本技术实施例提供的计算机设备可以用于执行前述实施例中的基于街景图特征库的拍照实时方法。
88.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk)等。
89.可以理解，除了上述内容，还包括一些常规结构和常规方法，由于这些内容都是公知的，不再赘述。但这并不意味着本发明不存在这些结构和方法。
90.本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。