视觉定位方法、介质以及电子设备与流程

本技术涉及计算机视觉领域，尤其涉及一种视觉定位方法、介质以及电子设备。

背景技术：

1、视觉定位方法可以应用于增强现实(augmented reality，ar)导航、自动驾驶等领域。例如，当视觉定位方法应用于ar导航时，可以通过用户使用手机等设备拍摄的或上传的周围环境的图像来确定用户的位置和/或姿态。进而，视觉定位能适用于地下停车场、商场、地铁站等全球卫星定位系统(global positioning system，gps)信号较差的区域。

2、具体方式可以为首先服务器采集目标区域内不同位置和不同角度的环境图像，并得到根据多个环境图像组成的特征地图。例如，可以先通过配置有激光雷达的无人机拍摄道路街景的点云数据，服务器根据拍摄得到的点云数据，进而构建出目标区域的三维地图。

3、然后，如图1所示，用户可以使用手机10等终端设备拍摄当前所在位置周围的建筑或者道路等的图像，得到待匹配图像。待匹配图像可以为二维图像，也可以是点云数据。并且终端设备会将待匹配图像上传至服务器。服务器可以根据用户所在的大致位置范围，获取目标区域中的相关环境图像，如图2所示，服务器获取到图2中的(a)至(d)为用户附近的环境图像。进而服务器可以将待匹配图像和环境图像进行匹配，通过匹配的环境图像中与待匹配图像匹配的点来确定用户在目标区域中更具体位置。并且，手机10还可以根据用户位置结合用户输入的目的地，向用户推荐前往目的地的路线，如图3中手机10的下方显示导航路线，使得用户能结合现实场景确认路线。

4、但是，特征地图中往往包含较多的环境图像，服务器在确定用户位置时，需要将每个环境图像都和用户拍摄的图像进行匹配，然后通过每个环境图像中匹配的点来计算用户位置，要耗费大量时间，导致视觉定位效率较低。

技术实现思路

1、有鉴于此，本技术提供了一种视觉定位方法、介质以及电子设备。

2、第一方面，提供一种视觉定位方法，包括：获取电子设备拍摄的待匹配图像；将待匹配图像与第一环境代表图像进行匹配，其中第一环境代表图像是从m个环境图像中选择出的，m个环境图像包括至少一个相同的环境特征，并且第一环境代表图像包含的环境特征多于m个环境图像中的未被选择为环境代表图像的环境图像包含的环境特征；对应于待匹配图像与第一环境代表图像的匹配度满足第一匹配条件，确定电子设备位于与第一环境代表图像相关的第一地点；其中，m为大于等于2的整数。

3、在上述方案中，在多个环境图像中选择一个包含较多环境特征的图像与待匹配图像进行匹配，进而确定电子设备位于的定位点或者子区域。这样，仅用环境代表图像就能确定电子设备的位置，减少了用于位置计算的环境图像的数量，减少了位置计算的时间，提高了效率。

4、结合第一方面，在一些实现方式中，通过以下方式从m个环境图像中选择出第一环境代表图像：获取第一定位区域内的n个环境图像，n个环境图像包括m个环境图像；对n个环境图像进行分类，其中，属于同一类别的环境图像包括相同的环境特征；从属于分类出的第一类别的m个环境图像中，选择满足第一选择条件的第一环境代表图像；其中，n大于m。

5、在上述方案中，待匹配图像在特征地图中对应的环境图像共有n个，电子设备先将这n个环境图像进行聚类，然后从每个类别中选择中环境特征较多的图像作为类代表，类代表能用于代表该类别的其他图像的环境特征。

6、结合第一方面，在一些实现方式中，第一选择条件包括：第一环境代表图像包含对应类别中的环境图像的全部环境特征。

7、在上述方案中，类代表可以是包含该类别全部环境特征的图像。应理解，对于一个类别可能无法使用一张环境图像来表示该类别全部的环境特征，因此可以选择多张环境图像作为环境代表图像，该多个环境代表图像的全部环境特征能涵盖该类别的环境特征。因此，通过待匹配图像和环境代表图像的匹配，就能确定电子设备是否位于环境代表图像对应的区域中。进而减少了用于位置计算的环境图像的数量，减少了位置计算的时间，提高了效率。

8、结合第一方面，在一些实现方式中，m个环境图像对应第一定位区域中的第一子区域，确定第一地点位于第一子区域。

9、在上述方案中，每个类别的图像都能确定出一个子区域，待匹配图像与其中一个类别的图像匹配时，就能表示电子设备位于该子区域中。这样，仅用环境代表图像就能确定电子设备的位置，减少了用于位置计算的环境图像的数量，减少了位置计算的时间，提高了效率。

10、结合第一方面，在一些实现方式中，该方法还包括：将待匹配图像与第一类别下的h个环境图像分别进行匹配，得到对应h个环境图像的h个第一匹配结果，其中h小于或者等于m；根据h个第一匹配结果，确定出电子设备位于第一子区域中的第一地点。

11、在上述方案中，电子设备还能进一步采用和待匹配图像匹配的类别中的环境图像，进一步确定电子设备的详细位置。进而，提高了定位的准确性，能获取到电子设备准确的位姿。

12、结合第一方面，在一些实现方式中，第一匹配条件包括第一环境代表图像的内点数量大于第一阈值，内点为第一环境代表图像的多个点云中与待匹配图像匹配的点云；或者，第一匹配条件包括第一环境代表图像的内点率大于第二阈值。

13、在上述方案中，可以通过内点来确定和待匹配图像匹配与否。应理解，环境代表图像的内点数量/内点率越高，表示该环境图像和待匹配图像越相关，对位姿计算的影响越大。反之，环境代表图像的内点数量/内点率越低，表示该环境图像和待匹配图像不相关，对位姿计算的结果影响不大。

14、结合第一方面，在一些实现方式中，第一定位区域的n个环境图像中属于第二类别的w个环境图像包括第二环境代表图像，第二环境代表图像为第二类别中满足第一选择条件的环境图像；并且该方法还包括：将第二类别中的w个环境图像与待匹配图像进行匹配，得到对应w个环境图像的w个第二匹配结果，其中，待匹配图像与第二环境代表图像的匹配结果不满足第一匹配条件；从w个环境图像中选择出匹配结果中匹配度最高的第一环境图像；根据第一环境图像和h个第一匹配结果，确定电子设备位于第一地点。

15、在上述方案中，第二类别为与待匹配图像匹配度较低的类别，对于这样的类别，电子设备可以不采用这些类别的环境图像用于位姿计算。电子设备也可以从中选择出匹配度较高的一个或者多个环境图像用于位姿计算。如此，电子设备适量增加了用于位姿计算的环境图像数量，提高了位姿计算结果的准确性。

16、结合第一方面，在一些实现方式中，第二类别中任意一个环境图像的匹配度和第一环境图像的匹配度的差值均大于预设差值。

17、在上述方案中，电子设备还可以是进一步判断匹配度的最高值和第二之间的差值是否大于预设差值。若匹配度差值大于预设差值，则表示内点数量最高或者内点率最高的环境图像和位姿最相关，该环境图像可用于位姿计算。反之，若匹配度差值小于等于预设差值，则表示位姿同时和两个环境图像都相关，而电子设备不能同时属于两个不同的位姿，因此不采用该部分的全部环境图像。

18、结合第一方面，在一些实现方式中，多个类别还包括第三类别，第三类别的环境图像数量小于预设数量，该方法还包括：将第三类别中的u个环境图像与待匹配图像进行匹配，得到对应u个环境图像的u个第三匹配结果，u小于w和m；从w个环境图像和u个环境图像中选择出匹配结果中匹配度最高的第二环境图像；根据第二环境图像和h个第一匹配结果，确定电子设备位于第一地点。

19、在上述方案中，对于图像数量较少的类别，电子设备也会从中选择中匹配度较高的一个或者多个环境图像用于位姿计算。如此，电子设备适量增加了用于位姿计算的环境图像数量，提高了位姿计算结果的准确性。

20、结合第一方面，在一些实现方式中，第二类别和第三类别中任意一个环境图像的匹配度和第二环境图像的匹配度的差值均大于预设差值。

21、在上述方案中，通过确定匹配度的最高值和第二之间的差值是否大于预设差值，进而防止出现位姿同时和两个环境图像都相关的计算错误，提高了位姿计算的准确性。

22、第二方面，本技术提供了一种电子设备，包括处理器和存储器，存储器用于存储指令，处理器用于执行指令，当处理器执行该指令时，执行如第一方面所描述的方法。

23、第三方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在电子设备上运行时，执行如第一方面所描述的方法。

24、第四方面，本技术提供了一种计算机程序产品，计算机程序产品包括计算机指令，在被计算设备执行时，计算设备执行如第一方面所描述的方法。

25、综上所述，通过本技术提供的视觉定位方法、介质以及电子设备，对于环境代表图像不满足预设条件的类别，该类别中的环境图像就不会和待匹配图像再进行匹配，减少了图像匹配的时间，提高了效率。进而，不是全部环境图像都要用于位姿计算，减少了通过内点计算位姿的时间。并且，通过内点数量筛选出的环境图像来用于位姿计算，也能确保视觉定位结果的准确性。