视觉定位方法、装置、存储介质和程序产品与流程

本技术涉及视觉定位，尤其涉及一种视觉定位方法、装置、存储介质和程序产品。

背景技术：

1、视觉定位系统(visual positioning system，vps)是基于电子设备采集的图像，对电子设备进行定位的技术。如，电子设备拍摄图像，通过将图像与数据库中的图像匹配，得到与拍摄所得图像匹配的图像，根据匹配出的图像的位置确定拍摄所得图像的拍摄位置，可根据拍摄所得图像的拍摄位置确定当前电子设备所在位置，以实现对电子设备定位的目的。

2、目前，将拍摄所得图像与数据库中的图像匹配的过程中，可通过识别拍摄所得图像对应的场景，在数据库中与该场景相关的图像中进行图像匹配，以提高图像检索的效率。

3、然而，如果拍摄所得图像中包括预设场景中的预设目标的特征点，但预设场景中的预设目标不占第一图像的主体区域，此时识别出的拍摄所得图像对应的场景并不准确，需在整个数据库中进行图像匹配，导致图像检索效率较低，从而影响视觉定位的处理速度。

技术实现思路

1、本技术提供一种视觉定位方法、装置、存储介质和程序产品，提高识别第一图像对应的场景的准确性，且能够提高图像检索效率，从而提高视觉定位方法的处理速度。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，提供了一种视觉定位方法，包括：确定第一图像中是否包括预设目标，所述预设目标与预设场景对应，所述第一图像由电子设备拍摄得到；如果所述第一图像中包括所述预设目标，在数据库中的目标图像集合中为所述第一图像匹配第二图像，所述目标图像集合中的任一图像中包括所述预设目标，所述第二图像与所述第一图像的相似度大于或等于第一阈值；根据所述第一图像中的特征与所述第二图像中的特征之间的关联关系，确定所述第一图像对应的点云数据；根据所述第一图像对应的点云数据，确定所述电子设备拍摄所述第一图像时的空间位姿。

4、基于上述技术方案，本技术实施例中通过识别第一图像中与预设场景对应的预设目标，识别第一图像对应的场景，在预设目标不占第一图像主体区域的情况下，相比于利用场景识别方法识别第一图像对应的场景(利用场景识别方法识别第一图像对应的场景时，识别出的场景受第一图像中主体区域特征点的影响较大，即，受第一图像中与预设场景中的预设目标的特征点无关的其他特征点的影响较大，识别出的第一图像对应的场景并不准确)来说，提高了识别第一图像对应的场景的准确性。且如果第一图像中包括预设目标，在数据库中的目标图像集合中进行图像检索，匹配出与第一图像的相似度大于或等于第一阈值的第二图像，而并非在整个数据库或者与场景相关的图像中进行图像检索，提高了图像检索的效率，从而提高了视觉定位的处理速度。

5、在第一方面一种可能的实现方式中，在所述确定第一图像中是否包括预设目标之后，还包括：如果所述第一图像中不包括所述预设目标，识别所述第一图像对应的场景是否为所述预设场景；如果所述第一图像对应的场景为所述预设场景，在所述数据库中的场景图像集合中为所述第一图像匹配第三图像，其中，所述第三图像与所述第一图像对应同一场景，所述场景图像集合中的图像为预先对所述预设场景所在区域拍摄后得到的，所述场景图像集合包括多个图像子集合，所述多个图像子集合包括所述目标图像集合且与多个所述预设目标一一对应；根据所述第一图像中的特征与所述第三图像中的特征之间的关联关系，确定所述第一图像对应的点云数据；根据所述第一图像对应的点云数据，确定所述电子设备拍摄所述第一图像时的空间位姿。

6、基于上述技术方案，本技术实施例中预先确定第一图像中是否包括预设目标，在第一图像中不包括预设目标的情况下，再用分类模型识别第一图像对应的场景，可以弥补分类模型识别出的第一图像对应的场景并不准确的缺点，提高了识别第一图像对应的场景的准确性。

7、在第一方面一种可能的实现方式中，在所述识别所述第一图像对应的场景是否为所述预设场景之后，还包括：如果所述第一图像对应的场景不是所述预设场景，在所述数据库的所有图像中为所述第一图像匹配所述第三图像。

8、基于上述技术方案，本技术实施例中在数据库中的所有图像中进行图像检索，图像检索的范围较大，能够全面地检索出所有与第一图像的相似度大于或等于第一阈值的第三图像。

9、或者，在所述识别所述第一图像对应的场景是否为所述预设场景之后，还包括：如果所述第一图像对应的场景不是所述预设场景，在所述数据库中除所述场景图像集合外的其他图像中为所述第一图像匹配所述第三图像。

10、基于上述技术方案，本实施例中已经确定第一图像对应的场景不是预设场景，因此，无需重复在与预设场景对应的场景图像集合中进行图像检索，直接在数据库中除场景图像集合外的其他图像中进行图像检索，可进一步提高图像检索效率。

11、在第一方面一种可能的实现方式中，所述在数据库中的目标图像集合中为所述第一图像匹配第二图像，所述目标图像集合中的任一图像中包括所述预设目标，所述第二图像与所述第一图像的相似度大于或等于第一阈值，包括：获取所述第一图像的全局特征描述子；根据所述第一图像的全局特征描述子与所述数据库的目标图像集合中各图像的全局特征描述子，计算所述第一图像与所述目标图像集合中各图像的相似度；将所述相似度大于或等于第一阈值的所述目标图像集合中的图像确定为所述第二图像。

12、在第一方面一种可能的实现方式中，所述根据所述第一图像的全局特征描述子与所述数据库的目标图像集合中各图像的全局特征描述子，计算所述第一图像与所述目标图像集合中各图像的相似度，包括：确定所述第一图像的全局特征描述子与所述数据库的目标图像集合中各图像的全局特征描述子的距离；根据所述距离确定所述相似度，其中，所述距离越小，所述相似度越大。

13、在第一方面一种可能的实现方式中，所述确定第一图像中是否包括预设目标，包括：利用预先训练好的目标检测模型确定所述第一图像中是否包括所述预设目标。

14、在第一方面一种可能的实现方式中，所述识别所述第一图像对应的场景是否为所述预设场景，包括：利用预先训练好的分类模型识别所述第一图像对应的场景是否为所述预设场景。

15、第二方面，提供了一种视觉定位装置，包括：处理模块，用于确定第一图像中是否包括预设目标，所述预设目标与预设场景对应，所述第一图像由电子设备拍摄得到；如果所述第一图像中包括所述预设目标，在存储模块的数据库中的目标图像集合中为所述第一图像匹配第二图像，所述目标图像集合中的任一图像中包括所述预设目标，所述第二图像与所述第一图像的相似度大于或等于第一阈值；还用于根据所述第一图像中的特征与所述第二图像中的特征之间的关联关系，确定所述第一图像对应的点云数据；并根据所述第一图像对应的点云数据，确定所述电子设备拍摄所述第一图像时的空间位姿。

16、基于上述技术方案，本技术实施例中通过识别第一图像中与预设场景对应的预设目标，识别第一图像对应的场景，在预设目标不占第一图像主体区域的情况下，相比于利用场景识别方法识别第一图像对应的场景(利用场景识别方法识别第一图像对应的场景时，识别出的场景受第一图像中主体区域特征点的影响较大，即，受第一图像中与预设场景中的预设目标的特征点无关的其他特征点的影响较大，识别出的第一图像对应的场景并不准确)来说，提高了识别第一图像对应的场景的准确性。且如果第一图像中包括预设目标，在数据库中的目标图像集合中进行图像检索，匹配出与第一图像的相似度大于或等于第一阈值的第二图像，而并非在整个数据库或者与场景相关的图像中进行图像检索，提高了图像检索的效率，从而提高了视觉定位的处理速度。

17、在第二方面一种可能的实现方式中，所述处理模块在所述确定第一图像中是否包括预设目标之后，如果所述第一图像中不包括所述预设目标，还用于识别所述第一图像对应的场景是否为所述预设场景；如果所述第一图像对应的场景为所述预设场景，在所述存储模块的所述数据库中的场景图像集合中为所述第一图像匹配第三图像，其中，所述第三图像与所述第一图像对应同一场景，所述场景图像集合中的图像为预先对所述预设场景所在区域拍摄后得到的，所述场景图像集合包括多个图像子集合，所述多个图像子集合包括所述目标图像集合且与多个所述预设目标一一对应；还用于根据所述第一图像中的特征与所述第三图像中的特征之间的关联关系，确定所述第一图像对应的点云数据，并根据所述第一图像对应的点云数据，确定所述电子设备拍摄所述第一图像时的空间位姿。

18、基于上述技术方案，本技术实施例中预先确定第一图像中是否包括预设目标，在第一图像中不包括预设目标的情况下，再用分类模型识别第一图像对应的场景，可以弥补分类模型识别出的第一图像对应的场景并不准确的缺点，提高了识别第一图像对应的场景的准确性。

19、在第二方面一种可能的实现方式中，所述处理模块在所述识别所述第一图像对应的场景是否为所述预设场景之后，如果所述第一图像对应的场景不是所述预设场景，还用于在所述存储模块的所述数据库的所有图像中为所述第一图像匹配所述第三图像。

20、基于上述技术方案，本技术实施例中在数据库中的所有图像中进行图像检索，图像检索的范围较大，能够全面地检索出所有与第一图像的相似度大于或等于第一阈值的第三图像。

21、所述处理模块在所述识别所述第一图像对应的场景是否为所述预设场景之后，如果所述第一图像对应的场景不是所述预设场景，还用于在所述存储模块的所述数据库中除所述场景图像集合外的其他图像中为所述第一图像匹配所述第三图像。

22、基于上述技术方案，本实施例中已经确定第一图像对应的场景不是预设场景，因此，无需重复在与预设场景对应的场景图像集合中进行图像检索，直接在数据库中除场景图像集合外的其他图像中进行图像检索，可进一步提高图像检索效率。

23、在第二方面一种可能的实现方式中，所述处理模块具体用于获取所述第一图像的全局特征描述子；根据所述第一图像的全局特征描述子与所述数据库的目标图像集合中各图像的全局特征描述子，计算所述第一图像与所述目标图像集合中各图像的相似度；将所述相似度大于或等于第一阈值的所述目标图像集合中的图像确定为所述第二图像。

24、在第二方面一种可能的实现方式中，所述处理模块具体用于确定所述第一图像的全局特征描述子与所述数据库的目标图像集合中各图像的全局特征描述子的距离；根据所述距离确定所述相似度，其中，所述距离越小，所述相似度越大。

25、在第二方面一种可能的实现方式中，所述处理模块具体用于利用预先训练好的目标检测模型确定所述第一图像中是否包括所述预设目标。

26、在第二方面一种可能的实现方式中，所述处理模块具体用于利用预先训练好的分类模型识别所述第一图像对应的场景是否为所述预设场景。

27、第三方面，提供了一种视觉定位装置，所述装置包括存储器和处理器，所述存储器用于存储指令，当所述指令被所述处理器执行时，使得所述视觉定位装置执行第一方面或第一方面中任一种可能的实现方式中的视觉定位方法。

28、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被执行时，实现第一方面或第一方面中任一种可能的实现方式中的视觉定位方法。

29、第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机执行第一方面或第一方面中任一种可能的实现方式中的视觉定位方法。

30、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。