用于导航的设备和方法与流程

本发明涉及导航技术和计算机视觉的一种装置、系统和方法。例如，本发明涉及一种用于支持区域内导航的装置、系统和方法。

背景技术：

1、对于导航，尤其是对于基于计算机视觉的自主导航来说，精确和准确的地图信息通常是必不可少的。为了在导航过程中提供准确的定位，导航系统的地图信息通常包括大量环境模型、几何数据和位置信息等地图构建数据。在一些传统方案中，大比例尺地图可以划分为多个子地图。

技术实现思路

1、大比例尺地图可能无法很好地适应真实环境。例如，在根据运动推断结构(structure from motion，sfm或sfm)算法或同时定位与地图构建(simultaneouslocalization and mapping，slam或slam)算法等迭代算法制作地图的过程中，可能会累积小误差。因此，在导航过程中可能会发生漂移。此外，导航装置可能需要更多时间来进行位姿计算。此外，所述大比例尺地图的维护和更新可能复杂且耗时。

2、当大比例尺地图或与所述大比例尺地图对应的感兴趣区域被划分为多个尺寸减小的子地图时，所述多个子地图可以在需要时简单地存储和对齐。使用传统划分子地图存在的一个问题是，相邻子地图之间的任何未对齐都可能会导致在导航过程中出现定位跳跃。此外，在制作所述大比例尺地图过程中累积的小误差可能仍然存在于所述多个子地图中。

3、鉴于此，需要解决现有设备的上述技术缺陷，以改善区域内导航。

4、根据本发明的装置、系统和方法便于以稳健、高效的方式提供区域内导航。

5、这些和其它目的通过独立权利要求的主题来实现。其它实现方式在从属权利要求、说明书和附图中显而易见。

6、根据本发明，在导航装置提供的导航过程中，根据一个或多个预先计算和加载的变换，使用局部动态子地图拼接方法来对齐相邻子地图。在导航过程中，可以使用导航装置的当前位置来查询周围子地图的一个或多个预先计算的变换。进一步地，可以根据所述一个或多个预先计算的变换将相邻地图拼接在一起，以确保连续平滑导航。

7、本发明的第一方面提供了一种用于支持区域内导航的装置。所述装置用于：在所述区域内生成一个或多个参考位置。进一步地，所述装置用于：将所述区域划分为多个子区域。因此，存在包括至少一个参考位置的至少一个子区域。

8、具体地，所述导航可以是基于视觉的导航，可选地与全球导航卫星系统(globalnavigation satellite system，gnss)定位相结合。

9、可选地，所述装置可以用于：根据一个或多个导航需求，确定所述参考位置的密度。所述参考位置的所述密度可以随着对平滑导航需求的增加而增加。

10、可选地，每个参考位置可以是二维(two-dimensional，2d)位置或三维(three-dimensional，3d)位置，具体可以取决于每个子区域的地图类型。

11、对于每个参考位置，所述装置用于：获取所述参考位置所在的子区域的地图和至少一个相邻子区域的至少一个相邻地图。所述参考位置所在的所述子区域的所述地图也可以称为当前子区域的当前地图。相邻子区域可以是与所述当前子区域相邻的子区域。

12、在本发明中，子区域的地图可以称为子地图。也就是说，所述当前子区域的当前地图可以称为当前子地图，所述相邻子区域的所述相邻地图可以称为相邻子地图。此外，在本发明中，所述当前子区域和所述至少一个相邻子区域中的一个可以统称为“一组相邻子区域”。相应地，所述(当前)子区域的所述地图和所述至少一个相邻子区域的所述至少一个相邻地图可以统称为“一组相邻地图”或“一组相邻子地图”。

13、进一步地，所述装置用于：确定一个或多个变换；根据所述一个或多个变换，对所述当前子地图和所述至少一个相邻子地图中的一个或多个进行变换，使得所述一组相邻子地图对齐。可选地，每个变换可以采用向量或矩阵的形式，或者可以包括与每个变换相关的关键参数。每个变换可以包括以下各项中的至少一个：平移变换；旋转变换；缩放。

14、然后，所述装置用于：将所述一个或多个变换与所述参考位置关联。所述装置可以将所述一个或多个变换集体地与所述参考位置关联。

15、然后，所述装置用于：将所述相关联的一个或多个变换提供给导航装置。通过这种方式，根据所述一个或多个变换，可以促进所述导航装置提供的导航服务，并且可以简化所述导航装置执行的地图变换。

16、可选地，所述装置可以用于：根据所述导航装置提供的位姿信息，确定所述子地图、所述至少一个相邻子地图和所述相关联的一个或多个变换。进一步地，所述装置可以确定相对于所述位姿信息的最近参考位置，并检索所述相关联的一个或多个变换。所述位姿信息(或简称为位姿)可以包括位置信息和/或方向信息。进一步地，所述位置信息可以包括2d或3d坐标。所述2d或3d坐标可以是全局坐标，例如，gnss坐标。替代地，所述2d或3d坐标可以是局部坐标，例如，相对于所述感兴趣区域的参考位置的相对坐标。所述方向信息可以包括3d空间中的倾斜、俯仰和偏转信息，也可以包括2d空间中的角度。

17、通过这种方式，可以在导航过程中将每个参考位置用作索引，以确定所述相关联的一个或多个变换。然后，所述导航装置可以用于：根据所述一个或多个变换，相应地结合所述一组相邻子地图，获取局部对齐地图。所述局部对齐地图可以确保连续平滑导航。根据所述局部对齐地图，可以在所述导航过程中避免反弹和漂移。此外，还可以提高导航精度。

18、可选地，根据不同的参考位置，可以针对不同的拼接场景重复使用特定子区域的地图。可以简化所述多个子区域的地图的维护和更新。

19、可选地，在导航过程中，可以实现并动态地更新多组不同相邻地图之间的对齐。因此，无需计算所述多个子区域的全部所述地图的全局对齐。

20、在本发明中，用于支持导航的装置也称为“支持装置”。

21、在所述第一方面的一种实现方式中，所述子区域和所述至少一个相邻子区域可以共享重叠部分。在这种情况下，为了根据所述一个或多个变换对所述地图和所述至少一个相邻地图中的一个或多个进行变换，所述装置可以具体用于：对所述子区域和所述至少一个相邻子区域的一个或多个地图进行变换，使得所述地图至少在所述重叠部分对齐。

22、替代地，在所述子区域和所述至少一个相邻子区域不共享重叠部分但共享至少一个公共边缘的情况下，所述装置可以通过匹配所述地图的边缘特征来对齐所述子区域和所述至少一个相邻子区域的所述地图。

23、在所述第一方面的一种实现方式中，所述装置可以用于：根据以下一个或多个准则，确定所述多个子区域中每个子区域的形状和/或大小：

24、-所述区域的地形；

25、-所述区域的环境数据的地理密度；

26、-所述装置的可用计算资源，用于处理与每个子区域相关联的环境数据。

27、划分的子区域可以具有不同的形状和大小。也就是说，每个子区域可以具有单独的形状和大小。

28、进一步地，所述区域的所述地形可以包括以下各项中的一个或多个：地形信息；道路拓扑；道路名称；兴趣点(point of interest，poi)边界。

29、通过这种方式，可以根据导航和装置能力的实际应用场景，确定每个划分的子区域。因此，可以提高导航灵活性。

30、在所述第一方面的一种实现方式中，为了获取每个子区域的所述地图，所述装置可以用于：获取原始数据；根据所述获取的原始数据，生成每个子区域的表示作为所述地图。所述原始数据可以包括以下信息中的一个或多个：

31、-一个或多个图像；

32、-光探测和测距(light detection and ranging，lidar)数据；

33、-一个或多个gnss的坐标信息；

34、-几何数据；

35、-道路数据；

36、可选地，所述一个或多个图像可以包括以下各项中的一个或多个：彩色图像；单色图像；深度图像。

37、进一步地，每个子区域的所述地图可以是所述原始数据的叠加。

38、在所述第一方面的一种实现方式中，每个子区域的所述地图还可以包括以下各项的至少一个或多个表示：

39、-所述子区域的2d模型；

40、-所述子区域的3d模型。

41、所述2d模型可以是表示所述子区域的2d点云或表示所述子区域的2d网格，所述3d模型可以是表示所述子区域的3d点云或表示所述子区域的3d网格。

42、可选地，所述2d模型或所述3d模型可以表示每个相应子区域的环境数据，例如但不限于道路、建筑物、poi、河流、湖泊、山脉等地形。

43、在所述第一方面的一种实现方式中，每个子区域的所述地图还可以包括与所述一个或多个表示相关联的位姿信息。

44、可选地，所述位姿信息可以指示与每个表示相关联的位置和方向。所述位姿信息可以包括用于收集所述原始数据的传感器的位姿。替代地或附加地，所述位姿信息可以包括由地图构建平台用于构建地图的位姿。

45、在所述第一方面的一种实现方式中，在所述地图和所述至少一个相邻地图共享所述重叠部分的情况下，所述装置可以具体用于：根据所述重叠部分，确定所述子区域与所述至少一个相邻子区域的地图之间的相对位姿。然后，所述装置可以根据所述相对位姿对所述子区域或所述至少一个子区域的所述地图进行变换。

46、所述相对位姿还可以通过使用根据所述一组相邻子区域的表示的迭代最近点(iterative closest point，icp)算法来确定。所述表示可以是2d/3d模型或地图。

47、可选地，所述相对位姿可以包括在所述一个或多个变换中。所述相对位姿可以相对于所述当前子地图中包括的所述位姿信息。

48、在所述第一方面的一种实现方式中，为了生成所述一个或多个参考位置，所述装置可以在所述区域内的一个或多个地标处生成所述一个或多个参考位置。

49、所述一个或多个地标可以包括道路和poi中的一个或多个。

50、在所述第一方面的一种实现方式中，为了生成所述一个或多个参考位置，所述装置可以用于：在所述区域的一个或多个可访问区域内生成所述一个或多个参考位置。

51、通过这种方式，可以高效地分配所述一个或多个参考位置，并且可以节省计算资源。

52、在所述第一方面的一种实现方式中，为了生成所述一个或多个参考位置，所述装置可以用于：在所述区域内均匀地生成所述一个或多个参考位置。替代地，所述装置可以在所述区域内随机地生成所述一个或多个参考位置。无论采用哪种方式，都可以简化参考位置的生成，并且可以减少准备所述参考位置的时间消耗。

53、在所述第一方面的一种实现方式中，所述装置可以用于：根据每个子区域的所述地图的复杂性，确定所述一个或多个参考位置的数量和/或分布。

54、对于较密集的子区域，所述参考位置的所述密度可能较高。

55、在所述第一方面的一种实现方式中，为了确定所述一个或多个变换，所述装置可以具体用于：

56、-采用拼接算法计算以所述子区域和所述至少一个相邻子区域的地图之间的所述参考位置为中心的局部对齐变换；

57、-获取所述拼接算法的输出作为所述一个或多个变换中的一个。

58、可选地，可以使用所述拼接算法来匹配所述一组相邻子区域之间的边缘特征，或者匹配所述一组相邻子区域之间的重叠部分。

59、在所述第一方面的一种实现方式中，每个变换可以是2自由度(degree offreedom，dof)或3dof或6dof或7dof变换，其中，所述2dof变换可以涉及两个轴线上的平移变换，所述3dof变换可以涉及三个轴线上的平移变换或所述2dof变换和方向，所述6dof变换可以涉及三个轴线上的旋转和平移变换，所述7dof变换可以涉及三个轴线上的旋转和平移变换以及缩放。

60、在所述第一方面的一种实现方式中，为了将所述一个或多个变换与每个子区域内包括的所述至少一个参考位置关联，所述装置可以用于：将所述子区域的所述一个或多个变换存储在根据所述至少一个参考位置中的每一个建立索引的数据库中。

61、可选地，为了将所述相关联的一个或多个变换提供给所述导航装置，所述支持装置可以在导航开始之前将所述数据库直接提供给所述导航装置。在这种情况下，所述导航装置可以通过在导航过程中根据当前位姿信息来查询所述数据库，从而检索所述一个或多个变换。

62、在所述第一方面的一种实现方式中，为了将所述一个或多个变换提供给所述导航装置，所述装置可以用于：

63、-从所述导航装置接收位姿信息；

64、-根据所述位姿信息，确定参考位置；

65、-根据所述确定的参考位置，确定所述一个或多个变换。

66、为了根据所述位姿信息确定所述参考位置，所述装置可以选择相对于所述接收的位姿信息中包括的所述位置最近的参考位置作为所述确定的参考位置。

67、本发明的第二方面提供了一种用于向区域内的设备提供导航服务的导航装置。所述导航装置用于：

68、获取所述设备的当前位姿；

69、根据所述当前位姿，获取当前子区域和至少一个相邻子区域的地图；

70、根据所述当前位姿，从用于支持所述导航服务的支持装置中获取一个或多个当前变换；

71、根据所述一个或多个当前变换，对所述地图进行变换；

72、根据所述变换的地图，提供所述导航服务。

73、例如，用于支持所述导航服务的所述支持装置是根据所述第一方面所述的用于支持导航的装置。支持导航服务与支持本发明所述的导航相同。

74、可选地，所述当前位姿可以包括位置信息和/或方向信息。所述位置信息可以包括2d或3d坐标。所述方向信息可以包括3d空间中的倾斜、俯仰和偏转信息，也可以包括2d空间中的角度。

75、可选地，所述导航装置可以在导航之前从地图构建平台中获取包括所述当前子区域和所述至少一个相邻子区域的所述区域内全部所述子区域的地图，并且可以将所述获取的子地图存储在本地。

76、替代地，所述导航装置可以从所述支持装置中获取全部所述子地图，尤其是在全部所述子地图由所述支持装置生成的情况下。在这种情况下，所述导航装置可以在导航之前从所述支持装置接收全部所述子地图，并且可以将所述接收的子地图存储在本地。

77、替代地，所述导航装置可以在所述导航过程中从所述地图构建平台或所述支持装置中获取所述当前子区域和所述相邻子区域的地图。在这种情况下，所述导航装置可以向所述地图构建平台或所述支持装置发送所述当前位姿。通过这种方式，可以降低所述导航装置的存储需求。

78、可选地，所述导航装置可以在开始所述导航服务之前，从所述支持装置中获取包括所述一个或多个当前变换的数据库。通过这种方式，可以在离线模式下操作所述导航装置，在所述离线模式下，可能不需要在导航过程中在所述支持装置与所述导航装置之间进行通信。可以规避通信时延。在所述离线模式下，为了获取所述一个或多个当前变换，所述导航装置可以用于：

79、从所述数据库中选择相对于所述当前位姿中包括的当前位置的所述最近的参考位置；

80、从所述数据库中检索与所述最近的参考位置相关联的所述一个或多个当前变换。

81、替代地，所述导航装置可以在导航过程中获取所述一个或多个当前变换。在这种情况下，所述导航装置可以在导航过程中将所述当前位姿提供给所述支持装置。通过这种方式，可以在在线模式下操作所述导航装置，并且可以降低对所述导航装置的存储需求。在所述在线模式下，为了获取所述一个或多个当前变换，所述导航装置可以用于：

82、向所述支持装置发送所述当前位姿；

83、从所述支持装置接收所述一个或多个当前变换。

84、应当注意的是，无论是在所述离线模式下还是在所述在线模式下，都可以认为所述一个或多个当前变换是从所述支持装置中获取的。

85、为了根据所述一个或多个当前变换对所述地图进行变换，如果不存在与所述地图中的特定地图对应的变换，所述导航装置可以用于不对所述特定地图进行变换。可选地，所述导航装置可以用于：组合所述特定地图与变换的相邻地图；根据所述组合的地图，提供所述导航服务。

86、可选地，提供所述导航服务的所述设备可以是手持设备(例如，终端、手机、平板电脑、gnss站等)、增强现实(augmented reality，ar)或虚拟现实(virtual reality，vr)设备、机器人、陆地车辆(例如，汽车、公共汽车、卡车、有轨电车、地铁、列车)、船舶、飞机(例如，无人机)等。

87、在所述第二方面的一种实现方式中，所述导航装置还可以用于：

88、更新所述当前位姿；

89、根据所述更新的位姿，更新所述地图和所述一个或多个变换；

90、根据所述一个或多个更新的变换，对所述更新的地图进行变换；

91、根据所述更新和变换的地图，继续提供所述导航服务。

92、可选地，所述导航装置可以用于：在所述导航服务期间，不断更新所述设备的所述当前位姿。

93、本发明的第三方面提供了一种用于区域内导航的系统。所述系统包括根据所述第一方面或其任何实现方式所述的支持装置以及根据所述第二方面或其任何实现方式所述的导航装置。

94、可选地，所述支持装置可以是与所述导航装置物理分离的设备。替代地，所述支持装置可以是可附接到所述导航装置的设备。替代地，所述支持装置可以是所述导航装置内部的模型。

95、本发明的第四方面提供了一种用于支持区域内导航的方法。所述方法由支持装置执行并且包括以下步骤：

96、在所述区域内生成一个或多个参考位置；

97、将所述区域划分为多个子区域。

98、对于每个参考位置，所述方法还包括：

99、获取所述参考位置所在的子区域的地图和至少一个相邻子区域的相邻地图；

100、确定一个或多个变换；

101、根据所述一个或多个变换，对所述地图和所述至少一个相邻地图中的一个或多个进行变换，使得所述地图和所述至少一个相邻地图对齐；

102、将所述一个或多个变换与所述参考位置关联；

103、将所述一个或多个变换提供给导航装置。

104、在所述第四方面的一种实现方式中，所述子区域和所述至少一个相邻子区域可以共享重叠部分。

105、在所述第四方面的一种实现方式中，所述方法还可以包括：根据以下一个或多个准则，确定每个子区域的形状和/或大小：

106、所述区域的地形；

107、所述区域的环境数据的地理密度；

108、所述装置的可用计算资源，用于处理与每个子区域相关联的环境数据。

109、在所述第四方面的一种实现方式中，获取每个子区域的所述地图可以包括：

110、获取原始数据，所述原始数据包括以下各项中的至少一项：

111、一个或多个图像；

112、lidar数据；

113、一个或多个全球导航卫星系统的坐标信息；

114、几何数据；

115、道路数据；

116、根据所述获取的原始数据，生成每个子区域的表示作为所述地图。

117、在所述第四方面的一种实现方式中，每个子区域的所述地图可以包括以下各项的至少一个或多个表示：

118、所述子区域的二维(two-dimensional，2d)模型；

119、所述子区域的三维(three-dimensional，3d)模型。

120、所述2d模型可以是表示所述子区域的2d点云或表示所述子区域的2d网格，所述3d模型可以是表示所述子区域的3d点云或表示所述子区域的3d网格。

121、在所述第四方面的一种实现方式中，每个子区域的所述地图还包括与所述一个或多个表示相关联的位姿信息。

122、在所述第四方面的一种实现方式中，确定所述一个或多个变换可以包括：

123、根据所述重叠部分，确定所述地图与所述至少一个相邻地图之间的相对位姿，其中，所述确定的相对位姿是所述一个或多个变换中的一个。

124、在所述第四方面的一种实现方式中，生成所述一个或多个参考位置可以包括：在所述区域内的一个或多个地标处生成所述一个或多个参考位置。

125、在所述第四方面的一种实现方式中，生成所述一个或多个参考位置可以包括：在所述区域的一个或多个可访问区域内生成所述一个或多个参考位置。

126、在所述第四方面的一种实现方式中，生成所述一个或多个参考位置可以包括：

127、在所述区域内均匀地生成所述一个或多个参考位置；或

128、在所述区域内随机地生成所述一个或多个参考位置。

129、在所述第四方面的一种实现方式中，所述方法还可以包括：根据每个子区域的所述地图的复杂性，确定所述一个或多个参考位置的数量和/或分布。

130、在所述第四方面的一种实现方式中，确定所述一个或多个变换可以包括：

131、采用拼接算法计算以所述地图与所述至少一个相邻地图之间的所述参考位置为中心的局部对齐变换；

132、获取所述拼接算法的输出作为所述一个或多个变换中的一个。

133、在所述第四方面的一种实现方式中，每个变换可以是2dof或3dof或6dof或7dof变换，其中，所述2dof变换可以涉及两个轴线上的平移变换，所述3dof变换可以涉及三个轴线上的平移变换或所述2dof变换和方向，所述6dof变换可以涉及三个轴线上的旋转和平移变换，所述7dof变换可以涉及三个轴线上的旋转和平移变换以及缩放。

134、在所述第四方面的一种实现方式中，将所述一个或多个变换与所述参考位置关联可以包括：将所述一个或多个变换存储在根据所述参考位置建立索引的数据库中。

135、在所述第四方面的一种实现方式中，将所述一个或多个变换提供给所述导航装置可以包括：

136、从所述导航装置接收位姿信息；

137、根据所述位姿信息，确定参考位置；

138、根据所述确定的参考位置，确定所述一个或多个变换。

139、本发明的第五方面提供了一种用于向区域内的设备提供导航服务的方法。所述方法由导航装置执行并且包括以下步骤：

140、获取所述设备的当前位姿；

141、根据所述当前位姿，获取当前子区域和至少一个相邻子区域的地图；

142、根据所述当前位姿，从用于支持所述导航服务的支持装置中获取一个或多个当前变换；

143、根据所述一个或多个当前变换，对所述地图进行变换；

144、根据所述变换的地图，提供所述导航服务。

145、在所述第五方面的一种实现方式中，所述方法还可以包括：

146、更新所述当前位姿；

147、根据所述更新的位姿，更新所述地图和所述一个或多个变换；

148、根据所述一个或多个更新的变换，对所述更新的地图进行变换；

149、根据所述更新和变换的地图，提供所述导航服务。

150、本发明的第六方面提供了一种计算机程序产品，包括：程序代码，用于在计算机上执行时，执行根据所述第四方面或其任何实现方式所述的方法。

151、本发明的第七方面提供了一种计算机程序产品，包括：程序代码，用于在计算机上执行时，执行根据所述第五方面或其任何实现方式所述的方法。

152、本发明的第八方面提供了一种包括指令的计算机可读介质，所述指令在由计算机执行时，使所述计算机执行根据所述第四方面或其任何实现方式中任一项所述的方法。

153、本发明的第九方面提供了一种包括指令的计算机可读介质，所述指令在由计算机执行时，使所述计算机执行根据所述第五方面或其任何实现方式中任一项所述的方法。

154、本发明的第十方面提供了一种包括指令的芯片组，所述指令在由所述芯片组执行时，使所述芯片组执行根据所述第四方面或其任何实现方式中任一项所述的方法。

155、本发明的第十一方面提供了一种包括指令的芯片组，所述指令在由所述芯片组执行时，使所述芯片组执行根据所述第五方面或其任何实现方式中任一项所述的方法。

156、需要注意的是，本发明中描述的所有装置、设备、元件、单元和方法可以软件或硬件元件或其任意组合来实现。本技术中描述的各种实体所执行的步骤以及所描述的各种实体要执行的功能均意在指各个实体适于或用于执行各个步骤和功能。即使在以下具体实施例的描述中，外部实体要执行的特定功能或步骤未反映在执行该特定步骤或功能的该实体的特定详细元件的描述中，技术人员应清楚，这些方法和功能可以在相应的软件或硬件元件中实现，或以此类元件的任何种组合实现。