更新地图的方法及移动机器人与流程

文档序号:18744586发布日期:2019-09-21 02:11阅读:230来源:国知局
更新地图的方法及移动机器人与流程

本申请涉及导航控制技术领域,特别是涉及一种更新地图的方法、服务端及移动机器人。



背景技术:

以机器人为代表的自主移动设备是依据地图进行导航移动的。其中,在没有可供导航的地图的情况下,自主移动设备需更新地图。目前,自主移动设备在导航移动期间所构建的地图无法持久保存,是因为历次自主移动设备的初始位置、初始姿态、执行导航移动的物理空间无法保证完全一致。

然而,对于如扫地机器人、巡逻机器人等自主移动设备来说,由于无法保证历次自主移动设备的导航移动行为处于相同的移动环境,如处于相同的光线环境、处于障碍物摆放位置不变的物理空间等移动环境,故而对于这类自主移动设备来说,利用上一次构建的地图执行当前次导航操作将出现极大误差。



技术实现要素:

鉴于以上所述现有技术的缺点,本申请的目的在于提供一种更新地图的方法及移动机器人,用于解决现有技术中地图非持久性的问题。

为实现上述目的及其他相关目的,本申请的第一方面提供一种更新地图的方法,包括:获取第一移动设备在一物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集;其中,所述第一移动设备是利用预先存储的对应所述物理空间的基准地图及其基准定位数据集进行导航移动的;将所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理;将数据融合后的地图及其定位数据集作为所述第一移动设备中新的基准地图及其基准定位数据集。

在所述第一方面的某些实施方式中,所述基准地图及其基准定位数据集是基于所述第一移动设备和/或至少一个第二移动设备在所述物理空间内分别执行至少一次导航移动操作而构建的。

在所述第一方面的某些实施方式中,所述将基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理的步骤包括:确定所述基准定位数据集中的第一定位特征信息及其第一定位坐标信息、和所述当前定位数据集中的第二定位特征信息及其第二定位坐标信息相匹配;基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集。

在所述第一方面的某些实施方式中,所述确定基准定位数据集和所述当前定位数据集中相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息的步骤包括:匹配所述基准定位数据集中的各第一定位特征信息和所述当前定位数据集中的各第二定位特征信息;基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。

在所述第一方面的某些实施方式中,所述基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息的步骤包括:基于相匹配的第一定位特征信息和第二定位特征信息,将各自对应的第一定位坐标信息和第二定位坐标信息进行匹配,以得到相匹配的第一定位坐标信息和第二定位坐标信息。

在所述第一方面的某些实施方式中,所述第一定位特征信息包含基于基准地图中的空间特征而确定的第一测量定位特征信息,以及所述第二定位特征信息包含基于当前地图中的空间特征而确定的第二测量定位特征信息;和/或所述第一定位特征信息包含从基准定位数据集中的第一关键帧图像中提取的第一视觉定位特征信息;所述第二定位特征信息包含从当前定位数据集中的第二关键帧图像中提取的第二视觉定位特征信息。

在所述第一方面的某些实施方式中,所述第一测量定位特征信息包括以下至少一种:基于基准地图中空间特征的坐标信息组合而确定的测量数据,根据用于描述基准地图中空间特征的深度信息组合而确定的测量数据;以及所述第二测量定位特征信息包括以下至少一种:基于当前地图中对应空间特征的坐标信息组合而确定的测量数据,根据用于描述当前地图中空间特征的深度信息组合而确定的测量数据。

在所述第一方面的某些实施方式中,所述匹配基准定位数据集中的各第一定位特征信息和所述当前定位数据集中的各第二定位特征信息的步骤包括:将所述当前定位数据集中各第二关键帧图像中的第二定位特征信息与基准定位数据集中各第一关键帧图像中的第一定位特征信息进行匹配处理,以确定所述第一关键帧图像与第二关键帧图像中相匹配的第一定位特征信息和第二定位特征信息。

在所述第一方面的某些实施方式中,所述方法还包括:分析所述基准定位数据集中的第一关键帧图像,确定所述第一关键帧图像所对应的第一图像坐标信息相对于所述物理空间主方向的第一相对方位关系;以及基于所述第一相对方位关系调整在所述第一关键帧图像中的第一定位特征信息的像素位置;和/或分析所述当前定位数据集中的第二关键帧图像,确定所述第二关键帧图像所对应的第二图像坐标信息相对于所述物理空间主方向的第二相对方位关系;以及基于所述第二相对方位关系调整在所述第二关键帧图像中的第二定位特征信息的像素位置;以便匹配调整后的第二关键帧图像中的第二定位特征信息与调整后的第一关键帧图像中的第一定位特征信息。

在所述第一方面的某些实施方式中,所述方法还包括:调整所述基准地图或当前地图直至调整后两幅地图符合预设的重叠条件的步骤;以便基于调整后的两地图确定所述基准定位数据集和所述当前定位数据集中相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。

在所述第一方面的某些实施方式中,所述基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集的步骤包括:基于相匹配的第一定位坐标信息和第二定位坐标信息之间的坐标偏差信息修正基准地图和/或当前地图中的坐标误差;基于修正后的至少一个地图执行合并操作,以得到新的基准地图;以及将基准定位数据集和当前定位数据集中至少相匹配的第一定位特征信息和第二定位特征信息标记在新的基准地图上,以得到新的定位坐标信息。

在所述第一方面的某些实施方式中,所述基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集的步骤包括以下至少一个步骤,以得到新的基准定位数据集:基于相匹配的第一定位特征信息和第二定位特征信息之间的定位特征偏差信息调整基准定位数据集或当前定位数据集;将当前定位数据集中未匹配的各第二定位特征信添加至基准定位数据集中,或者,将基准定位数据集中未匹配的各第一定位特征信息添加至当前定位数据集中。

在所述第一方面的某些实施方式中,还包括以下步骤:检测所述当前地图的完整程度,和/或检测所述当前定位数据集的信息量;基于所得到的检测结果执行所述数据融合处理的操作。

在所述第一方面的某些实施方式中,还包括将新的基准地图及其基准定位数据集发送至位于所述物理空间中的第一移动设备的步骤。

在所述第一方面的某些实施方式中,还包括将位于所述物理空间内的至少一个配置有摄像装置的第二设备的位置标记在所述基准地图上的步骤。

本申请第二方面提供一种服务端,包括:接口装置,用于与位于一物理空间中的第一移动设备进行数据通信;存储装置,用于存储用于提供给所述第一移动设备的基准地图及其基准定位数据集,存储来自所述第一移动设备在所述物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集,以及存储至少一个程序;处理装置,与所述存储装置和接口装置连接,用于调用并执行所述至少一个程序,以协调所述存储装置和接口装置执行如第一方面中任一所述的方法。

本申请第三方面提供一种移动机器人,包括:存储装置,用于存储一基准地图及其基准定位数据集,当前地图和当前定位数据集,以及至少一个程序;其中,所述当前地图和当前定位数据集为所述移动机器人执行一次导航移动操作所构建的;所述基准地图及其基准定位数据集为所述移动机器人执行所述导航移动操作所使用的;移动装置,用于基于所述基准地图而确定的导航路线执行移动操作;定位感应装置,用于在执行导航移动操作期间收集第二定位特征信息,以构成当前定位数据集;处理装置,与所述存储装置、摄像装置和移动装置相连,用于调用并执行所述至少一个程序,以协调所述存储装置、摄像装置和移动装置执行第一方面中所述的更新地图的方法。

在所述第三方面的某些实施方式中,所存储的基准地图及其基准定位数据集是基于所述移动机器人自身和/或至少一个第二移动设备在同一物理空间内分别执行至少一次导航移动操作而构建的。

在所述第三方面的某些实施方式中,还包括接口装置,用于与至少一个第二移动设备进行数据通信;所述处理装置还执行获取所述第二移动设备所提供的第三地图和第三定位数据集的操作,以便将所述基准地图及其基准定位数据集、所述第二地图及其第二定位数据集、和所述第三地图及其第三定位数据集进行数据融合处理。

本申请第四方面提供一种移动机器人,包括:接口装置,用于与一服务端进行数据通信;存储装置,用于存储用于在一物理空间内导航移动操作期间提供导航服务的基准地图及其基准定位数据集,存储在执行所述导航移动操作期间所构建的当前地图及其当前定位数据集,以及存储至少一个程序;处理装置,与所述存储装置和接口装置连接,用于调用并执行所述至少一个程序,以协调所述存储装置和接口装置执行如下方法:将所述当前地图及其当前定位数据集发送至所述服务端;以及获取所述服务端返回的新的基准地图及其基准定位数据集,并更新所存储的基准地图及其基准定位数据集;其中,所获取的新的基准地图及其基准定位数据集是所述服务端将更新前的基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合后得到的。

在所述第四方面的某些实施方式中,所述新的基准地图及其基准定位数据集还融合有至少一个第二移动设备所提供的第三地图及其第三定位数据集。

如上所述,本申请的更新地图的方法及移动机器人,具有以下有益效果:本申请提供了一种地图持久化的方案,即当移动设备重新开机后,其地图与上一次工作的地图在同一坐标系中。用户可在终端设备上对地图进行标注,从而设置需要移动设备工作和工作方式的区域。同时,本申请中的地图随着时间的积累,会涵盖不同的场景,由此在不同的时段和光照条件下,地图都可以为移动设备提供定位信息。

附图说明

图1显示为本申请更新地图方法在一种实施方式中的流程示意图。

图2显示为本申请中将基准地图及其基准定位数据集与当前地图及其当前定位数据集融合的步骤流程图。

图3显示本申请服务端的一实施例结构示意图。

图4显示为本申请中一种移动机器人的模块结构实施例示意图。

图5显示为本申请中移动机器人在一工作中的流程实施例示意图。

图6显示为本申请中移动机器人的另一实施例示意图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一移动设备可以被称作第二移动设备,并且类似地,第二移动设备可以被称作第一移动设备,而不脱离各种所描述的实施例的范围。第一移动设备和移动设备均是在描述一个设备,但是除非上下文以其他方式明确指出,否则它们不是同一个移动设备。相似的情况还包括第一定位特征信息与第二定位特征信息、第一关键帧图像与第二关键帧图像、第一定位特征信息与第二定位特征信息。

再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。

基于背景技术中所提及的自主移动设备推广至其他需依据地图而执行导航操作的可移动设备,如汽车、配置在汽车上的车载终端等,当无法利用卫星定位技术(或其他定位技术)在地图数据中进行定位时,需要利用其它定位信息进行定位时,移动设备(如移动机器人)在相应物理空间中将无法获得相应的定位信息和地图。

因此,本申请提供一种更新地图的方法及移动机器人,以便向移动设备提供可供其在一物理空间内导航移动的可持久化使用的基准地图及其基准定位数据集。其中,所述物理空间表示为移动设备进行导航移动而提供的物理上的空间,所述物理空间包括但不限于以下任一种:室内/室外空间、道路空间、飞行空间等。在一些实施例中,所述移动设备为无人机,则所述物理空间对应为飞行空间;在另一些实施例中,所述移动设备为具有自动驾驶功能的车辆,则所述物理空间对应为无法获得定位的隧道道路或网络信号弱但需要导航的道路空间;在再一些实施例中,所述移动设备为扫地机器人,则所述物理空间对应为室内或室外的空间。

在此,所述基准地图及其基准定位数据集是基于所述第一移动设备和/或至少一个第二移动设备在所述物理空间内分别执行至少一次导航移动操作而构建的。即所述基准地图及其基准定位数据集融合于至少一个移动设备在同一物理空间中进行多次导航移动而各自构建的地图及其定位数据集。所述基准地图及其基准定位数据集构成前述地图数据。其中,所述移动设备配置有摄像装置、移动传感装置等为自主移动提供导航数据的感测装置;其包括第一移动设备和/或至少一个第二移动设备,其中,所述第一移动设备和第二移动设备可以为同类设备或不同类设备。例如,在仓储空间中,第一移动设备和第二移动设备均为具有自主导航能力的搬运车。又如,在室内空间中,第一移动设备为清洁机器人,第二移动设备为家庭陪伴机器人。再如,在隧道空间中,第一移动设备和第二移动设备均为车载终端。所述第一移动设备或第二移动设备还可以是巡逻机器人等。

其中,本申请所提供的更新地图的方法及移动机器人用以将每一次工作中构建的地图和定位数据集存储在一存储介质中,与存储介质中的基准地图及其基准定位数据集融合,从而对基准地图及其基准定位数据集进行不断优化,由此可使基准地图和基准定位数据集涵盖更多的场景。同时,利用基准地图及其基准定位数据集可使第一移动设备自主移动,使第一移动设备在不同的时段和光照条件下都可以准确定位其所处的环境位置。另外,使用本申请所更新后的地图数据,第一移动设备每一次的导航移动时均被定位在同一个坐标系中,为地图持久化的应用提供了基础。

其中,任一次第一移动设备导航移动所构建的地图可为以下任一种类型:栅格地图、或拓扑地图等。例如,在第一移动设备进行导航移动的过程中在路径规划时构建栅格地图。又如,将物理空间表示为带结点和相关连接线的拓扑结构图,其中结点表示环境中的重要位置点(拐角、门、电梯、楼梯等),边表示结点间的连接关系,如走廊等。在此基础上各类地图上均可标记有语义标签以供用户与第一移动设备进行基于语义的导航控制,所述语义标签可以为所述物理空间内物体的名称,例如办公桌、笔记本等。在某些情况下,用户向第一移动设备发出语音指令如卧室在前方6米处右转的位置,由此所述地图又被称为语义地图。所述导航移动操作是指第一移动设备利用导航数据进行移动并更新地图数据的过程,在另一些情况下,所述第一移动设备在导航移动期间借助已构建完成的地图数据来实现后续导航。数据的导航下去指定的地点完成工作。又如,巡航状态下的车辆在隧道等无法获得定位的道路上依据地图数据来实现导航等。在又一些情况下,所述第一移动设备在导航移动期间构建工作环境的地图并存储到存储介质上,例如扫地机器人或车辆在工作的同时构建其工作环境的地图,并将其构建的地图传输到存储介质中。所述存储介质可以脱离于所述第一移动设备侧,如配置在服务端的存储装置、或与第一移动设备数据通信的智能终端的存储装置。例如配置在智能终端的SD卡、flash等存储介质。又如,配置在服务端的固态硬盘等存储介质。所述存储介质也可以是第一移动设备自身配置的存储装置例如配置在第一移动设备中的SD卡、flash等存储介质。

在此,本申请以第一移动设备进行一次导航操作所构建的当前地图数据,即包含当前地图和当前定位数据集的当前地图数据为例,描述更新用以提供持久化的基准地图及其基准定位数据集的执行过程。

其中,所述第一移动设备在执行当前次导航移动期间根据基准地图及其基准定位数据集自主移动,同时构建对应当前次导航移动的当前地图及其当前定位数据集。例如,在无法获得定位的隧道道路或网络信号弱但需要导航的路面上,具有巡航功能的车辆可根据基准地图及其基准定位数据集基于VSLAM(Visual Simultaneous Localization and Mapping,基于视觉的即时定位与地图构建)或SLAM(Simultaneous Localization and Mapping,即时定位与地图构建)进行自主驾驶,同时根据所行使过的路径构建该次所经过的路面所在物理空间的当前地图及其当前视觉数据集。又如,扫地机器人在执行清洁任务时,可根据基准地图及其基准定位数据集基于VSLAM或SLAM进行自主移动并清洁,同时根据所清洁过的路径构建该次所经过的路径所在物理空间的当前地图及其当前视觉数据集;再如,酒店中的导航机器人可根据基准地图及其基准定位数据集基于VSLAM或SLAM在收到顾客的语义指令后为顾客进行导航服务,同时根据所经过的路径构建该次所经过路径所在物理空间的当前地图及其当前视觉数据集等。

其中,为便于融合操作,当前地图和基准地图为同种类型。例如同为栅格地图、或同为拓扑地图等。或者,当前地图和基准地图可转换成同种类型。例如,藉由预设分辨率的像素数据,将栅格地图转换成拓扑地图等。其中,当前地图描绘了第一移动设备沿一次导航移动的路线而检测到的物理空间的地理信息;换言之,当前地图是基于第一移动设备在移动期间的位置和姿态而确定的。所述当前地图包含有:所述第一移动设备的起始位置所对应的坐标信息,以及在移动期间所感测到的障碍物所对应的各坐标信息等地理信息。基准地图描绘了融合有第一移动设备和/或至少一个第二移动设备在同一物理空间中经多次导航移动的路线而检测到的所述物理空间的地理信息。所述基准地图包含有:所述第一移动设备基于定位匹配而确定的起始位置所对应的坐标信息,以及经定位匹配后确定的所述物理空间中的障碍物所对应的各坐标信息等地理信息。

其中,当前定位数据集中包含基于当前导航移动而收集的各第二定位特征信息及其在当前地图中的第二定位坐标信息。其中,根据第一移动设备所能提供的感测装置,在一些实施例中,所述第二定位特征信息包含基于描绘当前地图的空间特征而确定的第二测量定位特征信息。在一些示例中,所述第一移动设备包含激光测距传感器、红外测距传感器等测量感测装置,以及包含设置在第一移动设备的移动控制系统(如驱动电机、滚轮等)上的角度传感器、位移传感器、计数器等测量感应装置;基于相应测量感测装置对障碍物相对位置关系的测量,并结合移动控制系统的测量感应装置对第一移动设备移动距离和偏角的测量,第一移动设备根据障碍物对应于当前地图中的地理信息而形成的空间特征,提取第二测量定位特征信息。其中,所述空间特征包括:当前地图中所描绘的障碍物轮廓、特征点、特征线中的至少一种。所述第二测量定位特征包括以下至少一种描述方式:基于当前地图中对应空间特征的坐标信息组合而确定的测量数据,根据用于描述当前地图中空间特征的深度信息组合而确定的测量数据。例如,以当前地图中障碍物的轮廓中一测量点的坐标信息为起点构建该障碍物轮廓的位置偏移矢量,以得到所述第二测量定位特征至少包括首位相连的位置偏移矢量。又如,基于第一移动设备测量当前地图中障碍物的轮廓上一测量点的深度信息,以及第一移动设备所测得的该轮廓上的其他深度信息,得到所述第二测量定位特征至少包括:用于描述所述障碍物轮廓的深度偏移矢量。再如,第二测量定位特征还可以包含描述同一障碍物轮廓的深度偏移矢量和位置偏移矢量等。还如,基于当前地图中一拐点的坐标信息及其周围测量点的坐标信息的组合,得到所述第二测量定位特征信息。

在另一些实施例中,所述第二定位特征信息包含从当前定位数据集中的第二关键帧图像中提取的第二视觉定位特征信息。其中,所述第二关键帧图像为第一移动设备在导航移动期间所摄取的关键帧图像。所述第二视觉定位特征信息是利用图像特征提取及匹配方式从多个第二关键帧图像中得到的。其中,所述第二视觉定位特征信息包括但不限于:第二关键帧图像中的特征点、特征线等。所述第二视觉定位特征信息举例由描述子来描述。例如,基于SIFT算法(Scale-invariant feature transform尺度不变特征变换),从多个第二关键帧图像中提取定位特征信息,并基于该多个第二关键帧图像中包含视觉定位特征信息的图像块得到用于描述该视觉定位特征信息的灰度值序列,并将该灰度值序列即为描述子。又如,所述描述子用以通过编码视觉定位特征信息的周围亮度信息来描述所述第二视觉定位特征信息,以所述第二视觉定位特征信息为中心在其周围一圈采样若干个点,其中采样点的数量为但不限于256或512个,将这些采样点两两比较,得到这些采样点之间的亮度关系并将亮度关系转换成二进制字符串或其他编码格式。

与当前定位数据集中的第二测量定位特征信息和第二视觉定位特征信息类似,基准定位数据集包含第一移动设备和/或至少一个第二移动设备在历次导航移动期间基于各次移动所收集并融合得到的第一定位特征信息的集合。其中,根据第一移动设备和/或至少一个第二移动设备所能提供的感测装置,在一些实施例中,第一定位特征信息包括基于基准地图中的空间特征而确定的第一测量定位特征信息。其中,所述第一测量定位特征信息包括以下至少一种:基于基准地图中空间特征的坐标信息组合而确定的测量数据,根据用于描述基准地图中空间特征的深度信息组合而确定的测量数据。在此所述第一测量定位特征信息描述空间特征的方式与第二测量定位特征信息相同或相似,在此不再详述。在又一些实施例中,所述第一定位特征信息包括从基准定位数据集中的第一关键帧图像中提取的第一视觉定位特征信息。其中,所述第一关键帧图像的获得方式与前述第二关键帧图像的获得方式相同或相似,在此不再详述;以及第一视觉定位特征信息描述图像中定位特征的方式与第二视觉定位特征信息相同或相似,在此不再详述。

应当理解,帧是指动画中最小单位的单幅影像画面,在动画软件的时间轴上帧表现为一格或一个标记。关键帧相当于二维动画中的原画,指物体运动或变化中的关键动作所处的那一帧。视觉传感器在移动设备运动的过程中会不断拍摄周围图像,其中相邻帧的图像具有较高的相似度。因此,如果对比相邻帧,则可能无法显而易见地判断移动设备的运动过程,故通过关键帧之间的对比则可更显著地判断移动设备的运动过程。由此,第一移动设备在导航移动期间所获取的各第一关键帧图像都对应第一移动设备在物理空间中的不同位置和姿态。利用第一移动设备在不同位置和姿态下所摄取的不同第一关键帧图像可确定图像中相匹配的定位特征,并将其作为第一定位特征信息,同时还确定第一定位特征信息在当前地图中的坐标信息。在此,利用前后至少两幅关键帧图像匹配定位特征信息,以及确定第一移动设备拍摄各关键帧图像的位置及姿态的方式可参见公开号为CN107907131A的专利申请,且该专利申请全文引用于此。

在第一移动设备执行一次导航移动期间,第一移动设备藉由基准地图及其基准定位数据集确定自身当前的位置以及为了沿导航路线而对姿态、移动方向、速度等进行控制。与此同时,第一移动设备还基于该次导航移动的起始位置构建当前地图及其当前定位数据集。在一些示例中,在第一移动设备完成该次导航移动后,保存当前地图及其当前定位数据集,并在合适的时机启动本申请的更新地图的方法中的步骤S110。例如,在充电时,或在第一移动设备的系统资源充沛时,执行本申请的更新地图的方法。在另一些示例中,在第一移动设备执行该次导航移动期间,基于已构建的当前地图及其当前定位数据集执行本申请的更新地图的方法。

请参阅图1,其显示为更新地图的方法在一实施方式中的流程图。其中,在一些示例中,所述方法主要由服务端和第一移动设备配合执行。例如,第一移动设备在充电或系统资源占用率较低的时候将所保存的当前地图及其当前定位数据集提供给服务端,服务端执行步骤S110以启动对基准地图及其基准定位数据集的构建。在另一些示例中,所述方法由第一移动设备本身执行。例如,第一移动设备在充电或系统资源占用率较低的时候从存储介质中读取当前地图及其当前定位数据集以执行步骤S110,并启动对基准地图及其基准定位数据集的构建。

其中,所述步骤S110为服务端获取第一移动设备在一物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集。或者第一移动设备获取自身所构建的当前地图及其当前定位数据集。

下述以服务端为例,描述所述方法的后续步骤。需要说明的是,第一移动设备也可以执行后续各步骤。

在步骤S120中,将所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理。

应当理解,所述融合指将不同次构建的当前地图和当前定位数据集进行整合。其中,对地图的整合包括以下任一种:将不同次构建的当前地图中的各坐标信息整合成统一的基准地图中的各坐标信息;或者将当前地图中的各坐标信息整合到基准地图中。在一些更具体示例中,差分处理当前地图与基准地图,得到当前地图中的差分坐标信息,并基于差分坐标信息修正基准地图中各坐标信息。对地图的整合还包括将基准地图中近期未包含的地理位置予以去除,例如去除被判定为曾经临时放置的障碍物的地理位置的坐标信息等。

对定位数据集的整合包括以下任一种:将不同次构建的当前定位数据集中的第二定位特征信息整合成统一对应到基准地图中的基准定位数据集;或者将当前定位数据集中的第二定位特征信息整合到已保存的基准定位数据集中。在一些更具体示例中,差分处理当前定位数据集和基准定位数据集中相匹配的定位特征信息,并基于差分定位特征信息更新基准定位数据集中的相应第一定位信息。对定位数据集的整合还包括:将基准定位数据集中近期未包含的第一定位特征信息等予以去除,例如去除被判定为反映曾经临时放置的障碍物的第一定位特征信息等;和/或将当前定位数据集中的第二定位特征信息添加到基准定位数据集中。从而使融合后的地图和定位数据集一共集成了第一移动设备和/或第二移动设备在历史上进行导航移动操作时所采集到的所有地图数据。

例如,第一移动设备在白天自然光光照下进行了第一次导航移动操作Do1,第一移动设备所构建的当前地图P1和当前定位特征数据集D1均为自然光光照下呈现的状态并将其作为基准地图及其基准定位数据集;而在晚上时,在室内灯光的照射下,光照亮度和光照角度都发生了改变,第一移动设备基于第二次导航移动操作Do2所构建的当前地图P2和当前定位特征数据集D2的状态发生了改变。在此,将第一移动设备在晚上构建的当前地图P2及其当前定位数据集D2与白天构建的基准地图P1及其基准定位数据集D1进行融合,由此融合后的基准地图及其基准定位数据集就同时包含了该物理空间白天和晚上的场景下所构建的地图和定位数据集。

又如,所述第一移动设备和/或至少一个第二移动设备已在一物理空间内进行了多次导航移动操作,其基准地图及其基准定位数据集已融合了多次导航移动操作中构建的地图和定位数据集。在第一移动设备和/或至少一个第二移动设备新的一次导航移动操作后,将其构建的当前地图及其当前定位数据集与历史构建的基准地图及其基准定位数据集融合,由此通过不断迭代而构建所述当前地图及其当前定位数据集。

在此,由于每次第一移动设备和/或第二设备的导航移动所收集的各第二定位特征信息与基准定位数据集中的各第一定位特征信息并非完全一致,在进行融合期间需对定位特征信息进行匹配,请参阅图2,其显示为本申请中将基准地图及其基准定位数据集与当前地图及其当前定位数据集融合的步骤流程图。

所述将基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理的步骤包括:步骤S121,确定所述基准定位数据集中的第一定位特征信息及其第一定位坐标信息、和所述当前定位数据集中的第二定位特征信息及其第二定位坐标信息相匹配。

其中,所述基准定位数据集中包含第一定位特征信息及其在基准地图中的第一定位坐标信息,以及所述当前定位数据集中包含第二定位特征信息及其在当前地图中的第二定位坐标信息。服务端确认包含第一定位特征信息及其第一定位坐标信息的信息组合与包含第二定位特征信息及其第二定位坐标信息的信息组合相匹配。

在一些实施方式中,所述步骤S121包括步骤S1211:匹配所述基准定位数据集中的各第一定位特征信息和所述当前定位数据集中的各第二定位特征信息;以及基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。

其中,所述匹配定位特征信息的方式举例包括:匹配两数据集中测量定位特征信息所描述的坐标矢量偏差值、或深度矢量偏差值中的至少一种是否在预设测量匹配误差范围内;或者匹配两数据集中视觉定位特征信息所描述的灰度值、灰度分布、颜色值、颜色分布、色差、或灰度阶跃中的至少一种是否在预设图像匹配误差范围内。

在一些示例中,所述服务端遍历地匹配第一定位特征信息和第二定位特征信息,当符合以下至少一种匹配条件时,所述服务端基于相匹配的第一定位特征信息和第二定位特征信息,确定相应第一定位特征信息所对应的第一定位坐标信息和相应第二定位特征信息所对应的第二定位坐标信息相匹配。其中,所述匹配条件包括:相匹配的第一定位特征信息占第一定位特征信息总和的比例大于一比例阈值,相匹配的第二定位特征信息占第二定位特征信息总和的比例大于一比例阈值,或相匹配的第一定位特征信息的总和大于一总和阈值等,所述匹配条件包括:基于预设权重对上述多种匹配条件进行评价所得到的评价结果满足一评价阈值区间等。

在另一些示例中,为防止第一移动设备在包含相似定位特征信息的不同物理空间内移动,在融合期间出现的融合误差,服务端还匹配各定位特征信息所对应的定位坐标信息。例如,单台或不同移动机器人在统一装修不同户型的房间内清洁期间,所获取的第二定位特征信息可能与其基准定位数据集中的第一定位特征信息具有较高匹配度,但相应的定位坐标信息差异较大。

为此,当第一定位特征信息和第二定位特征信息符合上示例中至少一种匹配条件时,所述步骤S1211还包括:基于相匹配的第一定位特征信息和第二定位特征信息,将各自对应的第一定位坐标信息和第二定位坐标信息进行匹配,以得到相匹配的第一定位坐标信息和第二定位坐标信息。

在此,基于相匹配的第一定位特征信息和第二定位特征信息,统计各自对应的第一定位坐标信息和第二定位坐标信息之间的位置关系误差是否满足预设的位置关系误差条件,若是,则确定相应第一定位特征信息所对应的第一定位坐标信息和相应第二定位特征信息所对应的第二定位坐标信息相匹配;反之,则确定所匹配的所有第一定位特征信息和第二定位特征信息不匹配。其中,上述位置关系误差条件举例包括以下至少一种及组合:相匹配的定位特征信息在各自地图中的定位坐标信息之间的位移误差小于预设位移误差阈值,相匹配的定位特征信息在各自地图中的定位坐标信息之间的偏角误差小于预设偏角误差阈值,符合预设位移误差阈值的定位坐标信息的数量占相匹配的定位特征信息的数量的比例超出预设比例阈值,符合预设位移误差阈值的定位坐标信息的数量超出预设总量阈值。

为减少计算量,服务端在匹配定位特征信息期间,还根据已匹配的定位特征信息在各自地图中的位置分布,来确定已匹配的定位特征信息各自所对应的定位坐标信息之间的位置关系误差是否满足预设的位置关系误差条件,若是,则确定相应第一定位特征信息所对应的第一定位坐标信息和相应第二定位特征信息所对应的第二定位坐标信息相匹配;反之,则确定所匹配的所有第一定位特征信息和第二定位特征信息不匹配。其中,所述位置分布包括但不限于以下至少一种:1)将相匹配的定位特征信息进行位置聚类;对应地,服务端根据两地图中聚类后的位置分布之间的位置关系误差,从已匹配的定位特征信息中筛选出第一定位特征信息及其第一定位坐标信息,以及第二定位特征信息及其第二定位坐标信息均匹配。2)以相匹配的定位特征信息各自对应的定位坐标信息在各自地图中所描绘的形状作为所述位置分布;对应地,服务端根据两地图中的形状之间的位置关系误差,从已匹配的定位特征信息中筛选出第一定位特征信息及其第一定位坐标信息,以及第二定位特征信息及其第二定位坐标信息均匹配。在再一些实施方式中,服务端利用关键帧图像中所包含的定位特征进行定位特征匹配,为此,在一些实施例中,所述步骤S121包括步骤S1212:将所述当前定位数据集中各第二关键帧图像中的第二定位特征信息与基准定位数据集中各第一关键帧图像中的第一定位特征信息进行匹配处理,以确定所述第二关键帧图像与第一关键帧图像中相匹配的第一定位特征信息和第二定位特征信息;以及基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。其中,各关键帧图像中包含视觉定位特征信息。

在此,以关键帧图像所包含的描述定位特征信息的描述子为匹配索引,来提取两个数据库中各自关键帧图像中待匹配的定位特征信息,再基于对待匹配的两幅关键帧图像所包含的多个定位特征信息在各自关键帧图像中的像素位置关系来确定第二关键帧图像与第一关键帧图像中相匹配的第一定位特征信息和第二定位特征信息。例如,服务端以两个数据库中对应同一关键帧图像的多个定位特征信息的描述子(或描述子的摘要)进行粗略的第一次匹配,并利用预设的第一次匹配条件筛选出待进一步匹配的第二关键帧图像及其第二定位特征信息,以及第一关键帧图像及其第一定位特征信息,其中,所述第一次匹配条件包括但不限于:两个描述子中相符的比例在预设比例值以上,或两幅关键帧图像中符合相符条件的描述子的数量在预设数量值以上等。又如,服务端利用频率直方图的相似性条件,对两个数据库中关键帧图像进行粗略的第一次匹配,以筛选出待进一步匹配的第二关键帧图像及其第二定位特征信息,以及各自对应的第一关键帧图像及其第一定位特征信息。

服务端基于图像匹配技术将待进一步匹配的第二关键帧图像及其第二定位特征信息,以及第一关键帧图像及其第一定位特征信息进行逐一匹配,其中,所述图像匹配技术包括但不限于匹配第一关键帧图像P1中多个第一定位特征信息所构成的形状与第二关键帧图像P2中多个第二定位特征信息所构成的形状之间的图像特征误差,若所述图像特征误差符合预设的图像特征误差条件,则确定相应两定位特征信息相匹配,反之,则不匹配。其中,所述图像特征误差条件包括但不限于以下至少一种:两个形状的边、角是否符合图像的平移、旋转和尺度不变性等匹配条件;第一定位特征信息的描述子和第二定位特征信息的描述子之间的误差小于预设误差阈值等。

在一些更具体示例中,服务端将所匹配的第一定位特征信息和第二定位特征信息各自所对应的第一定位坐标信息与第二定位坐标信息相匹配。在另一些更具体示例中,服务端利用前述各示例中所提及的坐标匹配方式对相匹配的定位特征信息各自所对应的定位坐标信息进行匹配操作,筛选出相匹配的第一定位特征信息及其第一定位坐标信息和第二定位特征信息及其第二定位坐标信息。

在又一些实施例中,当前地图描绘了第一移动设备沿一次导航移动的路线而检测到的物理空间的地理信息;换言之,当前地图是基于第一移动设备在移动期间的位置和姿态而确定的。由此可见,基于第一移动设备的导航移动而构建的当前地图与物理空间的主方向之间具有基于第一移动设备的姿态而产生的偏角差异。

为了在减少计算量的同时提供与物理空间的主方向基本一致的基准地图及其基准定位数据集,所述步骤S121还包括步骤S1213,基于物理空间的主方向而对任一或全部定位数据集进行调整,使得融合后的基准地图及其基准定位数据集与物理空间的主方向基本一致,由此便于多设备与用户交互时,便于用户辨识各设备在物理空间中的位置。

在此,第一移动设备所在物理空间通常具有一个或两个主方向。在一些示例中,所述主方向用于描述构成所述物理空间的分隔体的摆放方向,其中,所述分隔体举例包括墙、窗、屏风等。例如,所述第一移动设备在家居室内中导航移动,所述物理空间的主方向包含沿房间的墙体而确定的两个相交方向。在另一些示例中,所述主方向用于描述物理空间内藉由所摆放的分隔体而构建的可供移动的道路方向,其中,所述分隔体举例为沿路设置的标志线、路肩石、货架等。例如,所述第一移动设备在隧道中导航移动,所述物理空间的主方向为沿着基于隧道墙体所构建的道路而确定的单一方向。又如,所述第一移动设备在仓库中导航移动,所述物理空间的主方向为基于仓库货架所构建的沿相交道路而确定的两个方向。

为此,在一些示例中,所述步骤S1213包括:分析所述当前定位数据集中第二定位特征信息中的第二关键帧图像,确定所述第二关键帧图像所对应的第二坐标信息相对于所述物理空间主方向的第二相对方位关系;以及基于所述第二相对方位关系调整在所述第二关键帧图像中的第二定位特征信息的像素位置;以便通过执行步骤S1212来匹配调整后的第二关键帧图像中的第二定位特征信息与调整后的第一关键帧图像中的第一定位特征信息,以及确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。

在此,第一移动设备在不同次导航移动期间,历次构建的地图均与物理空间的主方向之间具有各自的偏角差异。为便于将具有不同偏角差异的两幅地图融合在一起,在一种示例中,所述基准地图及其基准视觉数据集是基于所述物理空间主方向而构建的。为此,基于当前定位数据集中第二关键帧图像及其对应的第二坐标信息之间的对应关系,来确定该第二坐标信息相对于物理空间主方向的第二相对方位关系,进而基于所确定的第二相对方位关系调整所述第二关键帧图像中的第二定位特征信息的像素位置,再利用调整后的第二定位特征信息和所匹配的第一定位特征信息,执行前述融合操作。如此,可有效减少因所述偏角差异而带来的定位特征错误匹配,以及减少融合计算量。

在一些具体示例中,从所述第二关键帧图像的第二定位特征信息中选取直线线段,根据所识别出的特征线段确定在物理空间中第一移动设备与分隔体之间的第二相对方位关系。在此,公开号为CN109074084A的专利申请中提供一种根据所识别出的特征线段确定在物理空间中第一移动设备与分隔体之间的第二相对方位关系的技术方案,在此全文引用。其中,所述第二关键帧图像对应于所援引文件中机器人移动期间所摄取的图像,所述第一移动设备对应于所援引文件中的机器人,以及所述第二相对方位关系对应于所援引文件中的相对的方位关系,在此不再详述。

在确定所述第二相对方位关系后,基于所确定的第二相对方位关系调整所述第二关键帧图像中的第二定位特征信息的像素位置。在一些更具体示例中,第二关键帧图像中的像素坐标与当前地图所构建的地图坐标之间的对应关系可以是默认的。例如,摄像装置的主光轴与第一移动设备的移动平面基本垂直,可构建与地图坐标系中具有一致角度关系的像素坐标系,由此基于所述第二相对方位关系调整所述第二关键帧图像中的第二定位特征信息的像素位置。在另一些更具体示例中,第二关键帧图像中的像素坐标与当前地图所构建的地图坐标之间的对应关系是基于摄像装置在第一移动设备上所安装的倾斜角度、和相机参数而设置的,所述对应关系可与所述当前定位数据集一并获取,由此基于所述第二相对方位关系调整所述第二关键帧图像中的第二定位特征信息的像素位置。

在又一些具体示例中,基于所述第一关键帧图像的第一定位特征信息提取直线线段,例如,利用图像的膨胀算法将多个第一定位特征信息进行连线处理,并基于预设的直度和/或长度特征提取其中的直线线段,再利用前述具体示例确定第一相对方位关系,以及调整所述第一关键帧中的第一定位特征信息的像素位置。

根据实际调整情况,调整后的第二关键帧中的第二定位特征信息与相匹配的第一关键帧中的第一定位特征信息具有重叠、相差180°或相差±90°。与直接匹配的方式相比,上述预处理过程有利于优化可匹配的定位特征信息的算法,减少匹配过程中的多步计算。

在另一些示例中,与前述分析第二关键帧图像并调整第二定位特征信息相似,在一些情况中,所获取的当前地图及其当前视觉定位数据库已在第一移动设备侧被调整,故而本步骤还可以分析所述基准定位数据集中第一定位特征信息中的第一关键帧图像,确定所述第一关键帧图像所对应的第一坐标信息相对于所述物理空间主方向的第一相对方位关系;以及基于所述第一相对方位关系调整在所述第一关键帧图像中的第一定位特征信息的像素位置。

其中,所述确定第一相对方位关系的方式可与确定第二相对方位关系的方式相同或相似,在此不再详述。所述调整在第一关键帧图像中的第一定位特征信息的像素位置的方式可与调整第二定位特征信息的像素位置的方式相同或相似,在此不再详述。

在又一些示例中,本步骤还可以结合前述两示例:分析所述第一定位特征信息中的第一关键帧图像,确定所述第一关键帧图像所对应的第一坐标信息相对于所述物理空间主方向的第一相对方位关系,以及分析所述当前定位数据集中第二定位特征信息中的第二关键帧图像,确定所述第二关键帧图像所对应的第二坐标信息相对于所述物理空间主方向的第二相对方位关系;以及基于所述第一相对方位关系调整在所述第一关键帧图像中的第一定位特征信息的像素位置,以及基于所述第二相对方位关系调整在所述第二关键帧图像中的第二定位特征信息的像素位置。由此得到均基于物理空间主方向而确定的各定位特征在各关键帧图像中的像素位置。

基于调整后的第一定位特征信息和/或第二定位特征信息执行前述步骤S1212,以得到相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。

基于上述各示例而得到的匹配结果,所述服务端执行步骤S122。

在步骤S122中,基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集。其中,藉由相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,服务端得到当前地图和基准地图中的位移、角度偏差,以及得到当前定位数据集和基准定位数据集中至少相匹配的定位特征信息的特征偏差;并利用所得到的各偏差信息融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集。

在一些示例中,所述步骤S122包括步骤S1221,基于相匹配的第一定位坐标信息和第二定位坐标信息之间的坐标偏差信息修正基准地图和/或当前地图中的坐标误差。

在此,服务端统计各相匹配的第一定位坐标信息和第二定位坐标信息之间的位移偏差信息和角度偏差信息,以得到平均位移偏差信息和平均角度偏差信息,并根据所得到的平均位移偏差信息和平均角度偏差信息,修正基准地图和/或当前地图中的各坐标信息。

所述步骤S122还包括步骤S1222,基于修正后的至少一个地图执行合并操作,以得到新的基准地图。

在一些具体示例中,服务端将修正后的地图作为新的基准地图。在另一些具体示例中,服务端确定修正后的基准地图与修正前(或后)的当前地图之间的重叠区域,并基于重叠区域更新基准地图,以得到新的基准地图。例如,服务端重叠修正后的基准地图和修正后的当前地图,以确定两地图之间的重叠区域,并根据修正后的当前地图更新修正后的基准地图中未重叠的区域,以得到新的基准地图。

所述步骤S122还包括步骤S1223,将基准定位数据集和当前定位数据集中至少相匹配的第一定位特征信息和第二定位特征信息标记在新的基准地图上,以得到新的定位坐标信息。

在此,服务端根据对地图中各坐标信息的修正操作,将定位特征信息所对应的定位坐标信息修正后标记在新的基准地图中。例如,根据前述提及的平均位移偏差信息和平均角度偏差信息,修正基准定位数据集和/或当前定位数据集中所有定位特征信息所对应的定位坐标,以得到新的定位坐标信息。又如,根据相匹配的第一定位坐标信息和第二定位坐标信息之间的位移偏差信息和角度偏差信息,修正其中的第一定位坐标信息或第二定位坐标信息,以标记在新的基准地图中。

所述步骤S122还包括融合两个定位数据集以得到新的基准定位数据集的步骤,该步骤至少包括以下步骤S1224和/或步骤S1225。

在步骤S1224中,基于相匹配的第一定位特征信息和第二定位特征信息之间的定位特征偏差信息调整基准定位数据集或当前定位数据集。

在一些具体示例中,相匹配的第一定位特征信息和第二定位特征信息为测量定位特征信息,服务端根据相匹配的第一定位特征信息和第二定位特征信息之间的矢量偏差信息,调整基准定位数据集或当前定位数据集中对应的第一定位特征信息或第二定位特征信息,以得到新的基准定位数据集中的新的第一特征信息。例如,相匹配的第一定位特征信息和第二定位特征信息均为测量定位特征信息,并由多个首位相连的位置偏移矢量描述,利用该第一定位特征信息和第二定位特征信息之间的矢量偏差信息(包含位移偏差信息和角度偏差信息),调整对应的第一定位特征信息或第二定位特征信息。

在一些具体示例中,相匹配的第一定位特征信息和第二定位特征信息为视觉定位特征信息,服务端根据相匹配的第一定位特征信息和第二定位特征信息之间的特征偏差信息,调整基准定位数据集或当前定位数据集中对应的第一定位特征信息或第二定位特征信息,以得到新的基准定位数据集中的新的第一特征信息。例如,相匹配的第一定位特征信息和第二定位特征信息均为视觉定位特征信息,并由描述子描述,利用该第一定位特征信息和第二定位特征信息之间的特征偏差信息(包含灰度偏差信息和/或亮度偏差信息),调整对应的第一定位特征信息或第二定位特征信息。

在步骤S1225中,将当前定位数据集中未匹配的各第二定位特征信添加至基准定位数据集中,或者,将基准定位数据集中未匹配的各第一定位特征信息添加至当前定位数据集中。

在此,服务端通过执行任一种添加操作,将两个定位数据集中未匹配的定位特征信息予以补充,以使新的基准数据集能够提供更丰富的定位特征信息。

基于上述融合操作,第一移动设备可根据新的基准地图和新的基准定位数据集执行下一次的导航操作。

在又一些实施方式中,所述第一移动设备所提供的当前地图和当前定位数据集并未基于其使用的基准地图及基准定位数据集进行构建,为此,所述更新地图的方法还包括:

调整所述基准地图或当前地图直至调整后两幅地图符合预设的重叠条件的步骤;以便基于调整后的两地图确定所述基准定位数据集和所述当前定位数据集中相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。

其中,所述重叠条件包括但不限于:调整后的基准地图和当前地图中表示障碍物位置的坐标信息之间的整体或边缘坐标的误差小于预设的坐标误差值,或调整后的基准地图和当前地图所形成的两地图图像数据之间的整体或边缘像素的误差小于预设像素误差值。

在此,所述调整基准地图或当前地图的方式可基于预设的单位角度和单位位移逐步调整,和/或基于统计两地图中相匹配的测量定位特征信息之间的位移和角度差异进行对应的平移和旋转操作。在符合重叠条件后,确定所调整的位移和角度,并对应调整基准定位数据集中的各第一定位坐标信息、关键帧图像的图像坐标信息等,在此基础上,执行前述匹配和融合操作。在此不再详述。在又一些实施方式中,不同的物理空间内可能有部分的定位特征信息相同,为避免第一移动设备将两个具有部分相同定位特征信息的不同物理空间识别为同一物理空间,在一些示例中,服务端可通过匹配地图的边界信息来确定是否为同一物理空间。

在又一些示例中,所述更新地图的方法还包括检测所述当前地图的完整程度,和/或检测所述当前定位数据集的信息量;基于所得到的检测结果执行所述数据融合处理的操作的步骤。

其中,所述检测当前地图的完整程度的方式包括:基于预设的时长条件,检测绘制当前地图所花费的时长从而确定当前地图的完整度;基于预设的轮廓条件,检测当前地图中轮廓数据从而确定当前地图的完整度;基于当前地图与基准地图的重叠条件,检测当前地图的完整度。

其中,所述检测当前定位数据集的信息量的方式包括:基于预设的总数量条件,检测定位数据集中不同第二定位特征信息的总数量;和/或基于预设的差分总数量条件,检测当前定位数据集和基准定位数据集中未匹配的第二定位特征信息的数量等。

在此,上述各检测方式并非择一而设,可根据实际情况选择其中一个或多个检测方式进行检测,由此减少不必要的融合操作。

在一些具体示例中,所述第一移动设备并非每一次都在所述物理空间内进行了完整的导航移动操作,例如在家庭环境中,扫地机器人工作的过程中用户需要外出,需要扫地机器人停止当前操作。在这种情况下,需要通过检测当前地图的完整程度,或检测当前定位数据集的信息量,或同时对当前地图的完整程度和当前定位数据集的信息量进行检测,从而确定是否需要将当前地图及其当前定位数据集与基准地图及其基准定位数据集进行融合。

在又一些具体示例中,可以获取第一移动设备执行当前导航移动操作任务所花费的时间,并将其与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作所花费的时间进行比较,从而基于预设的条件确定是否需要进行融合,所述预设的条件可以是第一移动设备执行当前导航移动操作任务所花费的时间与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作任务所花费的时间的比值等。

在另一些具体示例中,可以通过获取第一移动设备执行当前导航移动操作任务时电机的运行数据,并将其与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作时的电机数据进行比较,从而基于预设的条件确定是否需要进行融合,所述预设的条件可以是第一移动设备执行当前导航移动操作任务时电机数据与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作任务时电机数据的比值等。

在再一些具体示例中,可以获取第一移动设备执行当前导航移动操作任务所移动的距离,并将其与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作所移动的距离进行比较,从而基于预设的条件确定是否需要进行融合,所述预设的条件可以是第一移动设备执行当前导航移动操作任务所移动的距离与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作任务所移动的距离的比值等。

在利用上述任一示例完成融合操作后,将数据融合后的地图及其定位数据集作为所述第一移动设备中新的基准地图及其基准定位数据集。在此,融合后的地图及其定位数据集被保存在存储介质中。所述基准地图及其基准定位数据集可以是主动推送至所述第一移动设备,也可以是基于第一移动设备的请求而下载。

在一些示例中,服务端执行所述融合操作后,将新的基准地图及其基准定位数据集发送至位于所述物理空间中的第一移动设备,以便在下一次导航移动操作时第一移动设备使用新的基准地图及其基准定位数据集。

在又一些示例中,服务端还执行将位于所述物理空间内的至少一个配置有摄像装置的第二设备的位置标记在所述基准地图上的步骤。

在此,在所述物理空间内除了可进行导航移动操作的第一移动设备外,还包括布局在所述物理空间内的配置有摄像装置的第二设备。所述第二设备包括前述提及的第二移动设备,和/或固定安装在所述物理空间内并配置有摄像装置的电子设备,例如安防摄像头等。服务端还获取第二设备所摄取的第三关键帧图像,并通过匹配第三关键帧图像中第三定位特征信息与基准定位数据集中的第一关键帧图像中第一定位特征信息,确定第二设备在基准地图中的坐标位置,并将第二设备的位置标记在所述基准地图中,并将标记有第二设备位置的基准地图及其基准定位数据集发送至第一移动设备。

如此,在一些具体示例中,用户可藉由智能终端与标记有基准地图的第一移动设备和/或各第二设备进行交互。例如,用户在终端设备上向配置有摄像装置的第二设备发出指令后,所述第二设备可基于基准地图及其基准定位数据集执行用户的指令。第一移动设备基于所使用基准地图与相应的第二设备进行交互。例如,用户直向第一移动设备的摄像头作出手势指令,所述第一移动设备与第二设备进行通讯,使第二设备基于手势指令与基准地图及其基准定位数据集执行用户的指令等。

综上所述,本申请中所构建的地图为持久化地图,即移动设备在重新开机后的地图与上一次工作的地图在同一坐标系中。如此,用户可在终端设备上对地图进行标注处理,以设置移动设备的工作区域和工作方式。例如,用户在终端设备上在地图中标注需要每天工作多次的区域或禁止进入的区域或指定某一区域工作。同时,由于同样的物理空间在不同的时间段的视觉信息会有较大差异。因此,本申请不只获取一次的工作记录,还持续不断地收集信息并将其进行融合,以丰富定位特征,并随着时间的积累,在多次工作后,可使地图在不同的时段和光照条件下为移动设备提供定位。另外,本申请公开的地图构建方式可得到一种更稳定的地图,为用户和设备之间的交互提供便利,同时也节省了计算资源,解决了现有技术中边定位变构图造成的计算资源紧张。本申请的持久化地图在定位成功后可直接使用,如果原先每秒需要创建许多个定位特征,则采用本申请的更新地图方法可仅创建基准地图及其基准定位数据集未涵盖的定位特征即可。

本申请还提供一种服务端。请参阅图3,其显示为本申请服务端的一实施例结构示意图,如图所示,所述第一移动设备在导航移动操作过程中构建的基准地图及其基准定位数据集及当前地图及其当前定位数据集被储存在服务端中。所述服务端包括但不限于单台服务器、服务器集群、分布式服务器群、云服务端等。在此,根据实际设计,所述服务端由云提供商所提供的云服务端提供。其中,所述云服务端包括公共云(Public Cloud)服务端与私有云(Private Cloud)服务端,其中,所述公共或私有云服务端包括Software-as-a-Service(软件即服务,SaaS)、Platform-as-a-Service(平台即服务,PaaS)及Infrastructure-as-a-Service(基础设施即服务,IaaS)等。所述私有云服务端例如阿里云计算服务平台、亚马逊(Amazon)云计算服务平台、百度云计算平台、腾讯云计算平台等等。

所述服务端与位于一物理空间中的第一移动设备通信连接。其中,所述物理空间表示为移动设备进行导航移动而提供的物理上的空间,所述物理空间包括但不限于以下任一种:室内/室外空间、道路空间、飞行空间等。例如在一些实施例中,所述移动设备为无人机,则所述物理空间对应为飞行空间;在另一些实施例中,所述移动设备为具有自动驾驶功能的车辆,则所述物理空间对应为无法获得定位的隧道道路或网络信号弱但需要导航的道路空间;在再一些实施例中,所述移动设备为扫地机器人,则所述物理空间对应为室内或室外的空间。所述移动设备配置有摄像装置、移动传感装置等为自主移动提供导航数据的感测装置;其包括第一移动设备和/或至少一个第二移动设备,其中,所述第一移动设备和第二移动设备可以为同类设备或不同类设备。例如,在仓储空间中,第一移动设备和第二移动设备均为具有自主导航能力的搬运车。又如,在室内空间中,第一移动设备为清洁机器人,第二移动设备为家庭陪伴机器人。再如,在隧道空间中,第一移动设备和第二移动设备均为车载终端。所述第一移动设备或第二移动设备还可以是巡逻机器人等。

请继续参阅图3,所述服务端包括接口装置11、存储装置12、以及处理装置13。其中,存储装置12包含非易失性存储器、存储服务器等。其中,所述非易失性存储器举例为固态硬盘或U盘等。所述存储服务器用于存储所获取的各种用电相关信息和供电相关信息。接口装置11包括网络接口、数据线接口等。其中所述网络接口包括但不限于:以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙等)的网络接口装置等。所述数据线接口包括但不限于:USB接口、RS232等。所述接口装置与所述控制系统、第三方系统、互联网等数据连接。处理装置13连接接口装置11和存储装置12,其包含:CPU或集成有CPU的芯片、可编程逻辑器件(FPGA)和多核处理器中的至少一种。处理装置13还包括内存、寄存器等用于临时存储数据的存储器。

所述接口装置11用于与位于一物理空间中的第一移动设备进行数据通信。在此,所述接口装置11举例为以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙等)的网络接口装置等,由此与第一移动设备通信连接。

所述存储装置12用以存储用于提供给所述第一移动设备的基准地图及其基准定位数据集,存储来自所述第一移动设备在所述物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集,以及存储至少一个程序。在此,所述存储装置12举例包括设置在服务端的硬盘并储存有所述至少一种程序。服务端将基准地图及其基准定位数据集存储在该存储装置12中,当需要调用基准地图及其基准定位数据集时,所述存储装置12将基准地图及其基准定位数据集提供给接口装置11,同时,所述存储装置12存储来自接口装置11的当前地图及其当前定位数据集。当需要融合基准地图及其基准定位数据集与当前地图及其当前定位数据集时,所述存储装置12将基准地图及其基准定位数据集与当前地图及其当前定位数据集提供给处理装置13。

所述处理装置13用于调用所述至少一个程序以协调所述接口装置和存储装置执行前述任一示例所提及的更新地图的方法。其中,所述更新地图的方法如图1及所对应的描述所示,在此不再重述。

在一些情况下,更新地图的步骤也可以由移动机器人完成。在此,提供一种移动机器人,请参阅图4,其显示为一种移动机器人的模块结构实施例示意图。如图所示,所述移动机器人2包括存储装置24、移动装置23、定位感应装置21和处理装置22。

所述存储装置用于存储描述物理空间的基准地图及其基准定位数据集,在所述物理空间内执行导航移动操作所构建的当前地图和当前定位数据集,以及至少一个程序;所述移动装置用于基于所述基准地图而确定的导航路线执行移动操作;所述定位感应装置用于在执行导航移动操作期间收集第二定位特征信息,以构成当前定位数据集;所述处理装置与所述存储装置、摄像装置和移动装置相连,用于调用并执行所述至少一个程序,以协调所述存储装置、摄像装置和移动装置。其中,所述定位感应装置包括但不限于以下至少一种:摄像装置、红外测距装置、激光测距装置、角度传感器、位移传感器、计数器等。其中,激光测距传感器、红外测距传感器等测量感测装置配置在移动机器人体侧。角度传感器、位移传感器、计数器等测量感应装置设置在移动机器人的移动控制系统(如驱动电机、滚轮等)上。2D摄像装置、3D摄像装置等视觉感应装置设置在移动机器人的体侧或顶部。

例如,移动机器人在一物理空间导航移动操作时,所述处理装置22基于基准地图及其基准定位数据集为移动装置23进行导航,并通过所述定位感应装置21中的摄像装置摄取关键帧图像并提供给所述处理装置22,所述处理装置22基于所述摄像装置提供的关键帧图像构建当前地图和当前定位数据集并提供给存储装置24存储。移动机器人在充电或系统资源占用率较低的时候,处理装置22从存储装置24中读取当前地图及其当前定位数据集,并启动对基准地图及其基准定位数据集的构建。

在此,所存储的基准地图及其基准定位数据集是基于所述移动机器人自身和/或至少一个第二移动设备在所述物理空间内分别执行至少一次导航移动操作而构建的,即所述基准地图及其基准定位数据集是至少一个移动设备在同一物理空间中进行多次导航移动而各自构建的地图及其定位数据集融合后得到的。所述基准地图及其基准定位数据集构成前述地图数据。其中,所述移动设备配置有摄像装置、移动传感装置等为自主移动提供导航数据的感测装置;其包括移动机器人和/或至少一个第二移动设备,其中,所述移动机器人和第二移动设备可以为同类设备或不同类设备。例如,在仓储空间中,移动机器人和第二移动设备均为具有自主导航能力的搬运车。又如,在室内空间中,移动机器人为清洁机器人,第二移动设备为家庭陪伴机器人。再如,在隧道空间中,移动机器人和第二移动设备均为车载终端。所述移动机器人或第二移动设备还可以是巡逻机器人等。

在一个示例性的实施例中,所述移动机器人还包括接口装置,用于与至少一个第二移动设备进行数据通信;在一些实施例中,所述处理装置还执行获取所述第二移动设备所提供的第三地图和第三定位数据集的操作,以便将所述基准地图及其基准定位数据集、所述第二地图及其第二定位数据集、和所述第三地图及其第三定位数据集进行数据融合处理。例如,在一物理空间中包括移动机器人和一第二移动设备,所述移动机器人在导航移动操作过程中构建了当前地图及其当前定位数据集,所述第二移动设备在导航移动操作过程中构建了第三地图及其第三定位数据集,所述移动机器人通过接口装置接收来自所述第二移动设备的数据,并将基准地图及其基准定位数据集、所述当前地图及其当前定位数据集、和所述第三地图及其第三定位数据集进行数据融合处理。在一些情况下,物理空间中除所述移动机器人外还包含多个第二移动设备,因此在多个第二移动设备进行导航移动操作的过程中会构建多个第三地图及其第三定位数据集,所述移动机器人通过接口装置接收所述多个第三地图及其第三定位数据集,并将多个第三地图及其第三定位数据集与基准地图及其基准定位数据集和第二地图及其第二定位数据集进行数据融合处理。

在一个示例性的实施例中,请参阅图5,其显示为本申请中移动机器人在一工作中的流程实施例示意图。如图所示,在步骤S210中,所述机器人将所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理。

应当理解,所述融合指将不同次构建的地图和定位数据集进行整合。其中,对地图的整合包括以下任一种:将不同次构建的当前地图中的各坐标信息整合成统一的基准地图中的各坐标信息;或者将当前地图中的各坐标信息整合到基准地图中。在一些更具体示例中,差分处理第二地图与基准地图,得到当前地图中的差分坐标信息,并将其整合到基准地图中。对地图的整合还包括将基准地图中近期未包含的地理位置予以去除,例如去除被判定为曾经临时放置的障碍物的地理位置的坐标信息等。

对定位数据集的整合包括以下任一种:将不同次构建的当前定位数据集中的第二定位特征信息整合成统一的基准地图中的各第一定位特征信息;或者将第二定位数据集中的第二定位特征信息整合到基准定位数据集中。在一些更具体示例中,差分处理当前定位数据集和基准定位数据集得到差分定位特征信息,并基于差分定位特征信息整合两个定位数据集。对定位数据集的整合还包括将基准定位数据集中近期未包含的第一定位特征信息等予以去除,例如去除被判定为反映曾经临时放置的障碍物的第一定位特征信息等。从而使融合后的地图和定位数据集一共集成了移动机器人和/或第二移动设备在历史上进行导航移动操作时所采集到的所有地图数据。

例如,移动机器人在白天自然光光照下进行了第一次导航移动操作Do1,移动机器人所构建的当前地图P1和当前定位特征数据集D1均为自然光光照下呈现的状态并将其作为基准地图及其基准定位数据集;而在晚上时,在室内灯光的照射下,光照亮度和光照角度都发生了改变,移动机器人基于第二次导航移动操作Do2所构建的当前地图P2和当前定位特征数据集D2的状态发生了改变。在此,将移动机器人在晚上构建的当前地图P2及其当前定位数据集D2与白天构建的基准地图P1及其基准定位数据集D1进行融合,由此融合后的基准地图及其基准定位数据集就同时包含了该物理空间白天和晚上的场景下所构建的地图和定位数据集。

又如,所述移动机器人和/或至少一个第二移动设备已在一物理空间内进行了多次导航移动操作,其基准地图及其基准定位数据集已融合了多次导航移动操作中构建的地图和定位数据集。在移动机器人和/或至少一个第二移动设备新的一次导航移动操作后,将其构建的当前地图及其当前定位数据集与历史构建的基准地图及其基准定位数据集融合,由此通过不断迭代而构建所述当前地图及其当前定位数据集。

在此,所述移动机器人执行步骤S210的过程与前述示例中第一设备执行步骤S120的过程相同或相似,在此不再详述。

在利用上述任一示例完成融合操作后,所述移动机器人执行步骤S220,将数据融合后的地图及其定位数据集作为所述移动机器人中新的基准地图及其基准定位数据集,并予以存储。

在一些示例中,移动机器人执行所述将数据融合后的地图及其定位数据集作为所述移动机器人中新的基准地图及其基准定位数据集并存储在所述存储装置中的步骤后,还将新的基准地图及其基准定位数据集发送至位于所述物理空间中的第二移动设备。在此,移动机器人的处理装置在融合了基准地图及其基准定位数据集与第二地图及其第二定位数据集后,将融合后的新的基准地图及其基准定位数据集发送到第二移动设备中,以便在下一次导航移动操作时使用新的基准地图及其基准定位数据集。

在又一些示例中,处理装置还执行将位于所述物理空间内的至少一个配置有摄像装置的第二设备的位置标记在所述地图上的步骤。

在此,在所述物理空间内除了可进行导航移动操作的移动机器人外,还包括布局在所述物理空间内的配置有摄像装置的第二设备。所述第二设备包括前述提及的第二移动设备,和/或固定安装在所述物理空间内并配置有摄像装置的电子设备,例如安防摄像头等。移动机器人还获取第二设备所摄取的第三关键帧图像,并通过匹配第三关键帧图像中第三定位特征信息与基准定位数据集中的第一关键帧图像中第一定位特征信息,确定第二设备在基准地图中的坐标位置,并将第二设备的位置标记在所述基准地图中,并将标记有第二设备位置的基准地图及其基准定位数据集发送至移动机器人的存储装置。

如此,在一些具体示例中,用户可藉由智能终端与标记有基准地图的移动机器人和/或各第二设备进行交互。例如,用户在终端设备上向配置有摄像装置的第二设备发出指令后,所述第二设备可基于基准地图及其基准定位数据集执行用户的指令。移动机器人基于所使用基准地图与相应的第二设备进行交互。例如,用户直向移动机器人的摄像头作出手势指令,所述移动机器人与第二设备进行通讯,使第二设备基于手势指令与基准地图及其基准定位数据集执行用户的指令等。

综上所述,本申请中移动机器人所构建的地图为持久化地图,即移动机器人在重新开机后的地图与上一次工作的地图在同一坐标系中。如此,用户可在终端设备上对地图进行标注处理,以设置移动设备的工作区域和工作方式。例如,用户在终端设备上在地图中标注需要每天工作多次的区域或禁止进入的区域或指定某一区域工作。同时,由于同样的物理空间在不同的时间段的视觉信息会有较大差异。因此,本申请中的移动机器人不只获取一次的工作记录,还持续不断地收集信息并将其进行融合,以丰富定位特征,并随着时间的积累,在多次工作后,可使地图在不同的时段和光照条件下为移动设备提供定位。另外,本申请公开的移动机器人可得到一种更稳定的地图,为用户和设备之间的交互提供便利,同时也节省了计算资源,解决了现有技术中边定位变构图造成的计算资源紧张。本申请中移动机器人的持久化地图在定位成功后可直接使用,如果原先每秒需要创建许多个定位特征,则采用本申请的移动机器人可仅创建基准地图及其基准定位数据集未涵盖的定位特征即可。

依据本申请所提及的技术方案,本申请还提供一种移动机器人,请参阅图6,其显示为本申请中移动机器人的另一实施例示意图。如图所示,所述移动机器人3包括:接口装置35,用于与一服务端进行数据通信;存储装置34,用于存储用于在一物理空间内导航移动操作期间提供导航服务的基准地图及其基准定位数据集,存储在执行所述导航移动操作期间所构建的当前地图及其当前定位数据集,以及存储至少一个程序;处理装置32,与所述存储装置和接口装置连接,用于调用并执行所述至少一个程序,以协调所述存储装置和接口装置执行如下方法:将所述当前地图及其当前定位数据集发送至所述服务端;以及获取所述服务端返回的新的基准地图及其基准定位数据集,并更新所存储的基准地图及其基准定位数据集;其中,所获取的新的基准地图及其基准定位数据集是所述服务端将更新前的基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合后得到的。在此,所述移动机器人3通过调用其存储装置34中的基准地图及其基准定位数据集完成导航移动操作,并在该导航移动操作过程中构建当前地图及其当前定位数据集。所述移动机器人将其在导航移动操作过程中构建的当前地图及其当前定位数据集存储在所述存储装置34中。所述移动机器人3的处理装置32调用所述存储装置中的当前地图及其当前定位数据集,通过接口装置35将所述当前地图及其当前定位数据集发送给服务端。在服务端侧完成基准地图及其基准定位数据集与所述当前地图及其当前定位数据集的融合步骤后,形成新的基准地图及其基准定位数据集。所述服务端将新的基准地图及其基准定位数据集发送给所述移动机器人3的接口装置35,并通过处理装置32将所述新的基准地图及其基准定位数据集存储在存储装置34中。

其中,所述服务端藉由数据融合更新基准地图及其基准定位数据集的方式与前述更新地图的方法示例相同或相似,在此不再详述。

在一个示例性的实施例中,物理空间中包括移动机器人和至少一个第二移动设备,所述至少一个第二移动设备在所述物理空间的导航移动操作过程中构建第三地图及其第三定位数据集。在此,所述新的基准地图及其基准定位数据集还融合有至少一个第二移动设备所提供的第三地图及其第三定位数据集。

本申请中公开的移动机器人可配合服务端共同构建持久化地图,该持久化地图可使移动机器人在重新开机后的地图与上一次工作的地图在同一坐标系中。如此,用户可在终端设备上对地图进行标注处理,以设置移动设备的工作区域和工作方式。例如,用户在终端设备上在地图中标注需要每天工作多次的区域或禁止进入的区域或指定某一区域工作。同时,由于同样的物理空间在不同的时间段的视觉信息会有较大差异。因此,本申请中的移动机器人不只获取一次的工作记录,还持续不断地收集信息并将其进行融合,以丰富定位特征,并随着时间的积累,在多次工作后,可使地图在不同的时段和光照条件下为移动设备提供定位。另外,本申请公开的移动机器人可得到一种更稳定的地图,为用户和设备之间的交互提供便利,同时也节省了计算资源,解决了现有技术中边定位变构图造成的计算资源紧张。本申请中移动机器人的持久化地图在定位成功后可直接使用,如果原先每秒需要创建许多个定位特征,则采用本申请的移动机器人可仅创建基准地图及其基准定位数据集未涵盖的定位特征即可。

上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1