房屋三维实景地图的实时构建方法、系统、装置及存储介质与流程

本发明涉及图像处理的技术领域，特别是涉及一种房屋三维实景地图的实时构建方法、系统、装置及存储介质。

背景技术：

随着生活质量的提高，扫地机器人被广泛使用。现有技术中，扫地机器人通常通过超声波与碰撞感应自动走遍室内位置，并在房间之间穿行，按照行为规则设定，其运动轨迹可勾勒出房间轮廓及结构等，然后利用勾勒出的房间轮廓及结构记忆绘制房间的地图，以便按照绘制的房间地图进行规划式的打扫。

但是现有的室内地图绘制是超声波和碰撞感应自动侦测障碍物后自行闪避碰撞和转弯移动，然后再结合定位系统根据扫地机器人的清扫路线绘制房间地图，往往由于房间内摆放的家具电器位置复杂或者临时存在的一些障碍物而造成绘制的房间地图不准确。当室内的物体位置发生变化时，原来绘制的地图就会产生很大误差，即使针对绘制的房间地图规划再好的清扫路线，也无法满足以最优化的路线将整个房间清扫干净的需求，大大降低了扫地机器人的工作效率。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种房屋三维实景地图的实时构建方法、系统、装置及存储介质，能够基于vslam技术实时构建房屋三维实景地图，从而为扫地机器人规划最优路线等应用提供所需的房屋三维实景地图。

为实现上述目的及其他相关目的，本发明提供一种房屋三维实景地图的实时构建方法，包括以下步骤：接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息；基于vslam技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息；基于所述关键帧的三维图像信息构建房屋的三维实景地图。

于本发明一实施例中，基于vslam技术获取所述视频图像的关键帧包括以下步骤；

基于运动分析法，获取当前帧与上一关键帧之间的相似度；

若当前帧和上一关键帧相似度小于预设阀值，则判定当前帧为关键帧。

于本发明一实施例中，基于关键帧的三维图像信息中的vslam特征点对关键帧进行匹配拼接以构建房屋的三维实景地图。

对应地，本发明还提供一种房屋三维实景地图的实时构建系统，包括接收模块、第一获取模块、第二获取模块和构建模块；

所述接收模块用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；

所述第一获取模块用于基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息；

所述第二获取模块用于基于vslam技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息；

所述构建模块用于基于所述关键帧的三维图像信息构建房屋的三维实景地图。

于本发明一实施例中，所述第二获取模块基于vslam技术获取所述视频图像的关键帧时执行以下操作；

基于运动分析法，获取当前帧与上一关键帧之间的相似度；

若当前帧和上一关键帧相似度小于预设阀值，则判定当前帧为关键帧。

于本发明一实施例中，所述构建模块基于关键帧的三维图像信息中的vslam特征点对关键帧进行匹配拼接以构建房屋的三维实景地图。

同时，本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的房屋三维实景地图的实时构建方法。

于本发明一实施例中，所述存储介质采用rom、ram、磁碟和光盘中的一种或多种组合。

另外，本发明还提供一种房屋三维实景地图的实时构建装置，包括通信模块、处理器和存储器；

所述通信模块用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；

所述存储器用于存储计算机程序；

所述处理器用于基于所述通信模块接收到的房屋的视频图像和移动机器人的里程信息，执行所述存储器存储的计算机程序，以实现如上述的房屋三维实景地图的实时构建方法。

另外，本发明还提供一种房屋三维实景地图的实时构建装置，包括通信模块、处理器和存储器；

所述通信模块用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；

所述存储器用于存储计算机程序；

所述处理器用于基于所述通信模块接收到的房屋的视频图像和移动机器人的里程信息，执行所述存储器存储的计算机程序，以实现如权利要求1所述的房屋三维实景地图的实时构建方法。

最后，本发明还提供一种房屋三维实景地图的实时构建系统，包括移动机器人以及与所述移动机器人通信连接的上述的房屋三维实景地图的实时构建装置；

所述移动机器人用于获取房屋的视频图像，并将所述视频图像和对应的移动机器人的里程信息发送至所述房屋三维实景地图的实时构建装置。

如上所述，本发明的房屋三维实景地图的实时构建方法、系统、装置及存储介质，具有以下有益效果：

(1)能够基于vslam技术实时构建房屋三维实景地图；

(2)所构建地图清楚准确，实时性强；

(3)能够供扫地机器人根据得到的房屋三维实景地图来规划最优路线，以提升扫地机器人的工作效率。

附图说明

图1显示为本发明的房屋三维实景地图的实时构建方法于一实施例中的流程图；

图2显示为本发明的房屋三维实景地图的实时构建系统于一实施例中的结构示意图；

图3显示为本发明的房屋三维实景地图的实时构建装置于一实施例中的结构示意图；

图4显示为本发明的房屋三维实景地图的实时构建系统于另一实施例中的结构示意图。

元件标号说明

1房屋三维实景地图的实时构建系统

11接收模块

12第一获取模块

13第二获取模块

13构建模块

2房屋三维实景地图的实时构建装置

21通信模块

22处理器

23存储器

3房屋三维实景地图的实时构建系统

31移动机器人

32房屋三维实景地图的实时构建装置

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

同步定位与建图(simultaneouslocalizationandmapping，slam)问题可以描述为机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。vslam即为基于视觉的同时定位与建图，其通过摄像头来获取图像，进而进行同步定位与建图，从而具有更高的建模精度。

本发明的房屋三维实景地图的实时构建方法、系统、装置及存储介质正是基于vslam技术实时构建房屋三维实景地图，从而能够为扫地机器人规划最优路线等应用提供所需的房屋三维实景地图。

如图1所示，于一实施例中，本发明的房屋三维实景地图的实时构建方法包括以下步骤：

步骤s1、接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息。

具体地，移动机器人发送来的房屋的视频图像为2d视频图像。

步骤s2、基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息。

步骤s3、基于vslam技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息。

具体地，基于运动分析法，获取当前帧与上一关键帧之间的相似度，若当前帧和上一关键帧相似度小于预设阀值，则判定当前帧为关键帧。因此，通过对视频图像进行分析，可以获取该视频图像中所有的关键帧。

所述位姿由移动机器人提供，包含位置和姿态。其中位置是通过移动机器人驱动轮上的编码器计算得到两个驱动轮的里程计信息，并通过两个里程计进行航位推算，从而获取移动机器人的位置和航向角；姿态是指前述的航向角以及移动机器人的陀螺仪信息。

步骤s4、基于所述关键帧的三维图像信息构建房屋的三维实景地图。

具体地，通过关键帧的三维图像信息中的vslam特征点对关键帧进行匹配拼接从而构建房屋的三维实景地图。

如图2所示，于一实施例中，本发明的房屋三维实景地图的实时构建系统1包括接收模块11、第一获取模块12、第二获取模块13和构建模块14。

所述接收模块11用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息。

具体地，移动机器人发送来的房屋的视频图像为2d视频图像。

所述第一获取模块12与所述接收模块11相连，用于基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息。

所述第二获取模块13与所述接收模块11和所述第一获取模块12相连，用于基于vslam技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息。

具体地，基于运动分析法，获取当前帧与上一关键帧之间的相似度，若当前帧和上一关键帧相似度小于预设阀值，则判定当前帧为关键帧。因此，通过对视频图像进行分析，可以获取该视频图像中所有的关键帧。

所述位姿由移动机器人提供，包含位置和姿态。其中位置是通过移动机器人驱动轮上的编码器计算得到两个驱动轮的里程计信息，并通过两个里程计进行航位推算，从而获取移动机器人的位置和航向角；姿态是指前述的航向角以及移动机器人的陀螺仪信息。

所述构建模块14与所述第二获取模块13相连，用于基于所述关键帧的三维图像信息构建房屋的三维实景地图。

具体地，通过关键帧的三维图像信息中的vslam特征点对关键帧进行匹配拼接从而构建房屋的三维实景地图。

本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的房屋三维实景地图的实时构建方法。优选地，所述存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

如图3所示，于一实施例中，本发明的房屋三维实景地图的实时构建装置2包括通信模块21、处理器22和存储器23。

所述通信模块21用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息。

所述存储器23用于存储计算机程序。

所述处理器22与所述通信模块21和所述存储器23相连，用于基于所述通信模块21接收到的房屋的视频图像和移动机器人的里程信息，执行所述存储器23存储的计算机程序，以实现上述的房屋三维实景地图的实时构建方法。

如图4所示，于另一实施例中，本发明的房屋三维实景地图的实时构建系统3包括移动机器人31以及与所述移动机器人31通信连接的上述的房屋三维实景地图的实时构建装置32。

所述移动机器人31用于获取房屋的视频图像，并将所述视频图像和对应的移动机器人的里程信息发送至所述房屋三维实景地图的实时构建装置32。

综上所述，本发明的房屋三维实景地图的实时构建方法、系统、装置及存储介质能够基于vslam技术实时构建房屋三维实景地图；所构建地图清楚准确，实时性强；能够供扫地机器人根据得到的房屋三维实景地图来规划最优路线，以提升扫地机器人的工作效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。