用于面向扫描匹配的视觉SLAM的系统和方法与流程

文档序号:19947804发布日期:2020-02-18 09:44阅读:来源:国知局

技术特征:

1.一种用于生成和更新2d网格单元地图的方法,包括:

通过计算设备的传感器提供红绿蓝rgb图像和三维3d空间的深度图像,所述传感器具有外在参数;

确定所述rgb图像中的像素的分数,其中所述分数表示所述rgb图像中的所述像素位于地平面中的可能性;

确定所述深度图像中的像素的法线方向;

基于所述外在参数、所述分数和所述法线方向来确定所述地平面;

将所述深度图像中的所述像素投影到所述地平面以形成投影像素;

当所述2d网格单元地图不可用时,通过将所述地平面定义为网格单元并将颜色描述符归于每个网格单元来生成所述2d网格单元地图,其中每个网格单元的颜色描述符是基于所述网格单元内的投影像素来计算的;并且

当所述2d网格单元地图可用时,通过将新的颜色描述符归于每个网格单元并基于所述新的颜色描述符更新所述网格单元来更新所述2d网格单元地图。

2.根据权利要求1所述的方法,其中所述传感器是rgb深度rgbd传感器,并且所述计算设备是机器人设备。

3.根据权利要求1所述的方法,其中所述rgb图像中的所述像素的所述分数是使用深度学习来确定的。

4.根据权利要求1所述的方法,其中所述深度图像中的所述像素的所述法线方向是使用最近邻法线方向来确定的。

5.根据权利要求1所述的方法,其中所述确定所述地平面的步骤包括:

基于所述外在参数来定义候选地平面;并且

基于所述深度图像中的所述像素的所述法线方向来细化所述候选地平面以获得所述地平面。

6.根据权利要求1所述的方法,其中所述确定所述地平面的步骤包括:

基于所述外在参数来定义候选地平面;

基于所述rgb图像中的所述像素的所述分数和所述深度图像中的所述像素的所述法线方向来细化所述候选地平面以获得所述地平面。

7.根据权利要求1所述的方法,其中所述深度图像中的所述像素中的每一个沿着穿过所述像素并垂直于所述地平面的直线投影到所述地平面。

8.根据权利要求1所述的方法,其中所述地平面包括所述3d空间中的真实地平面和平行于所述真实地平面并且位于距所述真实地平面预定距离内的平面。

9.根据权利要求1所述的方法,其中所述颜色描述符包括颜色直方图、颜色梯度和二进制描述符中的至少一个。

10.根据权利要求1所述的方法,还包括:使用多个rgb图像和对应的深度图像来初始化所述2d网格单元地图。

11.一种方法,包括:

通过计算设备的传感器提供红绿蓝rgb图像和三维3d空间的深度图像,所述传感器具有外在参数;

确定所述深度图像中的像素的法线方向;

基于所述外在参数来确定候选地平面;

使用所述法线方向细化所述候选地平面以获得所述地平面;

将所述深度图像中的所述像素投影到所述地平面以形成投影像素;并且

通过将所述地平面定义为网格单元并将颜色描述符归于每个网格单元来生成2d网格单元地图,其中每个网格单元的颜色描述符是基于所述网格单元内的投影像素来计算的。

12.根据权利要求11所述的方法,还包括:当所述2d网格单元地图可用时,通过将新的颜色描述符归于每个网格单元并基于所述新的颜色描述符更新所述2d网格单元地图中的所述对应网格单元来更新所述2d网格单元地图,其中每个网格单元的新的颜色描述符是基于所述网格单元内的投影像素来计算的。

13.根据权利要求11所述的方法,还包括:在确定所述候选地平面之后并且在细化所述候选地平面之前,使用所述rgb图像中的像素的分数来细化所述候选地平面,其中所述分数表示所述rgb图像中的所述像素位于地平面中的可能性。

14.一种非暂时性计算机可读介质,存储有计算机可执行代码,其中所述计算机可执行代码,当在计算设备的处理器处执行时,被配置成执行根据权利要求11所述的方法。

15.一种系统,包括计算设备,所述计算设备具有传感器、处理器和存储计算机可执行代码的存储设备,其中所述计算机可执行代码,当在所述处理器处执行时,被配置成执行根据权利要求11所述的方法。

16.一种用于生成和更新2d网格单元地图的系统,包括计算设备,所述计算设备具有传感器、处理器和存储计算机可执行代码的存储设备,所述计算机可执行代码,当在所述处理器处执行时,被配置成:

通过所述传感器提供红绿蓝rgb图像和三维3d空间的深度图像;

确定所述rgb图像中的像素的分数,其中所述分数表示所述rgb图像中的所述像素位于地平面中的可能性;

确定所述深度图像中的像素的法线方向;

基于所述外在参数、所述分数和所述法线方向来确定所述地平面;

将所述深度图像中的所述像素投影到所述地平面以形成投影像素;

当所述2d网格单元地图不可用时,通过将所述地平面定义为网格单元并将颜色描述符归于每个网格单元来生成所述2d网格单元地图,其中每个网格单元的颜色描述符是基于所述网格单元内的投影像素来计算的;并且

当所述2d网格单元地图可用时,通过将新的颜色描述符归于每个网格单元并基于所述新的颜色更新所述网格单元来更新所述2d网格单元地图。

17.根据权利要求16所述的系统,其中所述传感器是rgbd传感器。

18.根据权利要求16所述的系统,其中所述rgb图像中的所述像素的所述分数是使用深度学习来确定的。

19.根据权利要求16所述的系统,其中所述深度图像中的所述像素的所述法线方向是使用最近邻法线方向来确定的。

20.根据权利要求16所述的系统,其中所述计算机可执行代码被配置成通过以下操作来确定所述地平面:

基于所述外在参数来定义候选地平面;并且

基于所述法线方向细化所述候选地平面以获得所述地平面。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1