用于即时定位与地图构建的设备和方法

文档序号:6164360阅读:259来源:国知局
用于即时定位与地图构建的设备和方法
【专利摘要】一种可移动电子设备,用于在未知环境中进行定位和地图构建,包括:第一传感器,用于以当前位姿获得当前场景的第一图像;第二传感器,用于以当前位姿获得当前场景的第二图像;特征点提取单元,用于利用特征提取算法提取第一图像的特征点和第二图像的特征点;匹配单元,用于将当前场景的特征点与前一场景的特征点进行匹配,并获得由前一场景到当前场景的变换矩阵;定位和地图构建单元,用于基于所述变换矩阵以及相互匹配的特征点,确定所述可移动电子设备相对于前一位姿的变化以进行定位,并将当前场景的图像与已知地图合并。
【专利说明】用于即时定位与地图构建的设备和方法
【技术领域】
[0001]本发明涉及用于即时定位与地图构建的设备和方法,更具体地说,涉及能够改进定位性能的即时定位与地图构建的设备和方法。
【背景技术】
[0002]即时定位与地图构建(SimultaneousLocalization and Mapping, SLAM)是目前在机器人定位方面的热门研究课题。所谓SLAM就是将移动机器人定位与环境地图创建融为一体,即机器人在运动过程中根据自身位姿估计和传感器对环境的感知构建增量式环境地图,同时利用该地图实现自身的定位。
[0003]在机器人定位中,需要足够多的环境特征点来进行精确的定位。基于二维(2D)激光传感器的特征点多采用几何特征,由于激光线采样点有限,导致计算的特征点数目少,匹配的鲁棒性不好。而视觉传感器所提供的图像包含的信息更多,但计算的特征点数量大,另外除了可以获得环境的纹理结构信息,还可以提供颜色信息。

【发明内容】

[0004]鉴于以上情形,本发明提出一种融合激光传感器和视觉传感器的机器人定位设备和方法,从而能够提闻定位精度。
[0005]根据本发明的一个方面,提供了一种可移动电子设备,用于在未知环境中进行定位和地图构建,包括:
[0006]第一传感器,用于以当前位姿获得当前场景的第一图像;
[0007]第二传感器,用于以当前位姿获得当前场景的第二图像;
[0008]特征点提取单元,用于利用特征提取算法提取第一图像的特征点和第二图像的特征点;
[0009]匹配单元,用于将当前场景的特征点与前一场景的特征点进行匹配,并获得由前一场景到当前场景的变换矩阵;
[0010]定位和地图构建单元,用于基于所述变换矩阵以及相互匹配的特征点,确定所述可移动电子设备相对于前一位姿的变化以进行定位,并将当前场景的图像与已知地图合并。
[0011]优选地,在根据本发明实施例的可移动电子设备中,所述匹配单元包括:
[0012]第一图像特征点匹配单元,用于将当前场景的第一图像的特征点与前一场景的第一图像的特征点进行匹配;
[0013]第二图像特征点匹配单元,用于将当前场景的第二图像的特征点与前一场景的第二图像的特征点进行匹配;
[0014]变换矩阵计算单元,用于基于第一图像的匹配特征点,计算由前一场景到当前场景的变换矩阵;
[0015]变换矩阵调整单元,用于向前一场景的第二图像的特征点应用所述变换矩阵,并将变换后的特征点与匹配特征点进行比较,基于比较结果调整所述变换矩阵,以便变换后的特征点与匹配特征点之间的误差最小。
[0016]优选地,在根据本发明实施例的可移动电子设备中,所述第一传感器为二维激光传感器,且所述第二传感器为二维视觉传感器。
[0017]优选地,在根据本发明实施例的可移动电子设备中,所述第一传感器为二维激光传感器,且所述第二传感器为由两个二维视觉传感器构成的三维视觉传感器。
[0018]优选地,在根据本发明实施例的可移动电子设备中,所述第一传感器为由两个二维视觉传感器构成的三维视觉传感器,且所述第二传感器为二维激光传感器。
[0019]根据本发明的另一个方面,提供了一种信息处理方法,用于一可移动电子设备以在未知环境中进行定位和地图构建,包括如下步骤:
[0020]通过第一传感器以当前位姿获得当前场景的第一图像;
[0021]通过第二传感器以当前位姿获得当前场景的第二图像;
[0022]利用特征提取算法提取第一图像的特征点和第二图像的特征点;
[0023]将当前场景的特征点与前一场景的特征点进行匹配,并获得由前一场景到当前场景的变换矩阵;
[0024]基于所述变换矩阵以及相互匹配的特征点,确定所述可移动电子设备相对于前一位姿的变化以进行定位,并将当前场景的图像与已知地图合并。
[0025]优选地,在根据本发明实施例的方法中,将当前场景的特征点与前一场景的特征点进行匹配,并获得由前一场景到当前场景的变换矩阵的步骤包括:
[0026]将当前场景的第一图像的特征点与前一场景的第一图像的特征点进行匹配;
[0027]将当前场景的第二图像的特征点与前一场景的第二图像的特征点进行匹配;
[0028]基于第一图像的匹配特征点,计算由前一场景到当前场景的变换矩阵;
[0029]向前一场景的第二图像的特征点应用所述变换矩阵,并将变换后的特征点与匹配特征点进行比较,基于比较结果调整所述变换矩阵,以便变换后的特征点与匹配特征点之间的误差最小。
[0030]优选地,在根据本发明实施例的方法中,所述第一传感器为二维激光传感器,且所述第二传感器为二维视觉传感器。
[0031]优选地,在根据本发明实施例的方法中,所述第一传感器为二维激光传感器,且所述第二传感器为由两个二维视觉传感器构成的三维视觉传感器。
[0032]优选地,在根据本发明实施例的方法中,所述第一传感器为由两个二维视觉传感器构成的三维视觉传感器,且所述第二传感器为二维激光传感器。
[0033]在根据本发明实施例的用于即时定位与地图构建的设备和方法,由于采用两种不同类型的传感器的特征点融合,因此能够增加特征点数。此外,将其中一种类型传感器的估计结果作为初始值,并利用第二类型的传感器进一步优化,从而能够改进定位能力。
【专利附图】

【附图说明】
[0034]图1是示出了根据本发明实施例的、用于即时定位与地图构建的可移动电子设备的配置的功能性框图;
[0035]图2是示出了图1中的匹配单元的具体配置的功能性框图;[0036]图3是示出了根据本发明实施例的、用于一可移动电子设备以在未知环境中进行定位和地图构建的信息处理方法的过程的流程图;以及
[0037]图4是示出了图3中所示的步骤S303的具体过程的流程图。
【具体实施方式】
[0038]下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述,以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节,但它们只能被看作是示例性的。因此,本领域技术人员将认识到,可对这里描述的实施方式进行各种改变和修改,而不脱离本发明的范围和精神。而且,为了使说明书更加清楚简洁,将省略对本领域熟知功能和构造的详细描述。
[0039]首先,参照图1描述根据本发明实施例的可移动电子设备,其用于在未知环境中进行定位和地图构建。
[0040]如图1所示,可移动电子设备100包括:第一传感器101、第二传感器102、特征点提取单元103、匹配单元104、定位和地图构建单元105。
[0041]这里需要说明的是,第一传感器101和第二传感器102是不同类型的图像传感器,用于以当前位姿获得当前场景的图像。作为一种示例,第一传感器可以是二维激光传感器,其对当前场景中、当前位姿下能够观察到的各个面进行测距,并获得包含深度信息的二维图像,其能够表现当前场景的几何特征,将这样的图像称为激光扫描线图像。举例来说,当所述可移动电子设备进入一个房间后观察到一个墙角时,其在所述激光扫描线图像中表现为相互垂直的两条线段。并且,第二传感器可以是二维视觉传感器(如,摄像头),其获得的第二图像为不包含深度信息的二维图像。仍沿用上面的例子,当所述可移动电子设备进入一个房间后观察到一个墙角时,其在所述二维视觉传感器获得的图像中表现为该墙角的实际空间状态,只是不包括深度信息。当然,可替代地,第二传感器也可以是由两个二维视觉传感器构成的三维视觉传感器。与二维视觉传感器不同的是,三维视觉传感器获得的图像包含深度信息。需要注意的是,上面所列举的第一传感器和第二传感器的示例仅为示意性的,本发明并不仅限于此。本领域的技术人员根据具体情况,可以自由地变换。例如,第一传感器可以是三维视觉传感器,第二传感器可以是二维激光传感器。
[0042]特征点提取单元103接收第一传感器101和第二传感器102获得的第一图像和第二图像,并利用特征提取算法提取第一图像的特征点和第二图像的特征点。
[0043]匹配单元104将当前场景的特征点与前一场景的特征点进行匹配。需要指出的是,随着可移动电子设备的行进,以前一位姿获得的图像和以当前位姿获得的图像之间实际空间位置一致的点由于观察角度的不同导致其在图像中的位置不同。这里所谓的“匹配”是指,将当前场景和前一场景中表示相同的实际空间位置的特征点对应起来。然后,匹配单元104基于匹配的特征点获得由前一场景到当前场景的变换矩阵。
[0044]下面,参照图2描述匹配单元104的具体配置。
[0045]如图2所示,所述匹配单元104包括:第一图像特征点匹配单元1041、第二图像特征点匹配单元1042、变换矩阵计算单元1043和变换矩阵调整单元1044。
[0046]第一图像特征点匹配单元1041接收特征点提取单元103提取的第一图像的特征点,并将当前场景的第一图像的特征点与前一场景的第一图像的特征点进行匹配。[0047]第二图像特征点匹配单元1042接收特征点提取单元103提取的第二图像的特征点,并将当前场景的第二图像的特征点与前一场景的第二图像的特征点进行匹配。
[0048]变换矩阵计算单元1043基于第一图像特征点匹配单元1041获得的第一图像的匹配特征点,计算由前一场景到当前场景的变换矩阵。
[0049]变换矩阵调整单元1044用于对所述变换矩阵计算单元1043获得的变换矩阵进行调整。具体来说,首先,向前一场景的第二图像的特征点应用所述变换矩阵。然后,将变换后的特征点与匹配特征点进行比较。最后,基于比较结果调整所述变换矩阵,以便变换后的特征点与匹配特征点之间的误差最小。简言之,通过第二传感器102获得的第二图像的特征点对变换矩阵进行校正。
[0050]如上文中所述,第一传感器101和第二传感器102为不同类型的传感器,且例如可以是二维激光传感器、二维视觉传感器或三维视觉传感器。这里需要指出的是,由于在两种类型的传感器中,第一传感器101用于初步定位,第二传感器102用于在此基础之上进行修正,因此在选择第一传感器101和第二传感器102的类型时,应该满足如下原则:第一传感器101获得的当前场景的第一图像包含深度信息。
[0051]作为第一示例,所述第一传感器可以为二维激光传感器,且所述第二传感器可以为二维视觉传感器。
[0052]作为第二示例,所述第一传感器可以为二维激光传感器,且所述第二传感器可以为由两个二维视觉传感器构成的三维视觉传感器。
[0053]作为第三示例,所述第一传感器可以为由两个二维视觉传感器构成的三维视觉传感器,且所述第二传感器可以为二维激光传感器。
[0054]定位和地图构建单元105接收匹配单元104获得的相互匹配的特征点以及变换矩阵,并基于相互匹配的特征点以及变换矩阵,确定所述可移动电子设备相对于前一位姿的变化以进行定位,并将当前场景的图像与已知地图合并。
[0055]上文中参照图1到图2描述了根据本发明实施例的、用于在未知环境中进行定位和地图构建的可移动电子设备,其中,通过第一传感器和第二传感器的特征点融合,增大了特征点数量,并通过第一传感器初步定位、第二传感器优化定位,进一步改进了定位能力。
[0056]在下文中,将参照图3描述根据本发明实施例的、用于一可移动电子设备以在未知环境中进行定位和地图构建的信息处理方法。
[0057]如图3所示,所述方法包括如下步骤:
[0058]首先,在步骤S301,通过第一传感器以当前位姿获得当前场景的第一图像;并通过第二传感器以当前位姿获得当前场景的第二图像。
[0059]然后,在步骤S302,利用特征提取算法提取第一图像的特征点和第二图像的特征点。
[0060]接下来,在步骤S303,将当前场景的特征点与前一场景的特征点进行匹配,并获得由前一场景到当前场景的变换矩阵。
[0061]然后,在步骤S304,基于所述变换矩阵以及相互匹配的特征点,确定所述可移动电子设备相对于前一位姿的变化以进行定位,并将当前场景的图像与已知地图合并。
[0062]下面,参照图4具体描述步骤S303的具体过程。
[0063]如图4所示,步骤S303包括如下步骤:[0064]首先,在步骤S3031,将当前场景的第一图像的特征点与前一场景的第一图像的特征点进行匹配,并将当前场景的第二图像的特征点与前一场景的第二图像的特征点进行匹配。
[0065]然后,在步骤S3032,基于第一图像的匹配特征点,计算由前一场景到当前场景的变换矩阵。
[0066]接着,在步骤S3033,向前一场景的第二图像的特征点应用所述变换矩阵,并将变换后的特征点与匹配特征点进行比较,基于比较结果调整所述变换矩阵,以便变换后的特征点与匹配特征点之间的误差最小。
[0067]如上文中所述,第一传感器和第二传感器是两种不同类型的传感器,并且作为第一示例,所述第一传感器可以为二维激光传感器,且所述第二传感器可以为二维视觉传感器;或者作为第二示例,所述第一传感器可以为二维激光传感器,且所述第二传感器可以为由两个二维视觉传感器构成的三维视觉传感器;或者作为第三示例,所述第一传感器为由两个二维视觉传感器构成的三维视觉传感器,且所述第二传感器为二维激光传感器。
[0068]以上参照图3到图4描述了根据本发明实施例的用于即时定位与地图构建的方法,由于其与根据本发明实施例的用于即时定位与地图构建的可移动电子设备完全对应,因此为了简明起见,关于其具体细节不再赘述。
[0069]在上文中,已经参照附图详细描述了根据本发明实施例的用于即时定位与地图构建的设备和方法。概括来说,本发明的要点在于,获取新场景的激光扫描线和图像后,利用特征提取算法提取激光扫描线的几何特征和图像的特征,并将这些特征放在当前场景对应的节点内;然后,利用特征检索算法,找到与当前节点匹配的历史节点;通过激光扫描线的几何特征计算出当前节点与历史节点间的初始位置关系;并利用多视图像特征满足的几何关系(极化约束)进一步优化该初始位置关系。
[0070]通过根据本发明的设备和方法,可以实现如下优点:首先,激光的快速性和精确性得到保留;其次,环境的特征点数得到丰富,有激光扫描线的特征,也有图像特征,可改进机器人定位的鲁棒性;最后,图像特征满足的几何约束可以用来优化激光特征的定位结果,从而能够进一步提闻定位精度。
[0071]需要说明的是,在本说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0072]最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
[0073]通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过软件来实施。基于这样的理解,本发明的技术方案对【背景技术】做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如R0M/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分 所述的方法。[0074]以上对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在【具体实施方式】及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种可移动电子设备,用于在未知环境中进行定位和地图构建,包括: 第一传感器,用于以当前位姿获得当前场景的第一图像; 第二传感器,用于以当前位姿获得当前场景的第二图像; 特征点提取单元,用于利用特征提取算法提取第一图像的特征点和第二图像的特征占.匹配单元,用于将当前场景的特征点与前一场景的特征点进行匹配,并获得由前一场景到当前场景的变换矩阵; 定位和地图构建单元,用于基于所述变换矩阵以及相互匹配的特征点,确定所述可移动电子设备相对于前一位姿的变化以进行定位,并将当前场景的图像与已知地图合并。
2.根据权利要求1所述的可移动电子设备,其中所述匹配单元包括: 第一图像特征点匹配单元,用于将当前场景的第一图像的特征点与前一场景的第一图像的特征点进行匹配; 第二图像特征点匹配单元,用于将当前场景的第二图像的特征点与前一场景的第二图像的特征点进行匹配; 变换矩阵计算单元,用于基于第一图像的匹配特征点,计算由前一场景到当前场景的变换矩阵; 变换矩阵调整单元,用于向前一场景的第二图像的特征点应用所述变换矩阵,并将变换后的特征点与匹配特征点进行比较,基于比较结果调整所述变换矩阵,以便变换后的特征点与匹配特征点之间的误差最小。
3.根据权利要求2所述的可移动电子设备,其中所述第一传感器为二维激光传感器,且所述第二传感器为二维视觉传感器。
4.根据权利要求2所述的可移动电子设备,其中所述第一传感器为二维激光传感器,且所述第二传感器为由两个二维视觉传感器构成的三维视觉传感器。
5.根据权利要求2所述的可移动电子设备,其中所述第一传感器为由两个二维视觉传感器构成的三维视觉传感器,且所述第二传感器为二维激光传感器。
6.一种信息处理方法,用于一可移动电子设备以在未知环境中进行定位和地图构建,包括如下步骤: 通过第一传感器以当前位姿获得当前场景的第一图像; 通过第二传感器以当前位姿获得当前场景的第二图像; 利用特征提取算法提取第一图像的特征点和第二图像的特征点; 将当前场景的特征点与前一场景的特征点进行匹配,并获得由前一场景到当前场景的变换矩阵; 基于所述变换矩阵以及相互匹配的特征点,确定所述可移动电子设备相对于前一位姿的变化以进行定位,并将当前场景的图像与已知地图合并。
7.根据权利要求6所述的信息处理方法,其中将当前场景的特征点与前一场景的特征点进行匹配,并获得由前一场景到当前场景的变换矩阵的步骤包括: 将当前场景的第一图像的特征点与前一场景的第一图像的特征点进行匹配; 将当前场景的第二图像的特征点与前一场景的第二图像的特征点进行匹配; 基于第一图像的匹配特 征点,计算由前一场景到当前场景的变换矩阵;向前一场景的第二图像的特征点应用所述变换矩阵,并将变换后的特征点与匹配特征点进行比较,基于比较结果调整所述变换矩阵,以便变换后的特征点与匹配特征点之间的误差最小。
8.根据权利要求7所述的信息处理方法,其中所述第一传感器为二维激光传感器,且所述第二传感器为二维视觉传感器。
9.根据权利要求7所述的信 息处理方法,其中所述第一传感器为二维激光传感器,且所述第二传感器为由两个二维视觉传感器构成的三维视觉传感器。
10.根据权利要求7所述的信息处理方法,其中所述第一传感器为由两个二维视觉传感器构成的三维视觉传感器,且所述第二传感器为二维激光传感器。
【文档编号】G01C21/32GK103900583SQ201210573191
【公开日】2014年7月2日 申请日期:2012年12月25日 优先权日:2012年12月25日
【发明者】刘国良, 张贺, 李南君 申请人:联想(北京)有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1