一种基于语义光束平差法的slam方法

一种基于语义光束平差法的slam方法
【专利摘要】本发明提供了一种基于语义光束平差法的SLAM方法，属于移动机器人同步定位与地图创建(SLAM)领域。其特征在于：本发明所述的方法通过新的语义上的全局的优化来联合6DOF物体和相机姿态，可以在2D或者3D传感器下工作。由于添加了语义上的信息，目标检测通道无需外设，就可以无缝的整合到任何基于BA的SLAM系统的BA类型优化系统中。本发明所述的方法简单、易实现，并且具有很强的实用性，SLAM约束可以被用于健壮的目标检测，可以适应更复杂的环境。
【专利说明】
-种基于语义光束平差法的SLAM方法
技术领域
[0001] 本发明设及一种基于语义光束平差法SLAM(simultaneous localization and mapping)方法，属于移动机器人同步定位与地图创建（SLAM)领域。
【背景技术】
[0002] 视觉的SLAM(同时定位和地图构建）问题设及到逐渐的重构地图和同时只根据视 觉线索定位传感装置的能力。在过去十年里，随着如AR(增强现实技术）和机器导航和构 图等更有效的工具的应用，运个领域有着卓越的进步。
[0003] 传统SLAM问题的解决方式是基于如卡尔曼滤波器一样的滤波技术，运用运种方 式，视觉的特征是根据帖和它们的估计出的3D位置和不确定的摄像机位置来追踪的。由于 只有很小部分的图像像素被追踪，所W运个方法只能创建稀疏地图。作为一种选择，视觉的 SLAM问题可W通过优化携带一系列选定的帖的子集的BA(光束平差法）来解决。近年来， 各种各样的基于BA模式的方法相继问世。一个成功的BA模式是PTAM(并行的跟踪和地图 构建）。运种方式提出了一种分开SLAM问题为2个并行的相关的任务：一个任务是根据当 前评估的标志位置来跟踪摄像机；另一个负责管理选定的关键帖的全局优化。由于复杂性 随着环境中提取出来的特征的数量而迅猛增加，PTAM只能够在很小的空间中使用。为了克 服运个缺陷，对运个方案进行优化，不考虑整个的过去的追踪的关键帖，而是其中的一小部 分，从而使算法达到一个常量的时间复杂度。
[0004] 由于跟踪和构图任务已经达到一定程度的成熟，在视觉SLAM过程中，没有一个曾 经的方法能够无缝的解决和提取语义上的信息。目前已经有了一些基于SLAM框架的算法， 大多数是在一个视角上进行目标检测，并不检测多视图的一致性。有些方案中尽管检测方 案和SLAM框架精密结合，但并没有试图估算出目标物体的实际位置；其余的利用几何信息 来连续的目标检测，但是没有有效的利用原来的探测出的物体来构建已知地图；还有一些 算法，使用标准的基于特征的管道来检测物体并使用估计相对姿势来做位置表述，它们运 用激光和测程数据来探测地图上的物体，但是运种算法仍然没有把物体与摄像机的位置进 行合并评估；有些算法虽然使用了联合检测结果和重建的方式，但是要么是仅仅限于汽车 和行人并假定了环境和摄像机的位置，要么是提出了需要校准相机小基线的共同像素标签 和密集的立体重现方法；一种基于运动技巧的语义上的结构，评估了摄像头姿势的问题并 从一系列的图像序列中识别物体，但是当算法算延伸SFM检测器并立即创建所有帖时，必 须借助一个外部的物体探测器来创建假说和度量。

【发明内容】

[0005] 本发明的目的在于针对上述技术存在的缺陷，提出了一种基于语义光束平差法 SLAM方法，本方法在进行低缔度抽象时，度量方法是评估输人帖和一个特征库的特征一致 性。更重要的是，由于添加了语义上的信息，目标检测通道无需外设，就可W无缝的整合到 任何基于BA的SLAM系统的BA类型优化系统中。
[0006] 本发明是通过如下方式实现的：一种基于语义光束平差法SLAM方法，包括w下步 骤：
[0007] 步骤1、确定检测目标的一系列特征，对每个检测目标建立模型数据库。
[0008] 步骤2、随着一个新帖的可用，对新帖提取描述特征并与模型数据库相匹配，然后 为每个给定的检测目标创建确定图。
[0009] 步骤3、验证步骤2中的确定图，去除错误边缘，保留正确边缘；依赖一个上一次全 局优化得到的全局的加权平均差I作为在下一个目标检测过程中的验证阔值：
[0010]
W11] 假设，权重Wi，的表达式可W被分为所有的边缘；
[0012] 步骤3. 1、对于2D特征匹配方案，从帖顶点到标志顶点与阔值比较，满足W下公 式，则去掉边缘：
[0013]
[0014] h(o，n)表示第η个特征点在第0个物体上有关的标志顶点的索引，α是一个给定 的参数，范围在4-9之间；如果帖到标志边缘的移动离开了只依附在物体上的标志顶点，需 要删除物体到标志的边缘；
[0015] 步骤3. 2、对于3D特征匹配，每个帖到物体的边缘与阔值比较，满足如下公式，贝U 去掉边缘：
[0016]
[0017] 步骤4、在确定正确的语义边缘后，根据边缘的阔值评估是否将确定图加入全局 图。
[0018] 步骤5、查看是否有新帖出现，若无新帖出现，则完成全局图优化；若有新帖出现， 则返回步骤2,重新执行步骤2到步骤5。
[0019] 其中，边缘的阔值评估方法如下：
[0020] 运个过程可W使确定图处于3个不同的状态，通过语义边缘的最终数字成。和2个 阔值rif和η t(nf<nt)比较而定义；
[0021] 如果成。< η f，目标被定为错误检测，运个确定图被删除并且将检测目标从全局图 移除；
[00巧如果Nw<nt，目标检测是模棱两可的，确定图被保存等待更多的视觉线索， 但是该检测目标被移除出全局图； 阳02引如果成。> η t，目标被检测并添加到全局图。
[0024] 本发明有益效果是： 阳0巧]1、本发明所述的方法通过新的语义上的全局的优化来联合抓OF化个方向自由 度，即沿立个方向的平动W及绕立个轴的转动）物体和相机姿态，由于W上特点，该方法可 W在2D或者3D传感器下工作。
[0026] 2、由于添加了语义上的信息，目标检测通道无需外设，就可W无缝的整合到任何 基于光束平差法的SLAM系统光束平差法类型优化系统中。
[0027] 3、本发明所述的方法简单、易实现，并且具有很强的实用性，SLAM约束可W被用于 健壮的目标检测，可W适应更复杂的环境。
【附图说明】
[0028] 图1是本发明所述的基于语义光束平差法的SLAM方法流程图
【具体实施方式】
[0029] 下面结合附图对本发明作进一步的描述。
[0030] 本发明是通过如下方式实现的：一种基于语义光束平差法SLAM方法，包括W下步 骤：
[0031] 步骤1、确定检测目标的一系列特征，对每个检测目标建立模型数据库：如果整个 3D的模型是可得到的，3D关键点检测子和描述子就可W使用；否则，该模型需要使用一堆 标准化的图片和提供需要特征的2D关键点检测子和描述子；特征描述子被保存为未来的 匹配；然后，对于特征位置，对于前者保存3D坐标，对于后者保存2D图片坐标和它们相关的 视角姿势。
[0032] 步骤2、随着一个新帖的可用，对新帖提取描述特征并与模型数据库相匹配，然后 为每个给定的检测目标创建确定图；对于模型和帖两者，通过内置的形状信号检测器在3 个不同的尺度提取3D关键点，然后由旋转图像描述运些关键点；对于每一个尺度，在该尺 度上创建一个包含所有模型的描述符的索引，在该尺度上执行一个基于欧式距离的k邻近 捜索；最终计算加权平均差。
[0033] 步骤2. 1、如果2D特征匹配，则在运个代价函数中创建一个新的代表运个路标未 知3D位置和一系列的边缘来包含他的投影误差，比如考虑到某个对应位置x4,第η个目标 特征的路标位置，相关的约束条件如W下公式：
[0034]
[00对其中，織表示从第0个物体上学习到的第η个特征点，pjf'表示第i个帖在可 能性sjK下匹配的2D特征点，Vi Μ旋转和平移r e R3来应用当前的姿势估算第i个顶点。
[0036] 步骤2. 2、当步骤2. 1中所述的Vi关系到一个物体姿势，运个图片平面是训练时获 取的物体的标准视图的一个，所W重投影通过已知物体参考帖和视图参考帖之间的刚性变 换所约束，运时，步骤2. 1)中公式的约束可W如下公式表示：
[0040] 步骤2. 3、当3D特化可用时，直接连接摄像头帖和更多物体，因此，如果Γη; j是代表 i特征和j特征相匹配，已知Pr (mj = Sik和Pr (m .jk) = s.jk，假定niik和m .jk是独立的并且满 足如下公式：
[0041 ]
[00创那么Pr (m。）= Sik*s，k,现在雜和接if代表了孤特征。
[0043] 步骤3、验证步骤2中的确定图，去除错误边缘，保留正确边缘；依赖一个上一次全 局优化得到的全局的加权平均差f作为在下一个目标检测过程中的验证阔值：
[0044]
[0045] 假设，权重Wi,的表达式可W被分为所有的边缘；
[0046] 步骤3. 1、对于2D特征匹配方案，从帖顶点到标志顶点去掉边缘，满足公式如下：
[0047]
W48] h(o, η)表示第η个特征点在第0个物体上有关的标志顶点的索引，α为7 ;如果 帖到标志边缘的移动离开了只依附在物体上的标志顶点，需要删除物体到标志的边缘。 [0049] 步骤3. 2、对于3D特征匹配方案，与阔值比较每个帖到物体的边缘，边缘将被抹 去，依据如下公式： 阳化0]
[0051] 步骤4、在确定正确的语义边缘后，根据边缘的阔值评估是否将确定图加入全局 图：首先使确定图处于3个不同的状态，通过语义边缘的最终数字成。和2个阔值η f和 nt(nf<nt)比较而定义。
[0052] 如果成。< η f，目标被定为错误检测，运个确定图被删除并且将检测目标从全局图 移除；
[005引如果Nw<nt，目标检测是模棱两可的，确定图被保存等待更多的视觉线索， 但是该检测目标被移除出全局图； 阳054] 如果成。> η t，目标被检测并添加到全局图。
[0055] 其中，2个阔值rif和η t的值不是特定的，因为在每帖，新的假说的验证受到前面 提取的特征匹配的约束，而且最终的评估只保持最好的边界，因此，一个更高的η f可能会 跳过只在几个视图中的匹配的高度阻挡的物体，而差δ = nt- rif是关于运个验证程序的 健壮性：δ越高表明不同帖的一致性越要被检测，但是最少的错误会被传递到全局图并且 可能被在下面的帖中删除。
[0056] 其中，步骤4中所述的全局图为语义上的全局图，包括：① SLAM引擎中得到的带有 帖到帖约束的所有摄像机的姿势顶点；②验证过程成功的所有物体的姿势顶点；③所有帖 到标志和物体到标志的约束，运些约束，在2D特征匹配上，或者是帖到物体和虚帖到帖的 约束，在3D的特征匹配，则是来自于删除的物体的验证图。
[0057] W上所述仅为本发明的较佳实施例而已，并不用W限制本发明，凡在本发明的精 神和原则之内的所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于语义光束平差法的SLAM方法，其特征在于，包括W下步骤： 步骤1、确定检测目标的一系列特征，对每个检测目标建立模型数据库； 步骤2、随着一个新帖的可用，对新帖提取描述特征并与模型数据库相匹配，然后为每 个给定的检测目标创建确定图； 步骤3、验证步骤2中的确定图，去除错误边缘，保留正确边缘；依赖一个上一次全局优 化得到的全局的加权平均差§作为在下一个目标检测过程中的验证阔值：假设，权重Wu的表达式可W被分为所有的边缘； 步骤3. 1、对于2D特征匹配方案，从帖顶点到标志顶点与阔值比较，满足W下公式，贝U 去掉边缘：h(o，n)表示第n个特征点在第O个物体上有关的标志顶点的索引，a是一个给定的参 数，范围在4-9之间；如果帖到标志边缘的移动离开了只依附在物体上的标志顶点，需要删 除物体到标志的边缘； 步骤3. 2、对于3D特征匹配，每个帖到物体的边缘与阔值比较，满足如下公式，则去掉 边缘：步骤4、在确定正确的语义边缘后，根据边缘的阔值评估是否将确定图加入全局图。 步骤5、查看是否有新帖出现，若无新帖出现，则完成全局图；若有新帖出现，则返回步 骤2,重新执行步骤2到步骤5。2. 根据权利要求1所述的基于语义光束平差法的SLAM方法，其特征在于：所述步骤4 中边缘的阔值评估方法如下： 首先使确定图处于3个不同的状态，通过语义边缘的最终数字Nw和2个阔值n f和 nt(nf<nt)比较而定义； 如果成。< n f，目标被定为错误检测，运个确定图被删除并且将检测目标从全局图移 除； 如果n N w< n t，目标检测是模棱两可的，确定图被保存等待更多的视觉线索，但是 该检测目标被移除出全局图； 如果成。> n t，目标被检测并添加到全局图。
【文档编号】G06T7/00GK105989586SQ201510050181
【公开日】2016年10月5日
【申请日】2015年3月4日
【发明人】廖鸿宇, 孙放
【申请人】北京雷动云合智能技术有限公司