一种长周期移动机器人定位方法、系统、设备及介质

本发明涉及图像处理，特别是涉及一种长周期移动机器人定位方法、系统、设备及介质。

背景技术：

1、在变化环境中实现长周期的移动机器人稳定定位是移动机器人能保持长期稳定作业的关键。目前对移动机器人的定位主要还是基于预先构建的地图，针对环境变化的问题，一般采用人工或自动定时定点更新地图的方式。

2、其中，自动地图更新技术是目前应对环境变化的主流技术，这种地图更新技术一般需要一段时间的迭代来确定环境的真实变化，不适合变化较频繁的物流仓储等场景。

3、针对频繁发生变化的场景，有些方法通过增加传感器来获取环境中的更多信息，或使用特定的环境标记来增加预构建地图中的不变性特征，以保证地图的长期可靠性，但是这种方式往往会提高部署成本且某些限制区域不易部署。

技术实现思路

1、为了解决上述问题，本发明提出了一种长周期移动机器人定位方法、系统、设备及介质，通过实时监测环境中变化的语义信息进行语义占用地图的更新和辅助移动机器人定位，动态即时的更新环境中的语义信息，解决变化环境下的移动机器长周期定位问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种长周期移动机器人定位方法，包括：

4、获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；

5、估计机器人在当前场景下的位姿及位置，以此构建栅格地图；

6、将场景语义占用信息映射到栅格地图中，构建语义占用地图；

7、根据机器人在移动过程中视野内的场景图像和场景点云，确定实体语义信息和对应的点云信息，通过与语义占用地图的对比确定变化区域和定位约束残差，根据变化区域计算联合信息熵，通过联合信息熵结合定位约束残差对语义占用地图进行更新；

8、采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。

9、作为可选择的实施方式，栅格地图的构建包括：从场景图像中提取环境关键点，通过特征匹配算法匹配环境关键点以及里程计和imu数据来估计机器人位姿，并确定机器人位置，通过不断迭代更新，完成栅格地图的构建。

10、作为可选择的实施方式，定位机器人位置的过程中，根据场景图像估计当前视野内的所有实体的语义信息，通过语义信息与语义占用地图进行匹配得到变化区域，将变化区域映射到栅格地图中并进行剔除。

11、作为可选择的实施方式，对剔除变化区域的栅格地图，结合激光点云的扫描匹配定位机器人位姿。

12、作为可选择的实施方式，定位约束残差包括点云信息及实体语义信息在与语义占用地图进行对比时的空间位置差异和角度或姿态差异；通过联合信息熵结合定位约束残差对语义占用地图进行更新的过程包括：联合信息熵为：，其中，x为当前实体语义信息与历史语义占用信息对比发生变化的情况，y为当前点云信息与历史栅格占用信息对比发生变化的情况，表示上述两种情况发生的联合概率，，、分别为当前实体语义信息和当前点云信息与语义占用地图进行对比时发生变化的概率；具体为：

13、；；；；其中，、为分配系数；a、b为中间参数，、分别为历史语义占用地图中的实体语义信息及点云信息数量；、分别为与历史语义占用地图对比时匹配的实体语义信息及点云信息数量；为当前实体语义信息数量；max()为取最大值函数；min()为取最小值函数；

14、当联合信息熵大于第一设定阈值时，不更新语义占用地图；当联合信息熵小于第一设定阈值时，比较定位约束残差与第二设定阈值，若定位约束残差小于第二设定阈值，则定位无跳变，进行语义占用地图的更新；否则判断此时机器人发生定位跳变，则不执行语义占用地图的更新。

15、作为可选择的实施方式，对语义占用地图进行更新的过程中，在机器人移动过程中累计多个位置不同角度的多帧场景图像来判断当前场景中的物体是否变化；根据机器人在移动过程中视野内的场景点云，对栅格地图进行更新，由此结合更新后的场景语义占用信息完成对语义占用地图的更新。

16、作为可选择的实施方式，该方法还包括对相机和激光雷达的外参进行标定，具体的：

17、将二维码设于反光柱正上方，使二者中心在水平面上的投影重合；

18、估计相机在二维码中的位姿，并将该位姿投影到水平面上，记；

19、根据激光雷达的点云光强筛选所有反光柱点云，使用平均点云计算每个反光柱中心及其法向量，根据所有反光柱位姿拟合激光雷达位姿，记；

20、构建相机和激光雷达与二维码和反光柱之间的约束，并求解得到相机与激光雷达之间的最优外参，约束为：。

21、第二方面，本发明提供一种长周期移动机器人定位系统，包括：

22、语义占用确定模块，被配置为获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；

23、栅格地图构建模块，被配置为估计机器人在当前场景下的位姿及位置，以此构建栅格地图；

24、语义占用地图构建模块，被配置为将场景语义占用信息映射到栅格地图中，构建语义占用地图；

25、地图更新模块，被配置为根据机器人在移动过程中视野内的场景图像和场景点云，确定实体语义信息和对应的点云信息，通过与语义占用地图的对比确定变化区域和定位约束残差，根据变化区域计算联合信息熵，通过联合信息熵结合定位约束残差对语义占用地图进行更新；

26、定位模块，被配置为采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。

27、第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

28、第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

29、与现有技术相比，本发明的有益效果为：

30、本发明提出一种基于语义占用估计的长周期移动机器人定位方法及系统，解决变化环境下的移动机器长周期定位问题。首先通过基于视觉的3d语义占用估计方法推断场景几何体，然后将带语义信息的几何体与2d栅格地图进行融合，获得带语义占用地图，最后通过实时监测环境中变化的语义信息进行语义占用地图的更新和辅助移动机器人定位，动态即时的更新环境中的语义信息，以达到提高长期定位稳定性的目的，不需要对现有场景重新部署，不会增加额外的部署成本，同时能有效提高动态环境中的长期定位稳定性。

31、由于环境变化往往是导致移动机器人定位丢失的一个重要因素，本发明利用环境中的语义信息构建带语义占用信息的地图，并在移动机器人定位的过程中，通过将当前的语义信息与原始的带语义占用信息的地图进行对比，在环境中找出发生变化的区域，然后排除这些变化区域对移动机器人定位的干扰，能有效地提高定位精度和定位稳定性。对于一个逐渐变化的场景，在机器人运行过程中实时检测发生变化的语义占用区域，并对语义占用地图进行实时更新能有效地保持地图的长期可靠性。

32、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。