一种基于识别阵列边界的移动机器人定位方法与流程

本发明涉及一种基于识别阵列边界的移动机器人定位方法。

背景技术：

目前移动机器人的定位技术主要基于五种方法，gnss(globalnavigationstatellitesystem，全球卫星导航系统)和rtk(realtimekinematic)、惯性导航(陀螺仪、加速度计)、轮速计、激光slam、视觉slam。gnss利用卫星信号进行定位，可以配合惯性导航一起使用，定位精度在米级。通过rtk利用基站进行修正，定位精度可以达到厘米级。这种方法只能在室外使用，且易受场景(如高楼、隧道等)、信号强度的影响。轮速计通常配合惯性导航一起使用，这种方法不依赖外部环境，但随着时间的变化，定位结果与实际结果会产生较大的偏移。激光slam，利用激光获取的点云进行定位，既可以获取里程计式的相对定位，也可以建立地图后，通过匹配进行地图定位。视觉slam，类似激光slam，将其中用于定位的激光点云换成了由图像像素产生的图像点云。

在现有的移动机器人定位技术中大多数无法用于玻璃阵列场景下移动机器人的导航任务。玻璃场景下，机器人通常在竖直平面上工作，这一点使得gnss系统完全失效。同时在室外玻璃场景下，如高楼的玻璃外墙环境，机器人通常处于空旷的玻璃平面上，这一点使得基于激光的定位系统失效。基于惯性导航和轮速计的定位系统虽然没有完全失效，但无法解决机器人打滑后的定位问题(这一点在玻璃幕墙场景下时常发生)，且长时间工作后会产生较大漂移。因此这种方法只能产生一个局部的短暂可用的定位信息。

一般来说，可以通过视觉slam为机器人提供一个全局的、无漂的定位信息来解决这些问题。但传统的视觉slam技术基于场景图像的特征点进行定位建图，在玻璃场景下，图像的相似度较高，且特征信息较为稀疏，无法直接获取到有用的定位信息，得不到较好的建图定位的效果。

总的来说，目前尚没有良好适用于玻璃阵列场景以及光伏阵列场景的移动机器人定位技术，业界大部分用于玻璃阵列场景以及光伏阵列场景的机器人不具备定位功能，而是采用传统的控制方式进行作业，少部分采用轮式编码器配合惯性测量单元的方式进行定位。但由于作业平面外部条件因素不同，机器人在作业平面上行走时打滑的情况不同(打滑在玻璃平面以及光伏平面都时常发生)，这将导致轮式编码器无法获得准确的里程信息。同时惯性测量单元提供的姿态信息会随时间以及温度的变化会产生漂移，导致移动机器人的里程信息随之漂移。因此该种方式在车轮打滑后会完全失效，无法适应一些复杂场景，移动机器人无法较好的完成点到点的导航需求，且有一定安全隐患。

技术实现要素：

鉴于现有技术中存在的上述问题，本发明的主要目的在于提供一种基于识别阵列边界的移动机器人定位方法。

本发明的技术方案是这样的：

一种基于识别阵列边界的移动机器人定位方法，所述阵列包括玻璃阵列和光伏阵列，所述移动机器人包括机身，所述机身包括底盘以及支撑框架，其特征在于，通过预先构建环境地图，并根据环境地图进行匹配得到视觉定位，然后通过轮式里程融合视觉定位得到移动机器人的全局定位，包括以下步骤：

s1：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的imu数据，得到移动机器人的姿态信息；

s2：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；

s3：通过设置在移动机器人上的多个摄像头，获取移动机器人所处环境的多角度图像数据，然后通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的各摄像头的参数获取像素平面到机器人坐标系的坐标变换，将图像中的边界数据投影到机器人坐标系；

s4：通过步骤s2中得到的移动机器人的轮式里程，获取移动机器人在当前里程一定范围内所处环境地图中的阵列边界数据；

s5：将当前观测到的机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，而后将获取到的移动机器人所处单块阵列的边界数据与获取到的环境地图中存放的阵列边界数据进行匹配，计算二者之间的重投影误差，再通过非线性优化得到使重投影误差最小的移动机器人的视觉定位；

s6：通过扩展卡尔曼滤波器将步骤s2得到的轮式里程和步骤s5得到的视觉定位进行融合即可得到移动机器人最终的定位。

所述机身还包括固定板以及上盖，所述支撑框架固定设置在所述底盘上，所述固定板固定设置在所述支撑框架的上端，所述上盖包覆设置在所述固定板上。

所述底盘上位于左侧和右侧的位置均设置有行走机构，所述移动机器人在所述行走机构的驱动下进行移动。

预先构建环境地图，具体包括以下步骤：

s01：传感器标定，对惯性测量单元和多个摄像头的参数进行标定；

s02：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的imu数据，得到移动机器人的姿态信息；

s03：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；

s04：通过设置在移动机器人上的多个摄像头，获取移动机器人的所处环境的多角度图像数据，通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的多个摄像头的参数获取像素平面到机器人坐标系的坐标变换，并将图像中的边界数据投影到机器人坐标系；

s05：将机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，并将数据进行存储，以此构建基于边界数据的环境地图。

步骤s01中，对设置在移动机器人上的惯性测量单元和多个摄像头的参数进行标定，具体包括惯性测量单元数据的初始零偏和随机游走误差，以及各个摄像头的内部参数和外部参数。

在预先构建环境地图的过程中，同时进行回环检测，若检测到回环便对环境地图进行相应的矫正。

所述行走机构包括驱动电机、驱动轮、橡胶履带、张紧轮以及同步轮，其中：所述驱动电机的输出轴与所述驱动轮固定连接，所述驱动轮在所述驱动电机的驱动下进行转动；所述驱动轮通过所述橡胶履带驱动所述同步轮进行转动，所述驱动轮与所述同步轮之间设置有多个所述张紧轮。

所述底盘上位于左侧和右侧的位置分别设置有第一定位通孔和第二定位通孔，且所述第一定位通孔和第二定位通孔中均设置有一所述橡胶履带。

所述支撑框架包括第一支撑板、第二支撑板、第三支撑板以及第四支撑板，其中：所述第一支撑板沿长度方向设置在所述底盘的左侧壁，所述第二支撑板沿长度方向设置在所述底盘的前侧壁，所述第三支撑板沿长度方向设置在所述底盘的右侧壁，所述第四支撑板设置在所述底盘的后侧壁。

所述第一支撑板、第二支撑板、第三支撑板以及第四支撑板的高度均相同，且所述第一支撑板、第二支撑板、第三支撑板以及第四支撑板为一体成型。

本发明具有以下优点和有益效果：本发明实施例的基于识别阵列边界的移动机器人定位方法，阵列包括玻璃阵列和光伏阵列，移动机器人包括机身，机身包括底盘以及支撑框架，通过预先构建环境地图，并根据环境地图进行匹配得到视觉定位，然后通过轮式里程融合视觉定位得到移动机器人的全局定位，包括以下步骤：s1：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的imu数据，得到移动机器人的姿态信息；s2：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；s3：通过设置在移动机器人上的多个摄像头，获取移动机器人所处环境的多角度图像数据，然后通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的各摄像头的参数获取像素平面到机器人坐标系的坐标变换，将图像中的边界数据投影到机器人坐标系；s4：通过步骤s2中得到的移动机器人的轮式里程，获取移动机器人在当前里程一定范围内所处环境地图中的阵列边界数据；s5：将当前观测到的机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，而后将获取到的移动机器人所处单块阵列的边界数据与获取到的环境地图中存放的阵列边界数据进行匹配，计算二者之间的重投影误差，再通过非线性优化得到使重投影误差最小的移动机器人的视觉定位；s6：通过扩展卡尔曼滤波器将步骤s2得到的轮式里程和步骤s5得到的视觉定位进行融合即可得到移动机器人最终的定位；通过上述设计，也即本发明为在玻璃阵列场景以及光伏阵列场景下工作的移动机器人，提供一个全局可靠且无偏的定位信息，使得移动机器人可以高效且准确的完成玻璃阵列场景以及光伏阵列场景下进行点到点定位的任务，进而完成一些基于点到点定位的高层次任务，如玻璃幕墙以及光伏阵列的覆盖清洁作业等。

附图说明

图1为本发明实施例提供的移动机器人在光伏阵列场景中进行定位的立体结构示意图。

图2为图1中移动机器人去掉外壳的放大立体结构示意图。

图3为本发明实施例提供的移动机器人在竖直分布的玻璃阵列场景中玻璃的外侧表面进行定位的立体结构示意图。

图4为图3中移动机器人去掉外壳的放大立体结构示意图。

图5为本发明实施例提供的移动机器人在水平分布或倾斜分布的玻璃阵列场景中玻璃的上表面进行定位的立体结构示意图。

图6为图5中移动机器人去掉外壳的放大立体结构示意图。

图7为本发明实施例提供的移动机器人去掉外壳、固定板以及多个摄像头后的放大俯视结构示意图。

具体实施方式

下面将参照附图和具体实施例对本发明作进一步的说明。

如图1至图7所示：本发明实施例提供的基于识别阵列边界的移动机器人定位方法，所述阵列包括玻璃阵列和光伏阵列，所述移动机器人包括机身100，所述机身100包括底盘101以及支撑框架，所述阵列包括玻璃阵列和光伏阵列，所述移动机器人包括机身，所述机身包括底盘以及支撑框架，其特征在于，通过预先构建环境地图，并根据环境地图进行匹配得到视觉定位，然后通过轮式里程融合视觉定位得到移动机器人的全局定位，包括以下步骤：

s1：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的imu数据，得到移动机器人的姿态信息；

s2：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；

s3：通过设置在移动机器人上的多个摄像头，获取移动机器人所处环境的多角度图像数据，然后通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的各摄像头的参数获取像素平面到机器人坐标系的坐标变换，将图像中的边界数据投影到机器人坐标系；

s4：通过步骤s2中得到的移动机器人的轮式里程，获取移动机器人在当前里程一定范围内所处环境地图中的阵列边界数据；

s5：将当前观测到的机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，而后将获取到的移动机器人所处单块阵列的边界数据与获取到的环境地图中存放的阵列边界数据进行匹配，计算二者之间的重投影误差，再通过非线性优化得到使重投影误差最小的移动机器人的视觉定位；

s6：通过扩展卡尔曼滤波器将步骤s2得到的轮式里程和步骤s5得到的视觉定位进行融合即可得到移动机器人最终的定位(位置和姿态)。

预先构建环境地图，具体包括以下步骤：

s01：传感器标定，对惯性测量单元和多个摄像头的参数进行标定；

s02：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的imu数据，得到移动机器人的姿态信息；

s03：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；

s04：通过设置在移动机器人上的多个摄像头，获取移动机器人的所处环境的多角度图像数据，通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的多个摄像头的参数获取像素平面到机器人坐标系的坐标变换，并将图像中的边界数据投影到机器人坐标系；

s05：将机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，并将数据进行存储，以此构建基于边界数据的环境地图。

步骤s01中，对设置在移动机器人上的惯性测量单元和多个摄像头的参数进行标定，具体包括惯性测量单元数据的初始零偏和随机游走误差，以及各个摄像头的内部参数和外部参数。

在预先构建环境地图的过程中，同时进行回环检测，若检测到回环便对环境地图进行相应的矫正。

如图7所示，所述机身100还包括固定板104以及上盖105，所述支撑框架固定设置在所述底盘101上，所述固定板104固定设置在所述支撑框架的上端，所述上盖105包覆设置在所述固定板104上。所述底盘101上位于左侧和右侧的位置均设置有行走机构，所述移动机器人在所述行走机构的驱动下进行移动。

所述行走机构包括驱动电机110、驱动轮111、橡胶履带112、张紧轮113以及同步轮114，其中：所述驱动电机110的输出轴与所述驱动轮111固定连接，所述驱动轮111在所述驱动电机110的驱动下进行转动；所述驱动轮111通过所述橡胶履带112驱动所述同步轮114进行转动，所述驱动轮111与所述同步轮114之间设置有多个所述张紧轮113。

所述底盘101上位于左侧和右侧的位置分别设置有第一定位通孔106和第二定位通孔107，且所述第一定位通孔106和第二定位通孔107中均设置有一所述橡胶履带112。

所述支撑框架包括第一支撑板121、第二支撑板122、第三支撑板123以及第四支撑板124，其中：所述第一支撑板121沿长度方向设置在所述底盘101的左侧壁，所述第二支撑板122沿长度方向设置在所述底盘101的前侧壁，所述第三支撑板123沿长度方向设置在所述底盘101的右侧壁，所述第四支撑板124设置在所述底盘101的后侧壁。

所述第一支撑板121、第二支撑板122、第三支撑板123以及第四支撑板124的高度均相同，且所述第一支撑板121、第二支撑板122、第三支撑板123以及第四支撑板124为一体成型，进而可提高第一支撑板121、第二支撑板122、第三支撑板123以及第四支撑板124相结合的牢固性，安全可靠性得到一定程度的提高，进而达到延长支撑框架的使用寿命的目的。

如图1至图2所示，当所述移动机器人在光伏阵列场景中进行定位时，多个所述摄像头包括第一摄像头131、第二摄像头132、第三摄像头133以及第四摄像头134，其中：所述第一摄像头131通过第一支架151固定设置在所述固定板104上表面左侧中心位置的上方，所述第二摄像头132通过第二固定支架152固定设置在所述固定板104上表面前侧中心位置的上方，所述第三摄像头133通过第三固定支架153固定设置在所述固定板104上表面右侧中心位置的上方，所述第四摄像头134通过第四固定支架154固定设置在固定板104上表面后侧中心位置的上方。同时，上述第一摄像头131、第二摄像头132、第三摄像头133以及第四摄像头134均为1080p130度广角摄像头。

如图3至图4所示，当所述移动机器人在竖直分布的玻璃阵列场景中玻璃的外侧表面进行定位时，例如在竖直分布的玻璃幕墙上进行定位时，多个所述摄像头包括第五摄像头135、第六摄像头136以及第七摄像头137，其中：所述第五摄像头135通过第五固定支架155固定设置在所述固定板104上表面左侧的前端上方，所述第六摄像头136通过第六固定支架156固定设置在所述固定板104上表面前侧中心位置的上方，且所述第七摄像头137通过第七固定支架157固定设置在所述固定板104上表面右侧的前端上方。同时，上述第五摄像头135、第六摄像头136以及第七摄像头137均为1080p130度广角摄像头。

如图5至图6所示，当所述移动机器人在水平分布或倾斜分布的玻璃阵列场景中玻璃的上表面进行定位时，例如在倾斜分布的玻璃顶棚上进行定位时，多个所述摄像头包括第八摄像头138、第九摄像头139、第十摄像头140以及第十一摄像头141，其中：所述第八摄像头138通过第八固定支架158固定设置在所述固定板104上表面左侧的前端上方，所述第九摄像头139通过第九固定支架159固定设置在所述固定板104上表面前侧中心位置的上方，所述第十摄像头140通过第十固定支架160固定设置在所述固定板104上表面右侧的前端上方，且所述第十一摄像头141通过第十一固定支架161固定设置在所述固定板104上表面后侧中心位置的上方。同时，上述第八摄像头138、第九摄像头139、第十摄像头140以及第十一摄像头141均为1080p130度广角摄像头。

本发明实施例提供的基于识别阵列边界的移动机器人定位方法，可为移动机器人提供一个厘米级的全局无漂的定位信息，且该发明能准确的获取移动机器人在玻璃平面以及光伏平面上的打滑信息。在视觉信息丢失后，通过轮速计以及惯性导航能在一定时间范围内保证移动机器人的基本定位需求，使移动机器人能在复杂的玻璃场景下完成点到点的导航、区域覆盖等高精度任务。本发明的定位方法，具有极高的鲁棒性和精确性，且本发明的定位方法的成本极低(低成本的传感器、一定的计算成本)，同时该发明用于视觉定位的阵列边界信息是所有玻璃阵列场景以及光伏阵列场景都具有的基本信息，因此本发明还具有很高的适用性；对于具有类似边界信息的其他阵列场景，也可以通过本发明的定位方法获得厘米级的定位效果。

本发明的定位由轮式里程与视觉里程两部分融合获得。轮式里程，将惯性测量单元测得的姿态信息直接作为轮式里程计航迹推演的姿态信息，代替通过两轮差速模型计算出的机器人姿态。而后结合轮速计获取的轮速，二者紧耦合得到轮式里程。视觉定位，由于玻璃阵列以及光伏阵列上可用于定位的参照物较少，且场景相似度较高，传统的视觉定位技术难以在玻璃幕墙上取得较好的效果。本方案应用语义slam技术，通过外置的多个摄像头获取环境图片，而后通过深度学习的模型进行语义分割或端到端学习的方法，提取所处单块阵列(玻璃阵列以及光伏阵列)的边界信息，再与预先建立好或实时构建的地图进行匹配，计算重投影误差，而后通过非线性优化得到使重投影误差最小的机器人的位姿，该视觉里程定位能准确得到机器人在水平和竖直方向的位移及姿态(朝向)。考虑到复杂环境下视觉信息可能丢失的情况，本发明最后通过扩展卡尔曼滤波器将上述两个定位进行融合，最终形成一个全局可靠、精确稳定的低成本的定位系统。在其他类似的阵列场景，通过跟换提取边界信息的深度学习模型，即可通过同样的方式获取一个厘米级的定位。

因此本发明基于语义slam技术通过深度学习的方法对玻璃场景下的玻璃边界信息进行特定提取，建立包含所有玻璃边界信息(玻璃与玻璃之间的缝隙、玻璃与墙面之间的衔接线、玻璃与金属框之间的衔接线、玻璃悬空处的边界等，材质包括橡胶、塑料等)的平面2d地图，而后基于此地图得到一个厘米级的视觉定位信息。需要注意的是在定位时若摄像头范围内仅有一条玻璃边界信息，此时只能获得机器人相对这条线的距离以及机器人的朝向，不能获得机器人沿这条线段方向的位置信息，因此本方案采用多个摄像头为机器人提供图像信息，扩大机器人的可视范围，保证单一时刻内机器人能看到多条不同方向的玻璃边界信息。

光伏场景基本与玻璃场景一致，不同的是玻璃场景下构建的是玻璃阵列的边界信息，光伏场景是通过提取光伏阵列的边界信息(光伏板的金属边框)来构建地图。还需说明的是光伏阵列通过处于空旷的室外环境且光伏阵列相对地面的倾斜程度通常不高，gnss配合rtk的组合导航方式在此场景下有一定可用性，但考虑到其高额的成本(建立基站等配套成本)，本方案不使用此技术。

综上，在玻璃阵列场景以及光伏阵列场景下，本方案的机器人定位信息由多传感器融合获得，传感器包括，轮式编码器、惯性测量单元(inertialmeasurementunit，简称imu)以及外置摄像头。通过轮式编码器与惯性测量单元的紧耦合，可以得到一个基本的全局定位，该定位主要用于全局建图以及在视觉信息丢失时保证移动机器人基本的定位需求。另外本方采用多个摄像头配合语义slam技术以玻璃阵列以及光伏阵列的边界为感知信息为机器人提供一个无漂、精确的全局视觉定位信息。二者相融合构成本方案的定位系统。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。