一种基于多传感器融合的机器人室内外无缝定位方法及系统与流程

1.本发明涉及无人智能导航技术领域，尤其涉及一种基于多传感器融合的机器人室内外无缝定位方法及系统。


背景技术：

2.随着大数据、人工智能、云计算、物联网等新兴科学技术的发展，巡检机器人、物流机器人相关企业越来越多，智能制造、智慧物流等行业发展蓬勃向上。现有巡检机器人通常采用单纯激光雷达slam(simultaneous localization and mapping)定位技术，有些会加载预先采集场景的先验地图。该方法只适合例如复杂室内环境的固定小范围场景和机器人低速运行条件，但在室外宽阔场地条件下会出现有效激光点云特征较少导致定位失效、激光匹配效率较低导致无法高速行驶等技术问题。


技术实现要素：

3.本发明提供了一种基于多传感器融合的机器人室内外无缝定位方法及系统，用以解决或者至少部分解决现有技术中存在的室外定位效果不佳的技术问题。
4.为了解决上述技术问题，本发明第一方面提供了一种基于多传感器融合的机器人室内外无缝定位方法，包括：
5.将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合；
6.将imu提供的信息与各传感器结合后得到的信息分别输入到不同的卡尔曼子滤波器，通过各个卡尔曼子滤波器输出对应的运动状态，其中，卡尔曼子滤波器输出的运动状态包括与imu同频的局部状态估计和相应的估计误差协方差阵；
7.采用基于深度卷积网络的综合器对各个卡尔曼子滤波器输出的运动状态进行融合，得到各个卡尔曼子滤波器的反馈参数和全局的最优状态估计和相应的估计误差协方差阵；
8.根据全局的最优状态估计和相应的估计误差协方差阵得到多源融合导航结果。
9.在一种实施方式中，将imu提供的信息与各传感器结合后得到的信息分别输入到不同的卡尔曼子滤波器，通过各个卡尔曼子滤波器输出对应的运动状态，包括：
10.将imu提供的信息与gnss提供的信息结合后输入第一卡尔曼子滤波器，输出与imu同频的第一局部状态估计x1和相应的估计误差协方差阵p1；
11.将imu提供的信息与里程计提供的信息结合后输入第二卡尔曼子滤波器，输出与imu同频的第二局部状态估计x2和相应的估计误差协方差阵p2；
12.将imu提供的信息与视觉传感器提供的信息结合后输入第三卡尔曼子滤波器，输出与imu同频的第三局部状态估计x3和相应的估计误差协方差阵p3；
13.将imu提供的信息与激光雷达提供的信息结合后输入第四卡尔曼子滤波器，输出与imu同频的第四局部状态估计x4和相应的估计误差协方差阵p4；
14.将imu提供的信息与uwb传感器提供的信息结合后输入第五卡尔曼子滤波器，输出与imu同频的第五局部状态估计x5和相应的估计误差协方差阵p5。
15.在一种实施方式中，基于深度卷积网络的综合器包括特征提取模块、决策网络和融合网络，采用基于深度学习的方法对各个卡尔曼子滤波器输出的运动状态进行融合，得到各个卡尔曼子滤波器的反馈参数和全局的状态估计和相应的估计误差协方差阵，包括：
16.对各个卡尔曼子滤波器输出的运动状态进行时间对齐；
17.通过特征提取模块对进行时间对齐后的信息进行特征提取，提取出对应的运动学特征；
18.通过决策网络对提取出的运动学特征进行权重分配；
19.通过融合网络根据分配的权重对各个卡尔曼子滤波器输出的运动状态进行融合，得到对各子滤波器的反馈参数及全局的最优状态估计x和相应的估计误差协方差阵p。
20.在一种实施方式中，所述方法还包括：各卡尔曼子滤波器根据反馈参数对滤波参数做出调整或进行自重启。
21.在一种实施方式中，在将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合之前，所述方法还包括：将imu与gnss、里程计、视觉、激光雷达、uwb传感器进行时间同步。
22.在一种实施方式中，所述方法还包括：
23.根据得到的全局的最优状态估计和相应的估计误差协方差阵，对imu进行量测更新和时间更新。
24.基于同样的发明构思，本发明第二方面提供了一种基于多传感器融合的机器人室内外无缝定位系统，包括：
25.信息结合模块，用于将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合；
26.卡尔曼滤波模块，用于将imu提供的信息与各传感器结合后得到的信息分别输入到不同的卡尔曼子滤波器，通过各个卡尔曼子滤波器输出对应的运动状态，其中，卡尔曼子滤波器输出的运动状态包括与imu同频的局部状态估计和相应的估计误差协方差阵；
27.融合模块，用于采用基于深度卷积网络的综合器对各个卡尔曼子滤波器输出的运动状态进行融合，得到各个卡尔曼子滤波器的反馈参数和全局的最优状态估计和相应的估计误差协方差阵；
28.导航结果获得模块，用于根据全局的最优状态估计和相应的估计误差协方差阵得到多源融合导航结果。
29.在一种实施方式中，所述系统还包括时间同步模块，用于在将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合之前，将imu与gnss、里程计、视觉、激光雷达、uwb传感器进行时间同步。
30.在一种实施方式中，所述系统还包括更新模块，用于根据得到的全局的最优状态估计和相应的估计误差协方差阵，对imu进行量测更新和时间更新。
31.相对于现有技术，本发明的优点和有益的技术效果如下：
32.本发明提供了一种基于多传感器融合的机器人室内外无缝定位方法，将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合；可以融合不
同的传感器的信息，并通过不同的子滤波器对结合后的信息进行滤波处理，得到与imu同频的局部状态估计和相应的估计误差协方差阵，各个子滤波器输出的信息通过基于深度卷积网络的综合器的融合，可以将不同子滤波器输出的信息进行融合，可以得到准确的融合信息，最后根据全局的最优状态估计和相应的估计误差协方差阵得到多源融合导航结果，从而可以提高室外的定位精度和效果。
33.本发明提供的基于多传感器融合的机器人室内外无缝定位系统以imu(惯性测量单元，inertial measurement unit)为基础，通过集成、融合或者协同诸如gnss(卫星导航定位系统，global navigation satellite system)、里程计、视觉、激光雷达、uwb(超宽带，ultra wide band)和高精度地图等多种传感器信息形成，可以提高导航系统的容错性与自适应性，并为用户提供单一传感器失效时的高精度定位导航功能，提升定位导航精度的可靠性，拓展智能机器人的应用场景。
附图说明
34.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为本发明实施例中基于多传感器融合的机器人室内外无缝定位方法的流程示意图；
36.图2为本发明实施例中基于多传感器融合的机器人室内外无缝定位系统的拓扑结构图。
具体实施方式
37.本发明公开了一种基于多传感器融合的机器人室内外无缝定位系统及方法，以imu惯性测量单元为基础，通过集成、融合或者协同诸如里程计、视觉、激光雷达和uwb等多种传感器信息，结合高精度地图，采用深度学习方式对误差源自适应调整、加权融合、扩展卡尔曼滤波(ekf，extended kalman filter)并进行多源融合处理，以获取高精度与高可靠性的导航定位结果。本发明不仅能够克服单一导航系统缺点和弊端，还可以提高导航系统的容错性与自适应性，可为用户提供单一传感器失效时的高精度定位导航功能，提升了定位导航精度的可靠性，拓展了智能机器人的应用场景。
38.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.实施例一
40.本发明实施例提供了一种基于多传感器融合的机器人室内外无缝定位方法，包括：
41.将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合；
42.将imu提供的信息与各传感器结合后得到的信息分别输入到不同的卡尔曼子滤波器，通过各个卡尔曼子滤波器输出对应的运动状态，其中，尔曼子滤波器输出的运动状态包括与imu同频的局部状态估计和相应的估计误差协方差阵；
43.采用基于深度卷积网络的综合器对各个卡尔曼子滤波器输出的运动状态进行融合，得到各个卡尔曼子滤波器的反馈参数和全局的最优状态估计和相应的估计误差协方差阵；
44.根据全局的最优状态估计和相应的估计误差协方差阵得到多源融合导航结果。
45.具体实施过程中，imu提供基于载体坐标系的角速度信息和线加速度信息，用于进行状态估计，gnss、里程计、视觉、激光雷达、uwb等传感器提供基于世界坐标系或局部坐标系的位置、姿态、速度等信息，用于量测更新。
46.在一种实施方式中，将imu提供的信息与各传感器结合后得到的信息分别输入到不同的卡尔曼子滤波器，通过各个卡尔曼子滤波器输出对应的运动状态，包括：
47.将imu提供的信息与gnss提供的信息结合后输入第一卡尔曼子滤波器，输出与imu同频的第一局部状态估计x1和相应的估计误差协方差阵p1；
48.将imu提供的信息与里程计提供的信息结合后输入第二卡尔曼子滤波器，输出与imu同频的第二局部状态估计x2和相应的估计误差协方差阵p2；
49.将imu提供的信息与视觉传感器提供的信息结合后输入第三卡尔曼子滤波器，输出与imu同频的第三局部状态估计x3和相应的估计误差协方差阵p3；
50.将imu提供的信息与激光雷达提供的信息结合后输入第四卡尔曼子滤波器，输出与imu同频的第四局部状态估计x4和相应的估计误差协方差阵p4；
51.将imu提供的信息与uwb传感器提供的信息结合后输入第五卡尔曼子滤波器，输出与imu同频的第五局部状态估计x5和相应的估计误差协方差阵p5。
52.具体实施过程，卡尔曼子滤波器为自适应卡尔曼子滤波器。请参见图2，为本发明实施例中基于多传感器融合的机器人室内外无缝定位系统的拓扑结构图。
53.在一种实施方式中，基于深度卷积网络的综合器包括特征提取模块、决策网络和融合网络，采用基于深度学习的方法对各个卡尔曼子滤波器输出的运动状态进行融合，得到各个卡尔曼子滤波器的反馈参数和全局的状态估计和相应的估计误差协方差阵，包括：
54.对各个卡尔曼子滤波器输出的运动状态进行时间对齐；
55.通过特征提取模块对进行时间对齐后的信息进行特征提取，提取出对应的运动学特征；
56.通过决策网络对提取出的运动学特征进行权重分配；
57.通过融合网络根据分配的权重对各个卡尔曼子滤波器输出的运动状态进行融合，得到对各子滤波器的反馈参数及全局的最优状态估计x和相应的估计误差协方差阵p。
58.具体实施过程中，特征提取模块采用cnn卷积，首先完成个子滤波器输出的信息的时间对齐，然后输入特征提取模块进行运动学特征；再将运动学特征输入到决策网络，完成对各个特征的权重分配；最终在融合网络，完成对各个子滤波器输出的运动状态的融合，得到对各子滤波器的反馈参数及最优的全局估计x和p。
59.在一种实施方式中，所述方法还包括：各卡尔曼子滤波器根据反馈参数对滤波参数做出调整或进行自重启。
60.其中，各个反馈参数如图2所示，包括β
1～
β5。
61.在一种实施方式中，在将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合之前，所述方法还包括：将imu与gnss、里程计、视觉、激光雷达、uwb传感器进行时间同步。
62.在一种实施方式中，所述方法还包括：
63.根据得到的全局的最优状态估计和相应的估计误差协方差阵，对imu进行量测更新和时间更新。
64.请参见图1，为本发明实施例中基于多传感器融合的机器人室内外无缝定位方法的流程示意图。
65.gnss、里程计、视觉、激光雷达、uwb传感器提供的信息包括三维位置速度及其方差，在进行信息结合之前，首先进行imu量测更新和时间更新。通过基于深度卷积网络进行状态估计之后，得到全局的最优状态估计x(即三维位置速度姿态)和相应的估计误差协方差阵p(三维位置速度姿态的方差)。再进行imu量测更新和时间更新，最后得到高频率的多源融合导航结果。
66.实施例二
67.基于同样的发明构思，本实施例提供了一种基于多传感器融合的机器人室内外无缝定位系统，包括：
68.信息结合模块，用于将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合；
69.卡尔曼滤波模块，用于将imu提供的信息与各传感器结合后得到的信息分别输入到不同的卡尔曼子滤波器，通过各个卡尔曼子滤波器输出对应的运动状态，其中，卡尔曼子滤波器输出的运动状态包括与imu同频的局部状态估计和相应的估计误差协方差阵；
70.融合模块，用于采用基于深度卷积网络的综合器对各个卡尔曼子滤波器输出的运动状态进行融合，得到各个卡尔曼子滤波器的反馈参数和全局的最优状态估计和相应的估计误差协方差阵；
71.导航结果获得模块，用于根据全局的最优状态估计和相应的估计误差协方差阵得到多源融合导航结果。
72.在一种实施方式中，所述系统还包括时间同步模块，用于在将imu提供的信息分别与gnss、里程计、视觉、激光雷达、uwb传感器提供的信息进行结合之前，将imu与gnss、里程计、视觉、激光雷达、uwb传感器进行时间同步。
73.在一种实施方式中，所述系统还包括更新模块，用于根据得到的全局的最优状态估计和相应的估计误差协方差阵，对imu进行量测更新和时间更新。
74.本发明的有点和有益效果如下：
75.1、本系统能方便添加或减少传感器，通过对传感器的识别自动生成或删除相应的子滤波器，实现即插即用；
76.2、本系统可自动屏蔽故障传感器或故障子滤波器；
77.3、导航定位精度高，系统可靠性高。
78.由于本发明实施例二所介绍的系统为实施本发明实施例一中基于多传感器融合的机器人室内外无缝定位方法所采用的系统，故而基于本发明实施例一所介绍的方法，本
领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的系统都属于本发明所欲保护的范围。
79.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
80.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
81.显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。