本发明属于计算机视觉检测领域，涉及一种视觉感知的SLAM系统，特别涉及一种基于多目全景惯导的SLAM系统。
背景技术：
随着人工智能的迅速发展，机器人、无人车、虚拟现实、增强现实等领域成为研究热点，尤其是在环境未知且GPS信号无法使用的情况下，自主实现精确定位并创建地图是该领域的研究前提。同步定位与地图构建方法(Simultaneous Localization and Mapping,SLAM)指移动平台在位姿未知情况下，利用本体或外置传感器，感知并构建一致的环境地图，同时确定自身相对位姿的方法。SLAM是实现移动平台自主性的关键，近年来在多领域呈现出较大的应用价值，为了实现应用场景的标准化和通用性，需要一种鲁棒、实时的SLAM系统。
SLAM系统根据传感器的不同主要分为激光SLAM和视觉SLAM。相比之下，激光传感器价格昂贵、功耗大，且目前室内采用单线激光器只能用于结构化环境，而视觉传感器利用相机感知环境，能提供距离和外观等丰富的空间信息，且具备成本低、重量轻、灵活性高等特点。因此，视觉SLAM逐渐成为研究系统的主流趋势。
目前，视觉SLAM系统主要分为单目SLAM、双目SLAM和RGBD-SLAM。单目SLAM采用单相机，视野区域有限，此外对场景特征无法直接进行距离测量，如申请号为201710658521.X的中国专利《基于半直接法和滑动窗口优化的单目视觉SLAM算法》；双目SLAM可根据相机间的刚性限制计算尺度，但精确度较大程度依赖双目外参的标定值；RGBD-SLAM可实时获取深度数据，但方法的局限性限制了近距离感知，如申请号为201710835285.4的中国专利《一种基于Kinect的室内移动机器人视觉SLAM方法》。上述系统和专利均未解决视野受限问题，不能适用于弱纹理环境，同时在视觉退化(运动模糊、大场景)时，尺度估计影响较大，导致系统精度降低等问题。
因此，如何提供一种稳定可靠的视觉SLAM系统，以解决现有技术中环境感知方法获取信息的不充分、快速旋转的不确定性，保证视觉SLAM系统的精度和稳定性，实已成为本领域亟待解决的技术问题。
技术实现要素：
鉴于以上所述现有技术的特点，本发明的目的是提供一种基于多目全景惯导的SLAM系统，构建360全景视觉模型，结合惯导单元紧耦合融合视觉特征，通过轻量级嵌入式并行计算，实现高精度视觉SLAM与空间运动跟踪算法，用于解决现有技术中环境感知方法获取信息的不充分、快速旋转的不确定性，为强光线/弱纹理/运动模糊等复杂环境中的机器人环境建模和定位导航提供有效的自动化手段。
为实现上述目的及其他相关目的，本发明提供一种基于多目全景惯导的SLAM系统，包括：信息采集模块，用于系统运行过程中获取全景图像信息和惯导空间运动参数；所述全景图像信息通过N个相机以环视、环视+上视、环视+下视、或环视+上视+下视组合实现；N为大于或等于2的正数；所述惯导空间运动参数包括系统实体的实时三轴线加速度和三轴角速度；与所述信息采集模块连接的嵌入式异构计算模块，用于图像等信息采集的高速传输，以及后续SLAM的计算和并行加速处理；与所述信息采集模块和嵌入式异构计算模块连接的SLAM处理模块，用于融合视觉和惯导特征信息，并通过非线性优化进行系统位姿估计和三维地图构建；所述非线性优化指将位姿的非线性最小二乘问题，利用高斯牛顿法或列文伯格-马夸尔特方法等优化方式求解；与所述各模块连接的系统支撑模块，用于多相机、鱼眼镜头、硬件电路等紧凑固定，并实现环境特征环境的稳定输出。
可选地，所述信息采集模块包括高速相机、鱼眼镜头、惯性传感单元等多传感器，用于融合获取空间信息和运动参数。高速相机实现纳秒级多目帧同步，搭载全局曝光技术，有效降低图像畸变，适应高速环境捕捉，同时辅以近红外探测光，增强弱纹理对象识别精度；鱼眼镜头均采用180°以上识别空间，提升局部区域有效像素，并通过多镜头组合实现环视或全景，突破类人视觉感知极限；惯性传感单元由加速度计、陀螺仪、磁力计构成，用于SLAM系统运动参数获取。
可选地，所述嵌入式异构计算模块包括轻型异构超算平台和同步触发硬件电路。轻型异构超算平台采用Maxwell分布式架构，支持ARM/GPU/DSP/FPGA实现，以ARM为核心处理器，GPU为主要异构形式，基于JETSON核心组建CUDA蜂群，满足多线程并行处理及深度学习网络构建，同时保证ASIC指令集运算及SLAM算法综合运行；同步触发硬件电路通过惯性传感单元以固定周期频率、外部电路形式同时触发多目相机曝光，实现IMU与相机帧的时间戳精准对齐。
可选地，所述嵌入式异构计算模块的一种实现方式包括：多个英伟达JETSON TX1模块、六目CSI接口相机、myAHRS+惯性传感单元、220°鱼眼相机及相应连接件。
可选地，所述SLAM处理模块包括自初始化、前端处理和后端优化。自初始化首先自动标定多相机内外参、相机与IMU外参，分别进行视觉和惯导初始化，并开始捕获连续刚体帧和各帧间IMU预积分数据；前端处理进行特征提取并由匹配关系初始位姿或重定位，基于当前帧跟踪局部地图，通过共视关系优化所有相机位姿；后端优化集束调整当前多关键帧及共视关键帧，非线性最小化多关键帧重投影误差和IMU误差，获取准确的系统位姿和环境观测数据。
可选地，所述多相机内外参自动标定方法的一种实现方式是基于特征描述子的在线标定，较与主流的棋盘格标定法，特征可达几百个，且能用于非重叠视场多相机的标定。
可选地，所述刚体帧是指多相机重心位置的多关键帧总称，也可以与多相机的主相机位置重合。
可选地，所述非线性优化的一种实现方式是将视觉信息和惯导信息以因子图形式组织到G2O中进行图优化，获取准确的位姿信息并构建环境地图。
如上所述，本发明所述的基于多目全景惯导的SLAM系统，具有以下有益效果：
本发明所述的基于多目全景惯导的SLAM系统能够解决现有视觉SLAM方法视场角小、视野受限的问题，同时能够补偿现有SLAM方法在光照变化、纹理特征少、剧烈晃动导致视觉模糊等视觉退化问题，极大提高了视觉SLAM方法的精确性和鲁棒性，为机器人的自主性提供可靠保障，从而保证机器人自主导航的充分性，同时嵌入式系统的设计方式，可以实现系统的轻量化和器件化。
附图说明
图1为本发明的SLAM系统的结构示意图。
图2为本发明的嵌入式异构计算模块的结构示意图。
图3为本发明的信息采集模块的结构示意图。
图4为本发明的SLAM处理模块的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合实施例和附图对本发明进行详细说明。
本发明所述的基于全景惯导的SLAM系统的发明原理如下：
本发明的基于全景惯导的SLAM系统，通过构建全景视觉模型，结合同步触发惯导单元，紧耦合融合视觉特征，经轻量级嵌入式并行计算，自初始化首先自动标定多相机内外参、相机与IMU外参，分别进行视觉和惯导初始化，并开始捕获连续刚体帧和各帧间IMU预积分数据，算法前端处理进行特征提取并由匹配关系初始位姿或重定位，通过共视关系优化所有相机位姿，后端优化集束调整当前多关键帧及共视关键帧，非线性最小化多关键帧重投影误差和IMU误差，获取准确的系统位姿和环境观测数据，实现高精度视觉SLAM与空间运动跟踪算法。
实施例一
本实施例提供一种基于全景惯导的SLAM系统，请参阅图1，显示为三目全景惯导SLAM系统的结构示意图。如图1所述，所述三目全景惯导SLAM系统包括嵌入式异构计算模块1、信息采集模块2和SLAM处理模块(参阅图4)。
所述嵌入式异构计算模块1用于控制硬件触发电路和SLAM算法获取与计算。所述嵌入式异构计算模块如图2所示，主要包括核心处理模块3、功能扩展载板4、控制开关5、同步触发硬件电路9和信息输入端口10。所述核心处理模块与功能扩展载板满足嵌入式异构方式，支持ARM/GPU/DSP/FPGA实现，以ARM为核心处理器，GPU为主要异构形式，能够进行多线程并行处理及深度学习网络构建，保证SLAM算法运行。同步触发硬件电路通过惯性传感单元以固定周期频率、外部电路形式同时触发多目相机曝光，实现IMU与相机帧的时间戳精准对齐。在本实施例中，将采用英伟达Jetson处理器为核心处理器，例如TK1、TX1、TX2等，实现ARM为核心计算、GPU为并行计算，以120HZ频率实时运行惯性单元，30HZ频率实时运行多相机，通过功能扩展载板实现同步触发多相机和惯性单元，保证视觉信息和IMU信息帧对齐。本领域人员技术人员应该理解，上述嵌入式异构计算模块仅仅只是列示，而非对本发明的限制。
所述信息采集模块2用于获取并融合视觉空间信息和惯导运动参数。所述信息采集模块如图2所示，主要包括鱼眼镜头15、高速相机16、惯性传感单元23等。所述鱼眼镜头均采用180°以上识别空间，提升局部区域有效像素。所述高速相机需实现纳秒级多目帧同步，搭载全局曝光技术，通过N个相机以环视、环视+上视、环视+下视、或环视+上视+下视组合实现全景图像获取。所述惯性传感单元提供系统实体的实时三轴线加速度和三轴角速度，甚至是磁感应强度和方向。在本实施例中，将采用配有185°鱼眼镜头的三目720P的ARGUS全局相机通过CSI接口与功能扩展载板固连，并均匀成圆周分布，而myAHRS+惯性单元固定于下支撑板19重心位置，通过I2C将惯导参数输送至嵌入式异构计算模块。本领域人员技术人员应该理解，上述信息采集模块只是列示，而非对本发明的限制。
所述SLAM处理模块用于估计准确的系统位姿和环境观测数据。本实施例提供一种SLAM算法，请参阅图4，显示为SLAM处理模块的流程示意图。如图4所示，所述SLAM算法处理包括以下步骤：计算模块接收多目全景图像数据及运动数据后，提取图像特征，并与运动信息进行对齐；SLAM算法首先根据多目图像特征进行视觉初始化，然后融合惯性单元信息后进行视觉惯导初始化；建立多相机运动模型和视觉惯导追踪模型，由匹配关系初始位姿或重定位，基于当前帧跟踪局部地图，通过共视关系优化所有相机位姿；采用融合多目全景信息及惯导单元信息G2O工具，进行基于因子图模型的后端优化，获取准确的系统位姿和环境观测数据，并构建环境地图。
本发明所述的基于多目全景惯导的SLAM系统能够解决现有视觉SLAM方法视野受限、光照影响和视觉退化等问题，提高系统精确性和鲁棒性，从而保证机器人自主导航的充分性，同时嵌入式系统的设计方式，可以实现系统的轻量化和器件化。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。