弱光照图像增强方法、面向弱光照环境中的视觉同步定位和建图方法

本发明涉及一种弱光照图像增强方法、面向弱光照环境中的视觉同步定位和建图方法，属于移动机器人和计算机视觉领域。

背景技术：

1、同步定位和建图(slam)是机器人和自动驾驶等领域中的核心技术，目的是为了让自主移动硬件平台能够识别其所处环境，估计自身在环境中所处位置。

2、有多种传感器可以用于slam任务中，例如激光雷达、相机、超声波传感器等，在基于视觉的方法中，定位和建图仅使用相机作为信息源，而不使用激光雷达和其他主动传感器。相比于使用其他传感器的slam方法，仅使用相机的视觉slam方法具有最低的成本。更为重要的是，相机采集到的视觉图像能够提供更加丰富的语义信息和纹理信息。语义信息包含环境中对象的位置、方向、颜色、纹理、形状和特定属性。这些信息可以帮助机器人提高对未知复杂环境的准确感知和适应能力，执行更复杂的任务。例如，语义视觉slam借助语义约束提高了定位的准确性和鲁棒性，在建图任务中，语义视觉slam提供了丰富的对象信息来构建不同类型的语义地图，如像素级地图和对象级地图。当自主移动机器人需要与真实环境进行交互能够理解自己所处的环境并将其与人类发出的指令相联系时，视觉方法提供的语义信息是必不可少的。然而，仅使用相机作为传感器意味着在很大程度上依赖于采集到的图像的质量，由于室外环境的光线条件及难预测且在光线不足的情况下，定位精度会大大降低，这一缺陷是视觉slam算法应用于室外移动机器人的主要障碍之一，因此，此类算法的可靠性不足以满足室外和夜间运作的要求。同样在室内条件下使用视觉算法也具有挑战性，因为在完全自动化的，无人值守的工作场合通常缺乏主动照明，因为照明水平会大大增加运行成本，并且造成资源的浪费。

3、有鉴于此，特提出本发明。

技术实现思路

1、本发明提供了一种弱光照图像增强方法、面向弱光照环境中的视觉同步定位和建图方法，一方面可以用于实现弱光照下实时采集的视频图像帧进行增强，另一方面可以基于增强的图像进行优化，以完成视觉同步定位和建图。

2、本发明的技术方案是：

3、根据本发明的第一方面，提供了一种弱光照图像增强方法，包括：基于ros机器人操作系统，将弱光照下实时采集的视频作为ros弱光照图像消息发布；将弱光照图像转换成hsv色彩空间；将弱光照图像的v通道和期望亮度作为轻量化卷积神经网络的输入，利用五层的多层感知机中的高阶曲线调整方法来估计全局亮度调整v通道直方图系数；直方图系数被拼接并送入具有局部感受野的卷积层后获得增强后的v通道，将增强后的v通道替换弱光照图像的原v通道并进行rgb色彩空间转换，获得增强后的图像。

4、根据本发明的第二方面，提供了一种弱光照图像增强系统，包括：处理模块，用于基于ros机器人操作系统，将弱光照下实时采集的视频作为ros弱光照图像消息发布；转换模块，用于将弱光照图像转换成hsv色彩空间；获得模块，用于将弱光照图像的v通道和期望亮度作为轻量化卷积神经网络的输入，利用五层的多层感知机中的高阶曲线调整方法来估计全局亮度调整v通道直方图系数；直方图系数被拼接并送入具有局部感受野的卷积层后获得增强后的v通道，将增强后的v通道替换弱光照图像的原v通道并进行rgb色彩空间转换，获得增强后的图像。

5、根据本发明的第三方面，提供了一种面向弱光照环境中的视觉同步定位和建图方法，包括：对增强后的图像进行orb特征点提取，在相邻帧之间进行特征匹配，对匹配好的特征点进行三角化生成三维地图点；对于第一二帧图像使用对极几何估计出初始位姿并将第二帧图像初始化为参考关键帧，基于第一二帧图像估计的初始位姿和第一二帧图像的三维地图点创建初始化地图并使用bundle adjustment对估计的初始位姿第一次优化；在初始化地图基础上，每次传入一帧新图像，在相邻帧之间进行特征匹配，对匹配好的特征点进行三角化生成三维地图点；利用pnp方法对当前帧图像进行初始位姿估计，利用当前获得的三维地图点和估计的初始位姿进行地图扩充，生成局部地图；再对局部地图中当前帧估计的初始位姿利用bundle adjustment进行第一次优化；依据关键帧创建条件判断当前帧是否创建新的关键帧；在满足当前帧为关键帧的情况下进行关键帧筛选剔除、共视关键帧数量判断后利用bundle adjustment进行第二次优化并更新生成树；在检测到闭环候选关键帧后，进行闭环矫正；闭环矫正后使用生成树进行bundle adjustment优化。

6、所述依据关键帧创建条件判断当前帧是否创建新的关键帧，具体为：根据当前帧的三维地图点是否达到预设值、与上一个关键帧的重合程度和与上一个关键帧是否具有预设的视差作为依据判断是否创建新的关键帧：如果三个判断依据均满足，则创建当前帧为关键帧；否则，不创建。

7、所述在满足当前帧为关键帧的情况下进行关键帧筛选剔除、共视关键帧数量判断后利用bundle adjustment进行第二次优化并更新生成树，具体为：在满足当前帧为关键帧的情况下进行判断：如果关键帧的数量超过三个，对关键帧进行筛选剔除：如果在局部地图中至少有预设比例的三维地图点被三个以上的关键帧观测到，只保留其中共视关系最高的三个关键帧和它们对应的三维地图点；如果共视关键帧的数量达到n个以上，将当前关键帧分别与其共视程度最高的除当前关键帧外的n-1个共视关键帧两两进行重投影特征匹配，获得匹配特征点对；匹配完成后，对匹配的特征点对进行三角化生成新的第一三维地图点；在存在新的三维地图点的情况下，将新的第一三维地图点、原本的局部地图中关键帧的三维地图点一起和其对应帧第一次优化后的位姿利用bundle adjustment同时进行第二次优化；并更新生成树；否则，将原本的局部地图中关键帧的三维地图点和其对应帧第一次优化后的位姿利用bundle adjustment同时进行第二次优化；并更新生成树。

8、引入反向匹配的方案来剔除误匹配的特征点对。

9、所述反向匹配具体为：当一关键帧的特征点重投影到任一共视关键帧中，在投影附近区域进行描述子的匹配找出匹配的特征后，反向将特征点投影回原来的关键帧，只有投影后的点与原来的特征点误差不超过预设像素时，才选取为匹配特征点对，否则，剔除。

10、所述在检测到闭环候选关键帧后，进行闭环矫正；闭环矫正后使用生成树进行bundle adjustment优化，具体为：在当前帧之前的关键帧中检测到闭环候选关键帧后，使用与当前帧以及闭环候选关键帧共视程度最高的预设数量共视关键帧进行两两特征匹配，三角化生成新的第二三维地图点，将新的第二三维地图点与第二次优化的结果参与闭环矫正；闭环矫正后使用生成树进行bundle adjustment优化。

11、所述生成树创建具体为：按照保留关键帧创建的先后顺序，从后往前依次将生成树在共视图的基础上只保留以任一顶点作为主体的两两之间不重复的最高共视关系的顶点和边；在生成树中把最新创建且保留的关键帧共视程度最高的关键帧作为父关键帧，将最新创建且保留的关键帧作为其子关键帧；如果最新创建且保留的关键帧被更新，则需要更新父子关系。

12、根据本发明的第四方面，提供了一种面向弱光照环境中的视觉同步定位和建图系统，包括：第一优化模块，用于对增强后的图像进行orb特征点提取，在相邻帧之间进行特征匹配，对匹配好的特征点进行三角化生成三维地图点；对于第一二帧图像使用对极几何估计出初始位姿并将第二帧图像初始化为参考关键帧，基于第一二帧图像估计的初始位姿和第一二帧图像的三维地图点创建初始化地图并使用bundle adjustment对估计的初始位姿第一次优化；在初始化地图基础上，每次传入一帧新图像，在相邻帧之间进行特征匹配，对匹配好的特征点进行三角化生成三维地图点；利用pnp方法对当前帧图像进行初始位姿估计，利用当前获得的三维地图点和估计的初始位姿进行地图扩充，生成局部地图；再对局部地图中当前帧估计的初始位姿利用bundle adjustment进行第一次优化；第一判断模块，用于依据关键帧创建条件判断当前帧是否创建新的关键帧；在满足当前帧为关键帧的情况下进行关键帧筛选剔除、共视关键帧数量判断后利用bundle adjustment进行第二次优化并更新生成树；第二判断模块，用于在检测到闭环候选关键帧后，进行闭环矫正；闭环矫正后使用生成树进行bundle adjustment优化。

13、本发明的有益效果是：

14、1、本发明使用一个轻量级的卷积神经网络，基于ros系统使得该神经网络能够对输入视频进行亮度实时增强同时消除噪声和矫正色彩误差，将该神经网络作为预处理模块嵌入了同步定位和建图算法中，使得同步定位和建图算法能够在弱光照环境中稳健的工作。

15、2、本发明在闭环矫正后使用生成树进行bundle adjustment优化，使得闭环线程的运行时间大大减少，仅使用生成树bundle adjustment相比于在闭环之后使用全局bundle adjustment优化可以大幅度提高算法的实时性，而其带来的精度损失是可接受的。本发明采用了关键帧筛选和地图点补充的策略，大大增强了同步定位和建图系统在低光照环境中的跟踪鲁棒性。

16、3、采用如上所述的技术方案，本发明与目前最主流的视觉同步定位和建图方法orb-slam3相比拥有更高的精度。