本发明涉及整体油箱数字化建模，尤其涉及一种基于像素触发策略的视觉即时空间定位与建图方法。
背景技术：
1、大型飞机的整体油箱密封涂胶作业需要在整体油箱密封装配阶段进行。实际作业中，相关人员仅可通过油箱口盖进入整体油箱内部进行密封胶涂装。由于空间有限，且与外部环境相隔离，目前的高精度三维定位技术（如激光、视觉跟踪、测量场构建等）无法在此类场景下进行有效部署。为实现上述复杂场景下的空间定位，需设计一种飞机整体油箱内部场景下，能够为各类数据采集设备（或传感器）提供鲁棒且精确的三维运动轨迹和位姿的方法。
技术实现思路
1、针对现有技术的不足，本发明提供了一种基于像素触发策略的视觉即时空间定位与建图方法，解决了传统方法无法应对复杂场景的问题。本发明针对油箱封闭及结构化场景，构建鲁棒特征提取和跟踪技术；同时充分用三维扫描仪获取的点云数据具有高精度的特点，设计基于多源数据融合闭环检测和位姿优化方法来确保长时间作业情况下的空间定位精度和稳定性。
2、为解决上述技术问题，本发明提供了如下技术方案：一种基于像素触发策略的视觉即时空间定位与建图方法，包括以下步骤：
3、s1、基于像素触发的图像差分方法，基于差分运算定义有效像素，并根据差分运算后像素值的变化极性，以像素亮度绝对值构建基于像素事件的差分图像；
4、s2、基于显著性区域的特征点提取方法，以有效像素为中心像素点，构造像素搜索区域描述该有效像素的特征，通过构造harris矩阵并进行特征值分解，从特征点中筛选角点并提取角点特征；
5、s3、有效像素约束的光流特征点跟踪方法，定义有效像素约束，采用稀疏光流法推导出下一时刻图像帧的角点，并采用随机抽样一致ransac算法对所推导出的角点进行筛选去噪；
6、s4、自适应关键帧选取方法，设计关键帧选取评价函数并设定选取阈值，对关键帧进行选取；
7、s5、基于滑动窗口的空间位姿恢复方法，采用结构运动恢复sfm方法恢复一段时间内所有关键帧的空间位姿和相应特征点的逆深度，并对恢复结果进行优化；
8、s6、基于多源数据融合的闭环检测及空间位姿优化方法，结合点云数据，进行图像闭环帧筛选用以修正全局位姿，并基于视觉约束构建并优化位姿图，实现扫描系统的重定位，获得当前图像帧的高精度空间位姿。
9、进一步地，在步骤s1中，具体过程包括以下步骤：
10、s11、计算相邻时刻灰度图像像素亮度值之间的差值，将差值不为0的对应像素定义为有效像素；
11、s12、构建基于像素事件的差分图像，根据步骤s11计算的差值，将有效像素的像素亮度绝对值填充到基于像素事件的差分图像的各个通道中，其中大于0的差值对应的像素亮度绝对值填充到通道，小于0的差值对应的像素亮度绝对值填充到通道。
12、进一步地，在步骤s2中，具体过程包括以下步骤：
13、s21、以有效像素为中心像素点，取半径为的窗口作为像素搜索区域，以该像素搜索区域中的像素点描述其中心像素点的特征：
14、；
15、其中，表示位置的像素的亮度值，表示当像素沿图像坐标系方向的移动增量分别为时，其像素亮度的变化值，为窗口函数，即角点检测模板，采用对窗口内的像素亮度值进行卷积运算，以突出角点特征；
16、s22、将步骤s21中的公式采用一阶泰勒展开近似，进而推导出harris矩阵，并对采用harris角点准则近似特征分解方法的结果，定义角点特征响应函数：
17、；
18、其中，和是的两个特征分量，为经验常数，和分别表示对矩阵求解行列式和迹的相关运算；
19、s23、通过值的大小来判断当前窗口内的特征点是否为角点，输出角点特征。
20、进一步地，在步骤s23中，具体过程包括以下步骤：
21、s231、当或者时，即当为负数时，当前窗口内的像素为边缘点；
22、s232、当和特征值都较大且数值相当时，即当为正数且大于阈值时，当前窗口内的像素为角点；
23、s233、当和特征值都较小且数值相当时，即当接近0时，当前窗口内的像素处于无纹理区域。
24、进一步地，在步骤s2中，通过在角点特征提取过程中设置相应的最小容忍距离来将特征点的数量限制在一定范围内，以保证系统前端的运算速度。
25、进一步地，在步骤s3中，具体过程包括以下步骤：
26、s31、将空间点映射到相邻时刻图像帧，获得时刻和时刻像素坐标系下的特征点像素、，分别对应基于像素事件的差分图像中有效像素区域的像素和；
27、s32、以为中心建立搜索窗口，同时定义中亮度值不为0的像素点为有效像素，并将其作为有效像素约束；
28、s33、基于有效像素约束，采用稀疏光流法对相邻图片帧当中对应的角点特征进行跟踪，推导出时刻图像帧中对应的角点及其角点特征；
29、s34、采用随机抽样一致ransac算法，计算单应矩阵对步骤s33推导出的特征点进行筛选去噪。
30、进一步地，在步骤s4中，具体过程包括以下步骤：
31、s41、设计可根据场景特点自适应调节的关键帧选取评价函数，其定义如下：
32、；
33、其中，表示基于像素事件的差分图像当中正向事件所对应的像素数量，即像素亮度值差值大于0的像素数量，表示基于像素事件的差分图像当中负向事件所对应的像素数量，即像素亮度值差值小于0的像素数量，表示和中的最大值，为单张图像的总像素数量；表示特征点数量的选取阈值，其定义如下：
34、；
35、s42、根据基于像素事件的差分图像，利用相邻图像帧之间正、负向事件所对应像素的变化趋势来对特征点数量的选取阈值进行动态调整。
36、进一步地，在步骤s5中，具体过程包括以下步骤：
37、s51、以第一个关键帧中提取的足够角点特征和两个相邻关键帧之间的足够视差为前提，利用八点法求解本质矩阵以恢复两个相邻关键帧之间的空间位姿，包括相对旋转和初始标度下的平移量；
38、s52、通过相邻关键帧中共有特征点的三角化计算而得到相应特征点的逆深度；
39、s53、基于pnp算法来估计后续图像帧的空间位姿，并通过光束平差法优化空间位姿。
40、进一步地，在步骤s6中，具体过程包括以下步骤：
41、s61、定义图像闭环检测函数：
42、；
43、其中，和分别表示起始关键帧和闭环关键帧的估计位姿，函数用以度量关键帧之间的欧式空间距离，当小于设定阈值时，当前关键帧将会加入闭环候选帧；
44、s62、在起始关键帧和闭环候选帧上分别使用brief算法计算图像帧当中特征点对应的描述子，并采用随机抽样一致ransac方法去除奇异值点对，所剩下的对应特征点数量若满足设定阈值则将其设定为图像闭环帧；
45、s63、以图像闭环帧所对应的点云数据帧为输入，定义点云闭环检测函数：
46、；
47、其中，和分别表示起始关键帧和闭环关键帧所对应的点云数据帧；通过来进一步对闭环候选帧进行筛选，具体而言，在步骤s61中首先通过函数对关键帧进行初步筛选，其次由置信度较高的函数进一步通过点云匹配来确认当前关键帧的可靠性，以此提高闭环候选帧选取的准确性；
48、s64、根据当前图像帧及其图像闭环帧之间的相对位姿更新并优化当前图像帧位姿，计算优化后的当前图像帧位姿与视觉里程计所估计位姿之间的累计漂移，从而得出修正漂移后的全局位姿；
49、s65、在前端系统跟踪丢失后，基于构建位姿图对扫描系统进行重定位，获取当前图像帧的高精度空间位姿，所述重定位可视为将当前图像帧位姿和相关特征点，以视觉约束的方式加入到滑动窗口优化函数，从而通过迭代计算得出当前图像帧及其图像闭环帧之间之间的相对位姿的过程，所述滑动窗口优化函数定义为：
50、；
51、其中，表示常规重投影误差，其用来衡量滑动窗口内特征点在多帧图像中投影位置与观测位置之间的误差；表示边缘化先验信息，滑动窗口在移除旧关键帧时，通过边缘化保留的历史信息，作为先验约束加入当前优化问题；表示闭环重投影误差，即在重定位过程中，将当前帧与闭环帧之间的特征匹配误差作为约束加入优化。
52、进一步地，在步骤s65中，所述构建位姿图，具体过程包括以下步骤：
53、s651、将关键帧的即时定位与建图过程中的位姿抽象为顶点、关键帧中特征点的视觉约束抽象为边，构建位姿图，该位姿图边包括共视点约束边、闭环约束边和点云配准约束边；
54、s652、所述共视点约束边表示相邻关键帧之间由共视关系所产生的相对位姿约束，假设顶点为 i，其之前有一关键帧 j，则由视觉里程计得到的相对位姿残差，包括相对空间位置和相对偏航角，如下所示：
55、；
56、上式中，表示相邻关键帧之间的相对空间位置，其中表示旋转矩阵，即从世界坐标系 w到第 i帧相机坐标系的旋转；和分别表示第 i帧和第 j帧图像所对应的相机光心在世界坐标系下的位置，因此表示在世界坐标系下从第 i帧到第 j帧的向量；表示将世界坐标系下的向量通过旋转矩阵变换到第 i帧的相机坐标系下；表示相对偏航角，其中和分别表示关键帧 j和关键帧 i的全局偏航角，则表示两个关键帧之间的偏航角变化量，即相对偏航角；
57、s653、所述闭环约束边，表示当待优化的关键帧序列中存在闭环时，则采用基于对极几何的闭环检测方法来构建闭环约束边，以修正累积误差，计算连续两个闭环关键帧 i和 j之间的位姿残差如下所示：
58、；
59、其中，分别表示滚转角、俯仰角和偏航角；表示优化后的相对位姿；表示由观测直接得到的相对位姿，二者相减即作为位置残差；，分别表示经外部设备优化后的关键帧 j和关键帧 i在世界坐标系下的偏航角，表示经外部设备优化后的世界坐标系下关键帧 j相对于关键帧 i的偏航角，再减去由视觉里程计得到的相对偏航角，即偏航角残差；
60、s654、点云配准约束边，即基于面结构光三维扫描仪获取的点云数据帧，构建基于点云帧配准约束的优化函数，首先计算相邻点云数据帧对应点之间的误差，定义相邻数据帧的重合点云为有效点，则由有效点对所构成的点云帧配准约束残差定义为：
61、；
62、其中，表示包含点对误差的信息矩阵；
63、s655、基于上述三种视觉约束，构建基于点云帧配准约束的优化函数：
64、；
65、其中为共视点约束边集合，为闭环边集合，为点云配准约束边集合，为huber鲁棒核函数，该函数定义如下：
66、；
67、其中，为huber鲁棒核函数的核心参数，其意义在于平衡优化过程中对异常值的敏感度。
68、借由上述技术方案，本发明提供了一种基于像素触发策略的视觉即时空间定位与建图方法，至少具备以下有益效果：
69、（1）本发明通过基于像素触发策略的图像差分方法，提取图像当中像素梯度变化较大区域，以此实现基于显著性区域的特征点提取，以及基于有效像素约束的特征点跟踪；
70、（2）本发明通过自适应阈值关键帧选取策略来限制冗余数据，以保证前端系统实时性；
71、（3）本发明通过利用基于滑动窗口非线性优化方法对前端估计位姿进行实时修正；
72、（4）本发明结合三维数据，提出基于多源数据的闭环检测方法，通过分别设计基于图像和点云的闭环检测函数来保证闭环帧提取的准确性。