基于空间运动目标三维重构的几何参数辨识方法及系统

本发明涉及计算机视觉，尤其涉及基于空间运动目标三维重构的几何参数辨识方法及系统。

背景技术：

1、在机械臂抓取任务中，一般包括空间运动目标的定位、跟踪和抓取三个过程。如果空间运动目标具有一定的运动速度，那么机械臂抓取的难度大幅度上升。因此，在定位过程中，需要通过视觉系统实现空间运动目标的几何参数的辨识和相对位姿的估计，它的前提条件是初始相对位姿已知。三维重构能够获取空间运动目标的点云信息，进而可以确定其初始相对位姿和几何参数，为后续的跟踪和抓取任务提供重要信息。因此，在对相对位姿进行估计之前，有必要对空间运动目标进行三维重建，从而获取精确的参考相对位姿。视觉相机蕴含着丰富的边缘信息，而雷达数据更好地体现了尺度信息。然而，传统方法没有对视觉和点云进行匹配，不能充分利用图像丰富的边缘特征。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供基于空间运动目标三维重构的几何参数辨识方法及系统，通过多源融合可以实现多视角视觉和点云的信息互补，提高空间运动目标三维重构和几何参数自主辨识的精确性、稳定性以及时效性。

2、本发明所采用的第一技术方案是：基于空间运动目标三维重构的几何参数辨识方法，包括以下步骤：

3、通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；

4、通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；

5、基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；

6、基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；

7、基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。

8、进一步，所述通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型这一步骤，其具体包括：

9、将空间运动目标的单目视觉的图像数据进行空间转换处理，得到空间运动目标的hsv图像；

10、设置预设颜色分割阈值对空间运动目标的hsv图像进行分割处理，得到初步的分割结果；

11、通过图像膨胀技术对初步的分割结果中空间运动目标的残缺部位进行填充，得到空间运动目标的填充图像；

12、对空间运动目标的填充图像的轮廓进行提取筛选，获取空间运动目标的边缘轮廓直线；

13、对空间运动目标的边缘轮廓直线进行拟合，提取边缘直线的有效顶点；

14、基于极坐标思想对边缘直线的有效顶点进行排序并根据排序结果进行首尾相连，构建空间运动目标的光学模型即空间运动目标的掩码图像。

15、进一步，所述基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果这一步骤，其具体包括：

16、根据空间运动目标的光学模型，对空间运动目标的稀疏点云数据进行映射处理，获取对应的像素坐标；

17、将存在单目视觉的有效视野范围内的像素坐标与三维点进行匹配，获取空间运动目标在点云空间中的顶点，所述三维点为空间运动目标的点云中的三维点；

18、引入带约束的非线性优化问题，利用最近邻策略将空间运动目标在点云空间中的顶点与视觉空间中的顶点即有效顶点进行匹配处理，得到空间运动目标的点云粗提取结果。

19、进一步，所述带约束的非线性优化问题的表达式具体如下所示：

20、

21、

22、(camrlidar)tcamplidar＝i

23、

24、上式中，表示空间运动目标的光学模型，ain表示单目视觉的内参矩阵，aex表示单目视觉的外参矩阵，lidar表示稀疏雷达坐标系，cam表示相机坐标系，si表示该点i投影在图像平面上的像素坐标，camrlidar表示lidar相对于cam的旋转矩阵，ωi表示单目视觉的视野范围，表示根据光学模型计算的lidarpi的像素坐标。

25、进一步，所述基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果这一步骤，其具体包括：

26、确定参考点云，获取空间运动目标的点云粗提取结果的第k帧临近点云；

27、基于迭代最近点算法迭代求解第k帧临近点云对齐到参考点云的旋转矩阵和平移向量；

28、引入带约束的非线性优化方程，对第k帧临近点云与参考点云进行迭代匹配，对匹配结果进行判断；

29、判断到匹配结果大于预设阈值则更新第k帧临近点云对齐到参考点云的旋转矩阵和平移向量并再次进行匹配，直至匹配结果小于预设阈值，将第k帧临近点云与参考点云依次进行统一与融合处理，得到空间运动目标的点云融合结果。

30、进一步，所述带约束的非线性优化方程的表达式具体如下所示：

31、

32、

33、上式中，refrk表示第k帧临近点云对齐到参考点云的旋转矩阵，reftk表示第k帧临近点云对齐到参考点云的平移向量，pk,i表示第k帧临近点云数据，pref,j表示参考点云数据，nk表示第k帧临近点云所含三维点的数量。

34、进一步，所述基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果这一步骤，其具体包括：

35、基于迭代的空间运动目标三维重构方法对空间运动目标的点云融合结果进行分解优化，得到正交平面的最优参数；

36、结合正交平面的最优参数，基于优化的空间运动目标三维重构方法对空间运动目标进行三维重构处理，得到空间运动目标的三维重构结果；

37、基于空间运动目标的三维重构结果对空间运动目标的几何参数进行自辨识处理，得到辨识结果，所述辨识结果包括空间运动目标的顶点参数、空间运动目标的尺寸向量、空间运动目标的坐标轴和空间运动目标的中心。

38、进一步，所述基于迭代的空间运动目标三维重构方法对空间运动目标的点云融合结果进行分解优化，得到正交平面的最优参数这一步骤，其具体包括：

39、将空间运动目标的点云融合结果进行分解处理，得到空间运动目标的三个单平面，所述空间运动目标的三个单平面之间两两为正交关系；

40、基于空间运动目标的单平面，考虑平面法向量的约束关系，选取不共线的三个点，得到满足预设空间关系条件的六个空间点；

41、所述预设空间关系条件为第一空间点、第二空间点和第三空间点位于第一平面且第一空间点、第二空间点和第三空间点不共线，第四空间点和第五空间点位于第二平面且第四空间点和第五空间点构成的直线不与第一平面垂直，第六空间点位于第三平面；

42、基于上述空间运动目标的三个单平面与六个空间点，构建三个正交平面的数学模型，所述三个正交平面的数学模型包括对应平面的法向量与偏移量；

43、通过随机抽样一致算法对正交平面的数学模型进行估计，得到正交平面的最优参数。

44、进一步，所述结合正交平面的最优参数，基于优化的空间运动目标三维重构方法对空间运动目标进行三维重构处理，得到空间运动目标的三维重构结果这一步骤，其具体包括：

45、采用基于迭代的单平面拟合算法对空间运动目标的三个平面进行分割和局外点滤除，获取对应平面的粗参数；

46、根据平面的粗参数对平面的数学模型进行优化，得到对应平面的超定方程组；

47、对平面的超定方程组进行转换处理，获取对应平面的最小二乘问题；

48、根据对应平面的最小二乘问题对对应的平面进行拟合处理，得到对应平面的拟合结果；

49、结合各个平面的拟合结果构建空间运动目标的三维重构结果。

50、本发明所采用的第二技术方案是：基于空间运动目标三维重构的几何参数辨识系统，包括：

51、多源数据获取模块，用于通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；

52、多源数据分割模块，用于通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；

53、多源数据融合模块，基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；

54、多源数据提取模块，基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；

55、多源数据重构模块，基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。

56、本发明方法及系统的有益效果是：本发明通过获取单目视觉的图像数据和稀疏点云数据，通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，减小图像噪声和遮挡物的影响，并利用图像膨胀技术对空间运动目标的残缺部位进行填充，实现了“像素-色彩-类别”的关联，进一步基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，判断三维点是否属于空间运动目标，从而实现了空间运动目标的自主点云区域分割，实现“像素-色彩-类别-深度”的关联，更进一步的基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，能够通过坐标变换的方式，将相邻多视角点云进行对齐，实现多视角点云之间的信息互补，从而提高三维重构的效果和信息提取的精度，即通过多源融合可以实现多视角视觉和点云的信息互补，提高空间运动目标三维重构和几何参数自主辨识的精确性、稳定性以及时效性。