基于计算机视觉的三维点云图像融合方法与流程

本发明涉及图像数据处理，具体涉及基于计算机视觉的三维点云图像融合方法。

背景技术：

1、随着科学技术的发展，在许多企业园区内部已经实现了智能化管理，其中企业内部的园区的安全是智能化管理的重中之重。而随着无人巡检车应用的普及，往往采用无人巡检车代替了园区人工巡查等传统的方法，大大提高了安防效率以及园区运行成本。但是在无人巡检车巡检过程中，需要实时的采集园区内的图像信息来工作，但是单个图像采集设备采集的数字图像已经无法满足实际的应用需求，往需要多种传感器的协同工作，其中三维点云数据和图像数据之间的融合使用在无人巡检车系统得到广泛的应用。三维点云数据有区别于二维图像的应用，三维点云数据往往表征着为目标的深度、几何等三维的信息特征，而二维图像数据表征着为目标的颜色、纹理等二维的信息特征，因此将三维点云数据和二维图像数据进行融合获取具备颜色等信息的三维点云模型，可以较为准确的表征目标的客观特征，使得在无人巡检车系统可以精准的检测目标情况，提供更好的自动巡检辅助。

2、然而现有的方法中，是将三维点云数据根据坐标转换关系投影到二维平面中进行融合，该类方法丢失了三维点云数据的空间分布特征，影响了点云数据之间的空间关系，使得投影结果出现较大的误差，因此在三维点云数据和图像数据的融合过程中无法满足无人巡检车行驶过程中的融合要求，因此亟待一种基于计算机视觉的三维点云图像融合方法。

技术实现思路

1、本发明提供基于计算机视觉的三维点云图像融合方法，以解决现有的问题。

2、本发明的基于计算机视觉的三维点云图像融合方法采用如下技术方案：

3、本发明一个实施例提供了基于计算机视觉的三维点云图像融合方法，该方法包括以下步骤：

4、获取三维点云数据和可见光图像，根据可见光图像中的边缘获得图像分割区域，将相邻帧结构相似度最大的图像分割区域进行组合获得所有图像区域组合的结构相似度的均值；

5、根据相邻帧可见光图像中图像分割区域的数量比例关系与结构相似度的均值获得每一帧可见光图像的分段程度，根据所有帧的分段程度获得分段时间区间；

6、对每帧三维点云数据进行聚类，选择每个点云聚簇中以三个点云为一个起始，逐次增加点云数量并逐次进行拟合点云所在的三维平面的法向量以及拟合次数，根据相邻两次对应三维平面的法向量的余弦相似度与拟合次数获得一个起始的第一结构复杂程度，选择每个点云聚簇中的多个起始，获得所有起始地第一结构复杂程度的均值；

7、所述逐次进行拟合点云所在的三维平面的过程中每个点云在参与拟合前后分别对应一个三维平面的法向量；

8、获取三维点云数据采集时相邻帧之间的时间间隔，将相邻帧点云聚簇的质心距离与时间间隔比值作为质心变化率，将点云聚簇与三维点云数据整体的质心坐标之间的距离与质心变化率的乘积作为偏移校正值；

9、利用偏移校正值对第一结构复杂程度的均值进行校正获得第二结构复杂程度；

10、根据第二结构复杂程度的大小获得感兴趣区域，在感兴趣区域内根据每个点云参与拟合前后的余弦相似度变化差异大小获得目标点云，根据邻域内不同位置的目标点云的点云密度的比重获得插值权重，利用插值权重对目标点云之间进行数据插值获得新的三维点云数据；

11、将新的三维点云数据与可见光图像进行融合获得融合后的图像，利用融合后的图像实现智能巡检辅助。

12、进一步的，所述结构相似度的均值，获取方法如下：

13、将第帧可见光图像中任意一个图像分割区域记为目标图像分割区域，计算在第帧可见光图像中每一个图像分割区域与第帧的目标图像分割区域之间的结构相似度，将第帧的目标图像分割区域与第帧图像中结构相似度最大的图像分割区域作为一个图像区域组合，通过重复上述过程，获得第帧可见光图像与第帧图像中所有的图像区域组合以及对应的结构相似度，并获取第帧和第帧可见光图像的所有图像区域组合的结构相似度的均值。

14、进一步的，所述分段程度，获取方法如下：

15、

16、式中，表示第帧可见光图像中的图像区域的个数；表示第帧可见光图像中图像区域的个数；最大相似度均值表示第帧和第帧可见光图像的所有图像区域组合的结构相似度的均值。

17、进一步的，所述分段时间区间，获取方法如下：

18、将连续帧可见光图像中分段程度连续大于第一预设阈值的部分可见光图像作为分段帧，分段帧中左右两侧作为区间的端点，端点以及内部所包含的可见光图像所对应的区间记为一个分段时间区间，获得连续帧可见光图像的多个分段时间区间。

19、进一步的，所述第一结构复杂程度，获取方法如下：

20、以任意一个点云聚簇作为目标点云聚簇，在目标点云聚簇中随机选取若干个点云，以随机选取若干个点云中任意一个作为目标起始中心，获取距离目标起始中心最近的点云构成一个三维平面，获取该三维平面的法向量，不考虑已经参与过拟合三维平面的点云，进一步获取距离该三维平面最近的点云并再次利用最小二乘平面拟合的方法获取新的三维平面，依旧获取新的三维平面的法向量，以此类推，使得点云聚簇中的所有点数都参与计算；

21、第一结构复杂程度：

22、

23、式中，表示以随机选取的若干个点云中的第个点云作为三维平面拟合的起始中心，拟合次数表示该分段时间区间中第帧的第个点云聚簇拟合平面的次数；复杂程度因子表示在第个起始中心下所获取的第次拟合平面的平面法向量和第次拟合平面的平面法向量之间的余弦相似度，第一结构复杂程度表示利用第个起始中心所获取的第帧三维点云数据中第个点云聚簇的结构复杂程度。

24、进一步的，所述偏移校正值，获取方法如下：

25、偏移校正值：

26、

27、式中，表示组合点云聚簇中的第帧三维点云数据的第个点云聚簇质心的坐标；表示在组合点云聚簇中的第帧三维点云聚簇的第个点云聚簇质心的坐标；表示第帧和第帧三维点云数据的获取间隔时间；质心变化率表示第帧和第帧三维点云数据的第l个点云聚簇在数据获取间隔之间内质心位置发生变化的平均变化率；表示第j帧三维点云数据整体的质心坐标，表示第帧三维点云数据的第个点云聚簇质心与三维点云数据整体的质心的欧式距离。

28、进一步的，所述第二结构复杂程度，获取方法如下：

29、

30、其中，表示线性归一化后的第帧三维点云数据的第个点云聚簇的结构复杂程度的校正值，表示第帧三维点云数据的第个点云聚簇的第一结构复杂程度的均值。

31、进一步的，所述新的三维点云数据，获取方法如下：

32、点云聚簇的第二结构复杂程度值大于第二预设阈值时，将该点云聚簇设置为感兴趣区域；

33、在感兴趣区域内，根据三维平面拟合中计算到余弦相似度差异变化发生较大的点云作为结构变化关键的位置，若余弦相似度小于预设阈值，则表明对应的点云位于结构变化关键的位置，对位于结构变化关键的位置的点云的球体范围内进行数据插值，其中球体半径范围的确定为该点云距离最近的位于结构变化关键位置的点云之间的欧式距离为半径，在球体范围内该点云距离其他点云之间连线上的位置进行插值，根据不同球体范围内的点云密度的比重获得插值权重，利用插值权重对目标点云与其他点云之间欧式距离进行缩小，获得插值数据的插值位置，根据插值位置进行数据插值，插值方向为获得欧氏距离时的其他点云与目标点云之间的线段上，获得数据插值后的三维点云数据。

34、进一步的，所述利用融合后的图像实现智能巡检辅助，具体包括的步骤如下：

35、根据三维点云数据和二维平面图像数据的坐标转换关系，将插值后的三维点云数据投影到二维平面图像数据中，将二维平面图像数据中的每个像素点的像素值同样赋予给投影后的点云数据位置的像素点，进行三维点云数据和二维平面图像数据的融合，将融合后的图像输入到卷积神经网络获得避障、前进、后退以及停车的巡检指令信息，实现智能巡检辅助。

36、本发明的技术方案的有益效果是：通过连续帧的二维图像数据的分布特征获取图像区间分段，并根据每个区间分段内点云数据的局部分布特征来获取感兴趣区域的位置，并在感兴趣区域根据点云的数据的局部范围内的密度变化进行插值，使得投影后的三维空间上的局部特征关系进行保留。其中感兴趣区域的获取过程在通过考虑单帧的三维点云数据进行聚类分析，并根据每个点云聚簇内部点云数据的分布特征获取结构复杂程度，并结合同区间分段内的连续帧的点云数据的变化进行校正，进而获取最终的结构复杂程度并获取感兴趣区域。避免了传统的三维点云数据和二维图像数据融合过程中，丢失了三维点云数据的空间分布特征，影响了点云数据之间的空间关系，使得投影结果出现较大的误差的缺点，大大的保留了三维点云数据的空间局部分布特征以及它们之间对应的空间关系。