一种针对点云数据异常和缺失的多目互补方法

1.本发明涉及机器视觉三维测量技术领域，更具体地说，它涉及一种针对点云数据异常和缺失的多目互补方法。


背景技术：

2.随着工业4.0时代的到来及发展，机械设备正逐步取代人工作业，进入生产加工各个环节，其中，机器视觉技术已广泛应用于产品测量和检测等工作，在生产线上可以代替以往人眼工作，并做到效率更高、精度更高和成本更低。传统的二维图像机器识别发展已经达到瓶颈，工作环境不够灵活、视场视距小等适应性差的问题，已逐渐难以满足多场景需要。三维重建技术是机器视觉的主要研究领域之一，其可以通过还原物体或环境的表面三维结构，高效地完成其三维信息及三维姿态的测量。
3.如今线激光三维扫描测量系统面对的难题首先是测量一些表面粗糙度低或者表面光泽比较明亮的物体时，产生漫反射的同时会出现较强的镜面反射现象，引起相机成像的激光光条存在噪声干扰和光条光强分布不均匀，造成较大的测量误差。其次是被测物体表面有凹凸起伏时，相机拍摄出现盲区，相机接收不着反射光线的区域称为盲区。


技术实现要素：

4.本发明的目的是提供一种针对点云数据异常和缺失的多目互补方法，利用多个相机获取的多个点云数据进行点云数据拼接来替换数据异常的点云和补充表面缺失的点云。解决当前的线激光扫描测量系统中出现反射异常和盲区的技术问题，能有效地提高测量效率和测量精度。
5.本发明的上述技术目的是通过以下技术方案得以实现的：一种针对点云数据异常和缺失的多目互补方法，包括如下步骤：s1:搭建测量装置；所述测量装置包括运动平台和在运动平台四周搭建的金属框架，所述金属框架的顶部设有若干的夹具，通过所述夹具夹持固定有激光发射器和若干的相机，所述激光发射器位于若干的相机的中心位置；若干的相机连接计算机；
6.s2:标定操作；在所述运动平台上放置楔形标定板，所述楔形标定板的斜面设有若干的特征点；激光发射器投射激光到楔形标定板的顶部，通过相机采集楔形标定板的系列的图像，计算机对相机采集的系列图像进行处理；
7.s3:三维重建；标定完成后，扫描被测物体进行三维重建进行获得点云数据；
8.s4:点云数据拼接；通过对点云数据进行拼接来替换掉原点云数据中存在异常的点云和补充表面缺失的点云，合成一组完整和没有异常的点云数据；
9.s5:三维测量；对没有异常的点云数据进行测量。
10.本发明进一步设置为：所述步骤s1中，所述夹具的数量为5个，所述相机的数量为4部，4部相机通过夹具按一定角度倾斜地安装在金属框架的顶部；激光发射器位于4部相机的中心位置，4部相机连接同一计算机。
11.本发明进一步设置为：所述步骤s1中，所述夹具的数量为5个，所述相机的数量为4部，4部相机通过夹具按一定角度倾斜地安装在金属框架的顶部；激光发射器位于4部相机的中心位置，4部相机连接同一计算机。
12.本发明进一步设置为：所述步骤s2中，计算机通过算法对相机采集的系列图像进行预处理并提取激光光条的中心，将系列图像的激光光条的中心组合成一张标定板图像，通过算法提取二维图像特征点的二维坐标，再求出三维世界坐标系中楔形标定板的特征点的坐标与二维图像特征点的坐标的映射关系。
13.本发明进一步设置为：所述步骤s2中的楔形标定板，其斜面设有5行8列共40个特征点。
14.综上所述，本发明具有以下有益效果：本发明提出一种针对点云数据异常和缺失的多目互补方法，该方法是增加了测量系统中相机的数量，相机的数量为4部，4部相机呈x字形分布，激光发射器位于4部相机的中心位置，4部相机有着一定角度倾斜地安装，相机没有正对着照射在被测物体表面的激光光条，这样的位置安装可以使相机减少接收镜面反射现象产生较强的反射光，减少出现反光异常部分，再利用多个相机获得的多个点云数据进行点云数据拼接替换数据异常的点云，提高了测量系统的抗干扰能力和测量精度。增加了相机的数量后，4部相机一次性同时扫描被测物体，再进行点云数据拼接来补充表面缺失数据，提高了测量效率。
附图说明
15.图1是本发明实施例中基于单线激光多目的三维扫描测量装置结构图；
16.图2是本发明实施例中楔形斜面圆点标定板示意图；
17.图3是本发明实施例中技术方案流程图；
18.图4是本发明实施例中解决异常反光的原理图；
19.图5是本发明实施例中相机正对被测物体时拍摄的激光光条；
20.图6是本发明实施例中相机无正对被测物体时拍摄的激光光条；
21.图7是本发明实施例中解决拍摄盲区的原理图；
22.图8是本发明实施例中单张标定板上的激光光条；
23.图9是本发明实施例中多张图像组成完整的标定板图像；
24.图10是本发明实施例中找出所有特征点的中心图；
25.图11是本发明实施例中检索表；
26.图12是本发明实施例中标定图像；
27.图13是本发明实施例中拼接后的点云图像。
28.图中：1、金属框架；2、相机；3、夹具；4、激光发射器；5、运动平台；6、楔形标定板。
具体实施方式
29.以下结合附图1-13对本发明作进一步详细说明。
30.1.实施例：一种针对点云数据异常和缺失的多目互补方法，如图1-13所示，包括如下步骤：
31.s1:搭建测量装置；所述测量装置包括运动平台和在运动平台四周搭建的金属框
架，所述金属框架的顶部设有若干的夹具，通过所述夹具夹持固定有激光发射器和若干的相机，所述激光发射器位于若干的相机的中心位置；若干的相机连接计算机；
32.s2:标定操作；在所述运动平台上放置楔形标定板，所述楔形标定板的斜面设有若干的特征点；激光发射器投射激光到楔形标定板的顶部，通过相机采集楔形标定板的系列的图像，计算机对相机采集的系列图像进行处理；
33.s3:三维重建；标定完成后，扫描被测物体进行三维重建进行获得点云数据；
34.s4:点云数据拼接；通过对点云数据进行拼接来替换掉原点云数据中存在异常的点云和补充表面缺失的点云，合成一组完整和没有异常的点云数据；
35.s5:三维测量；对没有异常的点云数据进行测量。
36.首先搭建测量装置，在运动平台的周围用铝型材搭建框架，在框架上用夹具固定相机和激光发射器的位置，保证其相对位置不会发生改变。4部相机呈x字形分布，激光发射器位于4部相机的中心位置，激光发射器垂直地向被测物体的表面投射线激光，4部相机能拍摄到表面上附有激光的被测物。4部相机需要一定角度倾斜地安装，相机没有正对着照射在被测物体表面的激光光条，这样的位置安装可以使相机减少接收镜面反射现象产生较强的反射光，抑制出现反光异常部分，提高了抗干扰能力。如图1所示。
37.搭建好测量装置，需要对测量装置进行标定，其目的是确定被测物体表面轮廓特征点在三维世界坐标系与二维图像坐标系之间的映射关系。本发明提出一种新的标定方法，并且设计了一个新的标定板来应用于这个新的标定方法，标定板为楔形斜面圆点标定板，如图2所示。激光发射器投射激光到标定板的顶部，运动平台移动标定板直到激光到标定板的底部，此过程中用计算机采集一系列的图像，通过算法对一系列图像进行预处理并提取激光光条的中心，然后一系列图像的激光光条的中心组合成一张标定板图像，再通过算法提取二维图像特征点的二维坐标，再求出三维世界坐标系中标定板的特征点的坐标与二维图像特征点的坐标的映射关系。4部相机都要进行标定操作，标定完成后，扫描被测物体进行三维重建进行获得四组点云数据，四组点云数据进行拼接来替换四组点云数据中存在异常的点云和补充表面缺失的点云，最后合成一组完整和没有异常的点云数据。流程图如图3所示。
38.本发明提出使用四个工业相机来拍摄被测物体，目的是能够抑制反射异常和解决盲区的技术问题。4部相机需要一定角度倾斜地安装，相机没有正对着照射在被测物体表面的激光光条，这样的位置安装可以使相机减少接收镜面反射现象产生较强的反射光，抑制出现反光异常部分，提高了抗干扰能力。多个相机拍摄被测物体，可以解决拍摄出现盲区问题。其原理图4和图7所示。
39.激光发射器投射激光在表面粗糙度的值较低或表面光泽比较明亮的物体的时候，产生漫反射的同时会出现较强的镜面反射现象，其反射光的反射方向取决于激光和表面的相对方向，所以4部相机需要一定角度倾斜地安装，相机无正对着被测物体表面，使相机减少接收镜面反射现象造成较强的反射光，达到了抑制反射异常的效果。如图5所示，从图5可以看出，相机正对着被测物体时拍摄的激光光条，存在很强的散斑噪声并且激光光条的光强分布不均匀。如图6所示，从图6可以看出，相机无对着被测物体时拍摄的激光光条的光强分布整体比较均匀，但左边部分仍然不均匀和存在着一些散斑噪声，但与图5相比，整体少了很多散斑噪声，基本达到了抑制反光异常的效果，提高了抗干扰能力。
40.从图7可以看出，当增加了相机数量，相当于增加了拍摄的角度，相机从前后角度拍摄后利用三维数据重建点云图像，再进行点云数据拼接来补充表面缺失数据，可以解决相机拍摄过程中出现盲区问题。
41.本发明提出一种新的标定方法，并且设计了一个新的楔形标定板来应用于这个新的标定方法。楔形标定板的设计满足以下要求：(1)为了实现被测物体表面轮廓特征点在世界坐标系与图像坐标系之间的映射关系，知道标定板的形状尺寸进行设计。(2)标定板上的特征点被相机拍摄后，图像上的特征点能清晰地被识别出来。(3)为避免被测物体超出标定范围，导致图像坐标无法转换到对应实际三维坐标，标定板的设计比被测物体大。(4)标定板的特征点的数目要适中并且达到标定精度要求，特征点按一定规律排列，每个特征点之间的距离相等。根据以上的要求，加上对测量精度、制作实施便捷性、测量系统平台环境与线激光光源等因素考虑，最后设计了楔形斜面圆点标定板。如图2所示。
42.标定方法步骤如下：
43.首先需要拍摄标定板的一系列图像，激光发射器投射激光到标定板的顶部，运动平台移动标定板直到激光到标定板的底部，此过程中用计算机采集一系列图像，因为需要组合成完整的标定板并且达到标定精度要求，所以首先求出相机的像素精度，运动平台每移动一个像素的实际距离相机拍摄一张图像，通过算法对图像进行预处理并且利用重心法提取图像的激光光条中心坐标，重复上述操作，多张图片得到的中心坐标能组成一张完整的标定板图像，如图8和图9所示。
44.标定方法的实现需要输入现实坐标系的三个坐标点作为参考点，标定板上的特征点为5行8列，数量为40个，所以假设第一行第一列特征点的中心点为世界坐标系的原点坐标(0，0，0)，则第一行第八列的特征点的中心点坐标为(101，0，0)，第八行第一列的特征点的中心点坐标为(0，0，-40)。因为y方向的点云间距与相机帧率和运动平台的运动速度有关，所以y方向的现实坐标无意义，设为0。通过算法找出标定板上的特征点的轮廓并提取其特征点，得到中心点的二维图像坐标。如图10所示。由于特征点都是有规律地排列，并且每个特征点之间的距离相等，利用世界坐标系的三个坐标点作为参考，从而可以求出所有特征点的三维坐标，再通过标定算法把二维图像上每个特征点中心点之间像素坐标对应的三维坐标求出来，就能求出世界坐标系与图像坐标系之间的映射关系，生成相应的检索表并用yml格式的文件保存下来。如图11所示。检索表就等于一个矩阵，行列的位置等于像素坐标的行列位置，位置里所存的值就是三维坐标，所以获得像素坐标的位置就可以获得三维世界坐标。为了可以显示效果，我把三维坐标数据按照像素坐标位置一一对应地存放在一张32位3通道类型的图像里，此图像作为标定图像，如图12所示，图像上有颜色代表着此像素坐标位置存放着三维数据，所以获得二维像素坐标就能获得对应的三维坐标。检索表只需要生成一次，如果激光发射器或者相机的相对位置发生变化时，需要重新进行标定操作生成检索表。
45.(3)4部相机完成以上步骤即完成标定操作，生成四个检索表。接下来就是扫描被测物体，激光发射器照射激光在被测物体表面上，在相机采集的图像上的激光光条轮廓的都在标定图像上有颜色的范围之内，才能准确地把二维像素坐标映射出对应的三维世界坐标。4部相机拍摄一系列的图像后，通过算法对图像进行预处理并且利用重心法提取图像的激光光条中心坐标，然后对应检索表，使像素坐标转换为对应的三维坐标。4部相机拍摄激
光照射在被测物体同一个位置时就会有四张图像，但是四张图像的激光光条位置并不相同，因为四张图像代表着有四个不同的像素坐标系，但由于四个不同的像素坐标系都是转换为同一个三维世界坐标系，所以转换后得出四组同一个三维世界坐标系的点云数据，对四组点云数据进行点云数据拼接来替换数据异常的点云和补充表面缺失的点云，最终合成一组完整和没有异常的点云数据，如图13所示。
46.四组点云数据合成后，不仅可以增加了点云了数量，还可以把异常的点云数据替换掉和补充表面缺失的点云，相当于4部相机得到的四组点云数据进行互补，形成一组完整和准确的点云数据，极大地提高了测量精度。
47.本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。