一种基于点云自适应修复的高反光表面结构光场三维重建方法

本发明涉及一种三维重建方法，尤其涉及一种具有高反光区域物体的三维重建方法。

背景技术：

光学三维测量方法具有全场获取、非接触式、低成本、高精度和快速处理等优势，现已被广泛地应用于学术研究和工业领域。传统的光学三维测量技术一定程度上受限于被测物体表面反射率，要求被测物体表面不能够存在大面积的高反射率区域。但是在工业应用过程中，零件经过加工后，表面会变得非常光亮，而使用传统光学三维测量技术对零件进行三维测量时，都需要通过相机采集零件图像，由于零件表面反射率较高，导致采集到的图像存在大面积的过曝光区域，这使得对零件重建的三维模型存在大面积的数据空洞。因此，迫切需要寻求一种针对高反光表面物体的三维重建方法。

技术实现要素：

本发明针对现有技术的不足，提供一种基于点云自适应修复的高反光表面结构光场三维重建方法。

为了达到上述目的，本发明提供的技术方案是：一种基于点云自适应修复的高反光表面结构光场三维重建方法，包括如下步骤：

步骤1，搭建结构光场三维重建系统，提取多视角光场子孔径图像；所述结构光场三维重建系统包括聚焦型光场相机、数字投影仪、电动平移台、计算机和检测零件；

步骤2，结构光场三维重建，具体包括如下子步骤：

步骤2.1，首先将参考平面固定于平移台上，用投影仪投射相移条纹序列至参考平面上，通过计算机进行相位解算可计算出各点绝对相位，然后从初始位置0mm处按一定步长沿着投影仪投射光的方向移动平移台数次，在每个位置分别进行上述步骤，可得每个位置处的绝对相位；然后计算每个位置的绝对相位与初始位置0mm处的位置作差得到多组绝对相位差；最后计算图像上每个像素点相位差与参考平面移动距离，即场景深度的线性映射关系；

步骤2.2，将物体置于参考平面的初始位置，投射正弦条纹序列到物体上，并使用聚焦型光场相机进行拍照，得到多视角下的经过物体调制的正弦条纹序列，获得每个视角下的正弦条纹序列图像上每个像素点对应的绝对相位，与之前参考平面在初始位置时的每个点的绝对相位进行作差，可得到多个视角下的图像上每个点的相位差，将相位差带入到线性映射关系中，可得到多个视角下物体的高度信息，从而得到被测物体多个视角下的点云，实现了多视角深度重建；

步骤3，基于icp(iterativeclosestpoint,迭代就近点法)算法的点云自适应修复以修复多视角重建过程中由于过曝光而丢失的信息，具体实现如下：

选择中心子孔径图像重建得到的点云，简称为中心点云作为待修复点云，为了确定点云中缺失部分的位置和面积，将中心点云pc沿z轴方向投影到xoy平面上，即将点云中每个点(x,y,z)的z值取0，其中x和y是图像像素坐标，z表示物体的高度；

通过判断每个像素中是否存在点，得到二值图像ib，灰度值为0表示没有该位置缺失点，灰度值为1表示存在，对ib进行8邻域连通域分析，记录面积大于一定像素的0值区域的位置，视为缺失部分{m}；

然后，利用点云配准icp算法对不同视角的点云与pc进行配准，得到融合点云pf，根据缺失部分{m}中的坐标从pf中提取相应区域，并与pc进行拼接，得到修复后的点云pr；

将修复后的pr投影至xoy平面上，得到缺失部分的坐标集{m’}，然后判断缺失部分是否低于预设期望值，如果不低于预设值，迭代修复pr，得到最终的重建结果。

进一步的，步骤1中首先对聚焦型光场相机中微透镜圆心位置进行标定，每个微透镜在图像传感器上对应的像素区域为宏像素，在稳定光照环境下，用光场相机拍摄纯白场景，采集到由白点阵列组成的白图像，然后根据白图像上的白点阵列对聚焦型光场相机微透镜阵列位置进行标定；

通过阈值处理和圆心检测从白图像上的白点阵列得到宏像素的中心点，即微透镜圆心在图像传感器上的投影坐标集合{c(s,t)}，其中s、t指宏像素中心点在图像传感器上的坐标，提取每个宏像素中相同位置的一定大小的图像元，可拼接成不同视角的子孔径图像；

进一步的，步骤1中获得多视角光场子孔径图像的具体实现方式如下；

设聚焦型光场相机中微透镜阵列与主透镜成像平面距离为a，与图像传感器距离为b，单个微透镜直径为d，则宏像素的边长lm可表示为：

其中，p为单个像素的实际边长尺寸，图像元的边长lie可表示为：

采用正方形微透镜阵列的聚焦型光场相机，则由聚焦型光场相机采集到的原始光场图像可提取u×v个子孔径图像，其中u和v可表示为：

其中，rd表示向下取整；

圆心坐标为c(s’,t’)的宏像素m(s’,t’)可表示为：

其中，ψ表示按顺序拼接成矩阵，ir表示聚焦型光场相机采集到的原始光场图像；

在中心点坐标为c(s’,t’)的宏像素下，角度为(u’,v’)图像元可表示为：

因此，角度为(u’,v’)的子孔径图像可表示为：

其中，al指微透镜阵列的行数，ac指微透镜阵列的列数；

通过上述得到一个场景下的多视角图像，即子孔径图像。

进一步的，步骤2.1中将参考平面固定于平移台上，从0mm-50mm移动参考平面，沿着投影仪投射光的方向移动，移动步长为5mm，在每个位置用数字投影仪分别投射频率为1/36、1/30和1/25的三组四步相移条纹图像，并由于光场相机采集，从共可采集11组图像，每组图像12幅，具体为：在0mm位置，投射一次，5mm位置，投射一次，10mm位置，投射一次……，50mm位置投射一次，这里总共投射11次；每次投射三种频率的正弦条纹序列，每种频率包含四幅正弦条纹图像，每幅正弦条纹的相位相差π/2，因此每次投射3×4幅即12幅正弦条纹。

进一步的，通过四步相移法和多频外差法得到每个位置下的绝对相位图，即可得每个位置下相机采集到的每个像素点的绝对相位。

进一步的，2.1中每个像素点的绝对相位与场景深度的映射关系，表示如下；

其中，

其中，建立世界坐标系yoz，和投影仪坐标系yproozpro，ypro轴方向为投影仪的光轴方向，zpro轴所在平面垂直于投影仪的光轴方向，f为投射结构光的空间频率；光线由聚焦型光场相机记录，与微透镜阵列和图像传感器相交于a点和b点，p代表投影仪，(yp,zp)表示投影仪在世界坐标系下的坐标，(ya,za)和(yb,zb)分别是世界坐标中的点a和点b，|c1c2|是光线pc1和pc2分别与yp交点的距离，是ypro轴在yoz坐标系中的斜率。

进一步的，还包括步骤4，分别从平滑度和修复率两个方面对重建结果进行评价；

其中平滑度的评价方法为：分别对原始点云和修复后的点云利用最小二乘法拟合曲面，规定基准面一侧的偏离值为负值，而另一侧的为正值，计算每个点到最小二乘法拟合的曲面的最大距离，以及平均误差和标准偏差，以此反映修复前后平滑度的改变，这里的标准偏差指点云与拟合的曲面的离散程度，标准偏差越大，表示这些点离拟合的曲面越远，标准偏差越小，表示这些点越接近于拟合的曲面；

为了评价点云修复效果，提出了修复率的概念。通过将点云投影到二维平面上，并对投影图像进行处理，可以更高效、直观地评价点云的修复率。点云修复率可由以下公式得出：

其中，pori为原始点云，prep为修复后点云，λxoy表示投影点云至xoy平面从而获得二进制图像，其中灰度值为0代表缺失点，灰度值为1代表存在点，cω表示通过连通域分析计算irep和iori这两个二值图像中1值区域的面积，表示对二值图像取反。

与现有技术相比，本发明提出了一种基于点云自适应修复的结构光场三维重建方法，具有如下优点和有益效果：

(1)传统结构光方法对高反光表面物体进行重建时，由于采集的图像中过曝处信息丢失，导致重建结果出现大面积的数据空洞。本发明引入光场相机，构成结构光场重建系统，利用光场成像中的多向成像特性，不需要额外设备和步骤就可有效解决高反光表面三维重建问题，有效提高重建效果和精度。

(2)本发明针对聚焦型光场相机提出了一种基于图像拼接的子孔径图像提取算法，可从聚焦型光场相机采集到的原始光场数据中提取多视角的子孔径图像。

(3)本发明提出了一种重建系统的评价方法，从平滑度和修复率两个方面对重建结果进行有效评价，提高方法的准确性和可信性。

附图说明

图1为本发明中结构光场三维重建系统。

图2为本发明实施例中标定微透镜阵列中心点。

图3中(a)为聚焦型光场相机结构图，(b)为子孔径图像提取算法。

图4中(a)为原始光场图像，(b)为子孔径图像。

图5中(a)为结构光场三维重建系统示意图，(b)为参数化表示示意图。

图6为多视角绝对相位图。

图7为本发明中点云自适应修复方法流程图。

图8为重建效果对比图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

本发明公开了一种基于点云自适应修复的高反光表面结构光场三维重建方法以及相应的重建系统评价方法；并提出一种针对聚焦型光场相机的基于图像拼接的子孔径图像提取方法。光场成像技术能够同时记录光线的位置信息和方向信息，因此，与传统相机相比，光场相机可捕捉到四维光场信息，通过提取四维光场信息可得到场景的多视角图像，即子孔径图像，并且由于视角不同，各子孔径图像之间的保存的信息存在一定的互补性。光场相机可以根据微透镜阵列的位置分为聚焦型和非聚焦型光场相机。由于受微透镜数量和尺寸的限制，非聚焦型光场相机的空间分辨率较低，无法满足应用和研究的要求。聚焦型光场相机的角度分辨率和空间分辨率可根据实际需要调整，具有更广泛的应用前景，本发明则采用聚焦型光场相机进行三维重建工作。针对传统方法中高反光表面三维重建失效问题，本发明利用光场成像技术中多视角成像特性实现对高反光物体的多视角重建，并基于点云配准iterativeclosestpoint(icp)算法提出了点云自适应修复方法。除此之外，针对重建结果，本发明提出了相应的评价方法。首先搭建实验平台，包括聚焦型光场相机、数字投影仪(dlp4500)、电动平移台、计算机。在使用聚焦型光场相机前，需对相机中的微透镜圆心位置进行标定，，将聚焦型光场相机光圈调小并在明亮场景下，采集纯白场景图像，得到具有白点阵列的白图像，根据白图像上的白点阵列可对聚焦型光场相机微透镜阵列位置进行标定，通过本发明公开的聚焦型光场相机子孔径提取方法，可从光场相机采集原始光场图像中提取多视角的子孔径图像；然后，对光场重建系统进行标定，将正弦条纹序列投影至参考平面上，移动参考平面并通过聚焦型光场相机记录各移动距离下参考平面上的相位变化，并将每个位置下相位值与初始位置相位值进行做差，可得到相位差-景深(移动距离)映射关系，通过子孔径图像提取算法得到多视角下相移图像并利用相位-景深映射关系可从多视角下重建得到三维点云数据。最后，由于重建得到的多视角点云数据之间存在一定的互补性，目标点云中的点云空洞部分可由其他视角点云相同位置进行迭代修复，从而实现高反光表面物体的完整三维重建。具体实现步骤如下：

1、光场子孔径图像提取方法

光场l(u,v,s,t)作为光线的参数化函数被广泛采用，其中l是沿光线的辐射强度，(u,v)和(s,t)分别表示光线与两个平行平面相交的坐标。本发明采用四维光场l(u,v,s,t)表示方法。也就是说，用l(u,v,s,t)来表示光场相机的分辨率，这里(u，v)指光场相机空间分辨率，即每张子孔径图像的分辨率，等价于普通相机分辨率；(s,t)指光场相机角度分辨率，即从光场原始图像中可提取出多少个角度。本发明采用的光场相机，分辨率为(936，936，5，5)，即提取的单张子孔径图像分辨率为936×936，可从原始的光场图像中提取出5×5个视角，如图4所示。

首先，搭建结构光场三维重建系统，试验实物图如图1所示。重建系统由聚焦型光场相机、数字投影仪(dlp4500)、电动平移台、服务器(用来进行后续的子孔径图像提取和点云修复工作)和被检测物体构成。首先将参考平面固定于平移台上，用投影仪投射相移条纹序列至参考平面上，通过计算机进行相位解算可计算出各点绝对相位，然后移动平台数次，在每个位置分别进行上述步骤，可得绝对相位与平移位置(即场景深度)的映射关系，然后再将平移台移动到初始位置，放上被测物体，投射相移条纹序列，可得到物体上每个点的绝对相位，通过绝对相位与场景深度的映射关系，可重建得到物体高度。

聚焦型光场相机的微透镜阵列与图像传感器之间的映射关系是后续提取光场信息的基础。首先需要对聚焦型光场相机中微透镜圆心位置进行标定，每个微透镜在图像传感器上对应的像素区域为宏像素，在稳定光照环境下，用光场相机拍摄纯白场景，采集到由白点阵列组成的白图像，如图2所示；然后根据白图像上的白点阵列对聚焦型光场相机微透镜阵列位置圆心进行标定。

通过阈值处理和圆心检测可从白图像上的白点阵列得到宏像素的中心点即微透镜圆心在图像传感器上的投影坐标集合{c(s,t)}，其中s、t指宏像素中心点在图像传感器上的坐标。提取每个宏像素中相同位置的一定大小的图像元可拼接成不同视角的子孔径图像。

设聚焦型光场相机中微透镜阵列与主透镜成像平面距离为a，与图像传感器距离为b，单个微透镜直径为d，则宏像素的边长lm可表示为：

其中，p为单个像素的实际边长尺寸。图像元的边长lie可表示为：

本发明采用正方形微透镜阵列的聚焦型光场相机，如图3所示，则由聚焦型光场相机采集到的原始光场图像可提取u×v个子孔径图像，其中u和v可表示为：

其中，rd表示向下取整。

圆心坐标为c(s’,t’)的宏像素m(s’,t’)可表示为：

其中，ψ表示按顺序拼接成矩阵，ir表示聚焦型光场相机采集到的原始光场图像。

在中心点坐标为c(s’,t’)的宏像素下，角度为(u’,v’)图像元，即第u’行第v’列的图像元可表示为：

因此，角度为(u’,v’)的子孔径图像，即第u’行第v’列的子孔径图像可表示为：

其中，al指微透镜阵列的行数，ac指微透镜阵列的列数。

通过上述方法可得到一个场景下的多视角图像，即子孔径图像，效果如图4所示。

2、结构光场三维重建方法

将参考平面固定于平移台上，从0mm-50mm移动参考平面，如图1所示，沿着投影仪投射光的方向移动，移动步长为5mm，在每个位置用数字投影仪分别投射频率为1/36、1/30和1/25的三组四步相移条纹图像，并由于光场相机采集，从共可采集11组图像，每组图像12幅，具体为：在0mm位置，投射一次，5mm位置，投射一次，10mm位置，投射一次……，50mm位置投射一次，这里总共投射11次；每次投射三种频率的正弦条纹序列，每种频率包含四幅正弦条纹图像，每幅正弦条纹的相位相差π/2，因此每次投射3×4幅即12幅正弦条纹。。

通过四步相移法和多频外差法可得到图像上每个像素点的绝对相位值，将5mm-50mm的每个位置的绝对相位与初始位置0mm处的位置作差可得到10组绝对相位差，通过下面的公式可得到图像上每个像素点相位差δφ与参考平面移动距离d(δφ)即场景深度)的线性映射关系：

其中，

如示意图5(b)所示，建立世界坐标系yoz，和投影仪坐标系yproozpro，ypro轴方向为投影仪的光轴方向，zpro轴所在平面是垂直于投影仪的光轴方向，其中空间频率f沿ypro轴为常数，沿y轴为变量，如图5(b)所示。光线由聚焦型光场相机记录，与微透镜阵列和图像传感器相交于a点和b点，其中v-t为世界坐标系中参数化的光场，p代表投影仪，(yp,zp)表示投影仪在世界坐标系下的坐标，(ya,za)和(yb,zb)分别是世界坐标中的点a和点b。|c1c2|是光线pc1和pc2分别与yp交点的距离。是ypro轴在yoz坐标系中的斜率。

然后，将物体置于参考平面的初始位置，投射正弦条纹序列到物体上，并使用光场相机进行拍照，通过子孔径提取算法，可得到多视角下的经过物体调制的正弦条纹序列(这里的调制是指正弦条纹在投影到物体上时，由于物体表面高度发生变化而导致条纹图案发生变化)，对每个视角下的正弦条纹序列采用四步相移法和多频外差法得到图像上每个像素点对应的绝对相位，与之前参考平面在初始位置时的每个像素点点的绝对相位进行作差，可得到多个视角下的图像上每个点的相位差δφ，将相位差δφ带入上面的线性映射关系，可得到多个视角下物体的深度信息(这里的深度信息指场景深度，即被测物体垂直于参平面方向的尺寸信息)，从而得到被测物体多个视角下的点云，实现了多视角深度重建。

3、点云自适应修复方法

由于物体表面存在高反光区域，导致重建得到的多视角点云信息不完整，会出现多处数据空洞，由于在同一场景中从多个视角重建点云，不同视角点云的信息之间具有一定的互补性。为了对点云进行精确修复，提出了一种基于icp算法的点云自适应修复方法。流程如图7所示。

在微透镜阵列上，单个微镜形状为圆形，而图像传感器多为矩形，由于二者形状不匹配，因此存在一定数量的无效像素点，即无信息像素点。在子孔径图像上表现为黑色像素点，而由于中心子孔径图像上无效信息最少，成像效果最好，由中心子孔径图像重建得到的点云质量最好，因此选择中心子孔径图像重建得到的点云，简称为中心点云作为待修复点云。为了确定点云中缺失部分的位置和面积，将中心点云pc沿z轴方向投影到xoy平面上(即将点云中每个点(x,y,z)的z值取0)。

通过判断投影图像上每个像素中是否存在点，得到二值图像ib，灰度值为0表示没有点，灰度值为1表示存在。对ib进行8邻域连通域分析，记录面积大于10像素的0值区域的位置，视为缺失部分{m}。

然后，利用点云配准icp算法对不同视角的点云与pc进行配准，得到融合点云pf，即将不同视角下的点云配准到同一个坐标系下，根据{m}中的坐标从pf中提取相应区域，并与pc进行拼接，得到修复后的点云pr。

将修复后的pr投影至xoy平面上(即将点云中每个点(x,y,z)的z值取0)，得到缺失部分的坐标集{m’}，然后判断缺失部分是否低于预设期望值，如果不低于预设值，迭代修复pr，重建效果对比如图8所示。

3、重建结果的客观评价方法

可以看到重建对比图8中a-e五个位置存在数据空洞，为评估重建结果，分别从平滑度和修复率两个方面对结果进行评价。

分别对原始点云和修复后的点云利用最小二乘法拟合曲面，规定基准面一侧的偏离值为负值，而另一侧的为正值。计算每个点到最小二乘法拟合的曲面的最大距离，以及平均误差和标准偏差，以此反映修复前后平滑度的改变。这里的标准偏差指点云与拟合的曲面的离散程度，标准偏差越大，表示这些点离拟合的曲面越远，标准偏差越小，表示这些点越接近于拟合的曲面。结果如表一和表二所示。从表一和表二的定量分析可以看出，原始点云和修复后的点云的标准差基本相同。也就是说，点云自适应修复方法不会影响点云的平滑度，可保证点云的拟合效果。

为了评价点云修复效果，提出了修复率的概念。通过将点云投影到二维平面上，并对投影图像进行处理，可以更高效、直观地评价点云的修复率。点云修复率可由以下公式得出：

其中，pori为原始点云，prep为修复后点云，λxoy表示投影点云至xoy平面从而获得二进制图像，其中灰度值为0代表没有点，灰度值为1代表有点。cω表示通过连通域分析计算irep和iori这两个二值图像中1值区域的面积。表示对二值图像取反。结果如表三所示。从表3中可以看出，修复率最高达到了97％，有效地恢复了因高反光表面而丢失的信息。因此，我们提出的方法可以有效地解决反射率变化较大的三维重建问题。

表一原始点云光滑度评价

表二修复点云光滑度评价

表三修复率评价

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。