三维重建装置及设备的制作方法
本实用新型涉及光学三维测量领域，尤其涉及一种三维重建装置及设备。
背景技术：
三维重建技术在三维建模、逆向工程、3D打印、人体测量、人机交互、电影和动画制作等方面具有广泛的应用。近年来，廉价的三维成像传感器(如Kinect)使得3D数据获取的成本大大降低。但这些廉价的传感器精度很有限，不能直接得到高精度的重建。
现有技术中的三维重建装置一般可以采用经典的光度立体视觉方法利用同一个相机拍摄的3张不同光照条件下的图像，可以计算出目标的表面法线方向。光度立体视觉方法能够很好地重建目标表面的高频细节，但容易出现低频的畸变。光度立体视觉方法大部分还处于实验室研究阶段，对使用的条件要求非常严格。在已经通过其他方法获得目标表面几何的情况下，通过与光度立体视觉得到的法向场融合，可以得到更高精度的表面重建。在这些装置中，基于点光源的系统，具有紧凑的结构，但通常需要采用专门的标定装置(如反光球)精确标定点光源的参数。假设光源为平行光的系统，可以实现光源自标定，但为了获得平行光，光源必须放置在远离目标的地方，这就导致整个重建系统结构不紧凑。有的装置采用的方法是假设目标表面具有均匀的反射率，对具有均匀反射率的目标重建效果很好，但不适用于具有多反射率的目标。而在实际应用环境中，具有多反射率的目标是很常见的。
技术实现要素：
本实用新型实施例提供了一种三维重建装置及设备，能够采用近距离点光源模型，使得三维重建系统结构紧凑，且适用于具有多反射率的目标。
本实用新型实施例第一方面提供了一种三维重建装置，包括：
第一标定模块，用于标定两个近红外相机的内部参数以及外部参数；
第二标定模块，用于根据所述第一标定模块标定的两个近红外相机的内部参数以及外部参数，标定至少三个LED点光源的参数；
采集模块，用于按照预设的时序采集近红外光斑发生器照明的散斑图像以及至少三张LED点光源照明的图像；
第一获取模块，用于根据所述采集模块采集的所述近红外光斑发生器照明的散斑图像，获取初始深度图；
第二获取模块，用于根据所述第二标定模块标定的所述至少三个LED点光源的参数以及所述采集模块采集的所述至少三张LED点光源照明的图像，获取目标表面的法线方向；
输出模块，用于融合所述第一获取模块获取的所述初始深度图以及所述第二获取模块获取的所述目标表面的法线方向，输出目标深度图。
结合本实用新型实施例第一方面，在本实用新型实施例第一方面的第一种实现方式中，所述LED点光源的参数包括：所述LED点光源的位置以及亮度；
所述第二标定模块，用于根据所述两个近红外相机的内部参数以及外部参数，分别标定每一个LED点光源的参数；
其中，所述第二标定模块，包括：
初始深度图获取单元，用于根据近红外光斑发生器照明的散斑图像获取初始深度图D0；
噪声抑制单元，用于对所述初始深度图D0进行双边滤波，得到D0'；
位置初值获取单元，用于根据所述LED点光源在相机坐标系中的位置，获得所述LED点光源位置的估算初值s0；
生成单元，用于根据所述D0'以及所述两个近红外参数的内部参数以及外部参数，生成目标的初始点云xi和法线方向ni；
亮度初值获取单元，根据所述s0、xi和ni，由计算公式可得出光源亮度的初值E0；其中，所述计算公式为：所述oi为图像的灰度；
标定单元，用于以所述s0以及所述E0为初值，由非线性最小二乘优化得到所述LED点光源的位值和亮度。
在一种可能的实现方式中，所述目标具有均匀的反射率，即所述ρi＝1。
结合本实用新型实施例第一方面，在本实用新型实施例第一方面的第二种实现方式中，所述采集模块包括：
第一采集单元，用于打开近红外光斑发生器，采用所述两个近红外相机采集所述近红外光斑发生器照明的散斑图像；
第二采集单元，用于关闭所述近红外光斑发生器，依次点亮所述至少三个LED点光源，采用所述两个近红外相机中的一个近红外相机采集每个LED点光源照明的图像。
结合本实用新型实施例第一方面的第一种实现方式，在本实用新型实施例第一方面的第三种实现方式中，所述第二获取模块包括：
获取单元，用于根据所述至少三个LED点光源的位置、亮度以及所述至少三张LED点光源照明的图像的灰度值，获取目标表面上三维点处的法线方向以及反射率。
结合本实用新型实施例第一方面，在本实用新型实施例第一方面的第四种实现方式中，所述内部参数包括以下至少一种：镜头焦距、主点、畸变系数；
所述外部参数包括以下至少一种：两个相机坐标系之间的旋转矩阵、平移向量。
本实用新型实施例第二方面提供了一种三维重建设备，包括：
两个近红外相机、至少三个LED点光源、近红外光斑发生器、存储器以及处理器；
所述存储器用于存储程序指令；
所述处理器用于调用所述存储器中的程序指令并执行：
标定所述两个近红外相机的内部参数以及外部参数；
根据所述两个近红外相机的内部参数以及外部参数，标定所述至少三个LED点光源的参数；
按照预设的时序采集所述近红外光斑发生器照明的散斑图像对以及至少三张LED点光源照明的图像；
根据所述近红外光斑发生器照明的散斑图像对，获取初始深度图；
根据所述至少三个LED点光源的参数以及所述至少三张LED点光源照明的图像，获取目标表面的法线方向；
融合所述初始深度图以及所述目标表面的法线方向，输出目标深度图。
结合本实用新型实施例第二方面，在本实用新型实施例第二方面的第一种实现方式中，所述LED点光源的参数包括：所述LED点光源的位置以及亮度；
所述处理器根据所述两个近红外相机的内部参数以及外部参数，标定所述至少三个LED点光源的参数，包括：根据所述两个近红外相机的内部参数以及外部参数，分别标定每一个LED点光源的参数；
其中，所述处理器标定每一个LED点光源的参数，包括：
根据近红外光斑发生器照明的散斑图像对获取初始深度图D0；
对所述初始深度图D0进行双边滤波，得到D0'；
根据所述LED点光源在相机坐标系中的位置，获得所述LED点光源位置的估算初值s0；
根据所述D0'以及所述两个近红外参数的内部参数以及外部参数，生成目标的初始点云xi和法线方向ni；
根据所述s0、xi和ni，由计算公式可得出光源亮度的初值E0；其中，所述计算公式为：所述oi为图像的灰度；
以所述s0以及所述E0为初值，由非线性最小二乘优化得到所述LED点光源的位值和亮度。
结合本实用新型实施例第二方面，在本实用新型实施例第二方面的第二种实现方式中，所述处理器按照预设的时序采集所述近红外光斑发生器照明的散斑图像对以及至少三张LED点光源照明的图像，包括：
打开近红外光斑发生器，采用所述两个近红外相机采集所述近红外光斑发生器照明的散斑图像对；
关闭所述近红外光斑发生器，依次点亮所述至少三个LED点光源，采用所述两个近红外相机中的一个近红外相机采集每个LED点光源照明的图像。
结合本实用新型实施例第二方面的第一种实现方式，在本实用新型实施例第二方面的第三种实现方式中，所述处理器根据所述至少三个LED点光源的参数以及所述至少三张LED点光源照明的图像，获取目标表面的法线方向，包括：
根据所述至少三个LED点光源的位置、亮度以及所述至少三张LED点光源照明的图像的灰度值，获取目标表面上三维点处的法线方向以及反射率。
结合本实用新型实施例第二方面，在本实用新型实施例第二方面的第四种实现方式中，所述内部参数包括以下至少一种：镜头焦距、主点、畸变系数；
所述外部参数包括以下至少一种：两个相机坐标系之间的旋转矩阵、平移向量。
可以看出，本实用新型实施例提供了一种三维重建装置及设备，通过对近红外相机的内部参数以及外部参数进行标定、对至少三个LED点光源的参数进行标定，将基于散斑的立体匹配方法和近距离点光源光度立体视觉方法结合起来，能够同时兼顾重建细节以及尺寸的精确性，使得整个系统更加紧凑，且能适应具有多反射率表面的目标。
附图说明
为了更清楚地说明本实用新型实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实用新型实施例提供的一种三维重建装置结构图；
图2为本实用新型实施例提供的一种第二标定模块结构图；
图3为本实用新型实施例提供的近距离点光源与目标表面几何关系示意图；
图4为本实用新型实施例提供的一种采集模块结构图；
图5为本实用新型实施例提供的一种图像采集时序图；
图6(a)为本实用新型实施例提供的近红外相机采集的散斑图像对；
图6(b)为本实用新型实施例提供的左相机采集的4个LED点光源照明的图像；
图7(a)为本实用新型实施例提供的采用KinectFusion得到的大卫头像重建结果；
图7(b)为本实用新型实施例提供的采用本方法得到的大卫头像重建结果；
图8左图为基于散斑立体匹配方法的重建结果，右图为融合光度立体视觉和基于散斑图像立体匹配的重建结果；
图9为本实用新型实施例提供的一种三维重建设备结构图；
图10为本实用新型实施例提供的一种具体的三维重建设备结构图。
具体实施方式
下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述。
本实用新型的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。模块的系统、产品或设备没有限定于已列出的模块，而是可选地还包括没有列出的模块，或可选地还包括对于这些产品或设备固有的其他模块。
请参阅图1，图1为本实用新型实施例提供的一种三维重建装置，如图9所示，三维重建装置10至少可以包括：第一标定模块110、第二标定模块120、采集模块130、第一获取模块140、第二获取模块150以及输出模块160；其中：
第一标定模块110，用于标定两个近红外相机的内部参数以及外部参数。
具体地，两个近红外相机分别左右放置。其中，相机的内部参数包括镜头焦距、主点、畸变系数等；外部参数包括左右相机坐标系之间的旋转矩阵和平移向量等。
具体地，对于相机内部参数以及外部参数的标定通常采用张正友标定法，采用此方法只需要利用平面靶标就可以实现相机参数的标定。此外，还可以用三维靶标对相机的参数进行标定，但是二维的平面靶标的获取比三维靶标更容易，因此常用张正友标定法对相机参数进行标定。
第二标定模块120，用于根据所述第一标定模块110标定的两个近红外相机的内部参数以及外部参数，标定至少三个LED点光源的参数。
具体地，点光源的参数可以包括亮度以及位置，位置具体可以为相对于左相机坐标系的位置。
具体地，LED点光源的个数至少为三个，理论上三个LED点光源即可，但优选方案通常为四个LED点光源。
采集模块130，用于按照预设的时序采集近红外光斑发生器照明的散斑图像以及至少三张LED点光源照明的图像。
具体地，近红外光斑发生器照设目标表面时，采用两个近红外相机分别采集目标的散斑图像，形成散斑图像对。LED点光源照射目标表面时，可以采用两个近红外相机中的左相机采集图像，也可以采用两个近红外相机中的右相机采集图像。
第一获取模块140，用于根据所述采集模块采集的所述近红外光斑发生器照明的散斑图像，获取初始深度图。
具体地，可以应用立体匹配算法来计算出初始深度图。例如，采用归一化互相关系数进行立体匹配，计算视差图。得到视差图后，用立体匹配中的唯一性约束剔除误匹配点。
第二获取模块150，用于根据所述第二标定模块120标定的所述至少三个LED点光源的参数以及所述采集模块采集的所述至少三张LED点光源照明的图像，获取目标表面的法线方向；
具体地，可以对至少三张LED点光源照明的图像应用光度立体视觉算法获得目标表面的法线方向。
输出模块160，用于融合所述第一获取模块140获取的所述初始深度图以及所述第二获取模块150获取的所述目标表面的法线方向，输出目标深度图。
具体地，对初始深度图以及由光度立体视觉算法计算出的目标表面的法线方向进行融合，得到精度更高的深度图并输出。
在一种具体的实现方式中，输出模块160至少可以包括以下几个单元：
优化单元，用于优化法线方向。
具体地，根据由散斑立体图像匹配得到初始深度图可以计算出目标表面的三维点云，由三维点云可以计算出目标表面的法线方向场，记为Nm。Nm的噪声特性主要表现为高频噪声。由光度立体视觉方法得到的法线方向场记为Np，它的噪声特性主要表现为低频噪声。根据它们各自的噪声特性，采用以下步骤对它们进行融合。
(a)对Nm和NP进行高斯平滑，得到它们的低频分量和
(b)计算从到Np的旋转矩阵场R。
(c)用旋转矩阵场R对进行校正，得到校正后的法向场
输出单元，用于根据优化单元优化的法线方向，优化点云位置，并输出目标深度图。
具体地，对于某个像素点(x,y)，给定其深度值Z(x,y)，该点的三维坐标P(x,y)可表示为：
其中，Fx和Fy为等效焦距(单位为像素)。
点云位置优化的目标是使得优化后的深度图同时符合立体匹配得到三维点云Pm和法向场Nc。为了达到这个目的，构建一个目标函数，包含两个误差项，即位置误差项Ep和法向误差项En。
位置误差线定义为：
其中，Pi为优化的点坐标。
由式(1)可得，
法向误差项定义的依据是：优化后的表面切线方向应与Nc垂直。切线方向Tx和Ty定义为：
法向误差项定义为：
总误差函数为：
E(Z)＝λEp+(1-λ)En (7)
其中，λ∈[0,1]。
通过最小化式(7)，得到优化后的深度图，即目标深度图。
实施本实用新型实施例可以通过对近红外相机的内部参数以及外部参数进行标定、对至少三个LED点光源的参数进行标定，将基于散斑的立体匹配方法和近距离点光源光度立体视觉方法结合起来，能够同时兼顾重建细节以及尺寸的精确性，使得整个系统更加紧凑，且能适应具有多反射率表面的目标。
在一种可能的实现方式中，LED点光源的参数包括：所述LED点光源的位置以及亮度。
第二标定模块120，用于根据所述两个近红外相机的内部参数以及外部参数，分别标定每一个LED点光源的参数。
本实用新型实施例中涉及到的标定算法只需一个具有均匀反射率表面的物体(如石膏像、人脸或者一张具有丰富褶皱的A4纸等)，就可以标定出点光源的位置和亮度。由于标定物具有均匀的发射率，不失一般性，令ρi＝1。
具体的，对于单个LED点光源参数的标定，第二标定模块120的结构图如图2所示，至少可以包括：
初始深度图获取单元1210，用于根据近红外光斑发生器照明的散斑图像获取初始深度图D0；
具体地，可以应用立体匹配算法来计算出初始深度图。例如，采用归一化互相关系数进行立体匹配，计算视差图。得到视差图后，用立体匹配中的唯一性约束剔除误匹配点。
可以知道的是，对于LED点光源参数的标定是离线进行的，所以标定完成以后，只要不改变相机或光源的参数，就可以对初始深度图进行多次测量。
噪声抑制单元1220，用于对所述初始深度图D0进行双边滤波，得到D0'。
具体地，对初始深度图进行双边滤波是为了抑制噪声。
位置初值获取单元1230，用于根据所述LED点光源在相机坐标系中的位置，获得所述LED点光源位置的估算初值s0。
在一种可能的实现方式中，当LED点光源照射目标表面，采用两个近红外相机中的左相机采集图像时，LED点光源在相机坐标系中的位置采用左相机坐标系，估算出LED点光源在左相机坐标系中的位置。
在另一种可能的实现方式中，当LED点光源照射目标表面，采用两个近红外相机中的右相机采集图像时，LED点光源在相机坐标系中的位置采用右相机坐标系，估算出LED点光源在右相机坐标系中的位置。
生成单元1240，用于根据所述D0'以及所述两个近红外参数的内部参数以及外部参数，生成目标的初始点云xi和法线方向ni。
具体地，根据噪声抑制单元1220中得到的D0'以及上一实施例中第一标定模块110标定的两个近红外参数的内部参数以及外部参数，可以生成目标的初始点云xi和法线方向ni。
亮度初值获取单元1250，用于根据所述s0、xi和ni，由计算公式可得出光源亮度的初值E0。
具体地，根据公式(8)和(9)，由线性最小二乘法求出E的初值E0。
如图3所示的近距离点光源与目标表面几何关系示意图，从目标表面上的某个三维点xi到光源s的光线向量为：
li＝s-xi (8)
采用近光源假设，图像的灰度oi为：
其中，E为光源的亮度，ρi为目标表面的反射率，ni为表面在xi处的法线方向(模为1)。此处由于标定的目标具有均匀的反射率，因此ρi＝1。
在目标的反射率、初始点云xi、法线向量ni和s的初值s0已知的情况下，由LED照明的图像灰度值oi，就可以计算出光源亮度的初值E0。
标定单元1260，用于以所述s0以及所述E0为初值，由非线性最小二乘优化得到所述LED点光源的位值和亮度。
具体地，公式(9)构成一个非线性方程组，以E0和s0作为初值，用Levenberg-Marquardt算法对E和s进行同时优化，从而实现单个LED点光源的参数的标定。
本实用新型实施例提供了一种三维重建装置，可以适用于简单的点光源标定，只需要利用具有均匀反射率表面的目标就可以实现点光源的标定。
本实用新型实施例还提供了一种采集模块，采集模块130至少可以包括：第一采集单元1310、第二采集单元1320，如图4所示：
第一采集单元1310，用于打开近红外光斑发生器，采用所述两个近红外相机采集所述近红外光斑发生器照明的散斑图像。
第二采集单元1320，用于关闭所述近红外光斑发生器，依次点亮所述至少三个LED点光源，采用所述两个近红外相机中的一个近红外相机采集每个LED点光源照明的图像。
具体地，假设LED点光源的个数为四个，此时图像采集的时序图如图5所示：
初始时刻，近红外光斑发生器以及LED1～LED4均处于关闭状态；
A时刻，光斑发生器发开，LED1～LED4关闭，两个近红外相机分别采集一帧图像，获得散斑图像对；如图6(a)所示的一对图像，为采用本实用新型实施例的方法采集到的一对散斑图像。
B时刻，光斑发生器关闭，点亮LED1，关闭其他LED，两个近红外相机中的左相机或者右相机采集一帧图像。
C时刻，光斑发生器关闭，点亮LED2，关闭其他LED，两个近红外相机中的左相机或者右相机采集一帧图像。
D时刻，光斑发生器关闭，点亮LED3，关闭其他LED，两个近红外相机中的左相机或者右相机采集一帧图像。
E时刻，光斑发生器关闭，点亮LED4，关闭其他LED，两个近红外相机中的左相机或者右相机采集一帧图像。
在上述LED点光源照射目标表面时，B、C、D、E时刻采集图像时统一使用两个近红外相机中的左相机或者右相机采集图像。
如图6(b)中的四幅图，分别为四张LED照明时近红外相机采集到的图像。
结束时刻，光斑发生器关闭，LED1～LED4关闭。
本实用新型实施能够使近红外相机按照预设的时序采集散斑图像对以及LED照明的图像。
在另外一个可选的实施例中，第二获取模块可以包括：获取单元，用于根据所述至少三个LED点光源的位置、亮度以及所述至少三张LED点光源照明的图像的灰度值，获取目标表面上三维点处的法线方向以及反射率。
具体地，由图3以及公式(1)和(2)可知，在每个LED的亮度E和位置s已知的情况下，由三个以上处于不同位置的LED照明的图像灰度值oi，就可以计算出xi处的法线方向ni和反射率ρi。
本实用新型实施例可以获得具有多反射率的目标表面上三维点处的法线方向以及反射率。
图7(a)为KinectFusion得到的大卫头像重建结果，图7(b)为采用本实用新型实施例的装置得到的重建结果。显然，采用本实用新型实施例的装置，三维重建的结果具有更好的重建细节。
图8中的左图为基于散斑立体匹配方法得到重建结果，右图为融合光度立体视觉和基于散斑图像立体匹配的重建结果。显然，通过本实用新型实施例中的装置，重建精度得到了显著的提高。
本实用新型实施例提供了一种三维重建装置，实施本实用新型实施例可以通过对近红外相机的内部参数以及外部参数进行标定、对至少三个LED点光源的参数进行标定，将基于散斑的立体匹配方法和近距离点光源光度立体视觉方法结合起来，能够同时兼顾重建细节以及尺寸的精确性，使得整个系统更加紧凑，且能适应具有多反射率表面的目标。
本实用新型还提供了一种三维重建设备，如图9所示，三维重建设备20至少可以包括：两个近红外相机210、至少三个LED点光源220、近红外光斑发生器230、处理器240以及存储器250；其中：
存储器250用于存储程序指令；
处理器240用于调用存储器250中的程序指令并执行：
标定所述两个近红外相机210的内部参数以及外部参数。
根据所述两个近红外相机210的内部参数以及外部参数，标定所述至少三个LED点光源220的参数。
按照预设的时序采集所述近红外光斑发生器230照明的散斑图像对以及至少三张LED点光源照明的图像。
根据所述近红外光斑发生器230照明的散斑图像对，获取初始深度图。
根据所述至少三个LED点光源220的参数以及所述至少三张LED点光源照明的图像，获取目标表面的法线方向。
根据所述初始深度图以及所述目标表面的法线方向，输出目标深度图。
例如，如图10所示的三维重建设备，1和3分别为两个近红外相机，按照一定的距离安装置在刚性支架上；2为近红外散斑发生器，位于两个近红外相机中间，用于向目标表面投射密集的近红外斑点；4～7分别为四个LED点光源，固定安装在刚性支架上，以保持LED点光源与两个近红外相机的相互位置关系保持不变，处理器和存储器位于结构内部，未在图中示出。
在一个可选的实施例中，LED点光源的参数包括：所述LED点光源的位置以及亮度。
所述处理器240根据所述两个近红外相机的内部参数以及外部参数，标定所述至少三个LED点光源220的参数，包括：根据所述两个近红外相机的内部参数以及外部参数，分别标定每一个LED点光源的参数。
其中，所述处理器240标定每一个LED点光源的参数，包括：
根据近红外光斑发生器230照明的散斑图像对获取初始深度图D0。
对所述初始深度图D0进行双边滤波，得到D0'。
根据所述LED点光源在相机坐标系中的位置，获得所述LED点光源位置的估算初值s0。
根据所述D0'以及所述两个近红外参数的内部参数以及外部参数，生成目标的初始点云xi和法线方向ni。
根据所述s0、xi和ni，由计算公式可得出光源亮度的初值E0；其中，所述计算公式为：所述oi为图像的灰度。
以所述s0以及所述E0为初值，由非线性最小二乘优化得到所述LED点光源的位值和亮度。
在另外一个可选的实施例中，处理器240按照预设的时序采集近所述红外光斑发生器230照明的散斑图像对以及至少三张LED点光源照明的图像，包括：
打开近红外光斑发生器230，采用所述两个近红外相机210采集所述近红外光斑发生器230照明的散斑图像对。
关闭所述近红外光斑发生器230，依次点亮所述至少三个LED点光源220，采用所述两个近红外相机210中的一个近红外相机采集每个LED点光源照明的图像。
在另外一个可选的实施例中，处理器240根据所述至少三个LED点光源220的参数以及所述至少三张LED点光源照明的图像，获取目标表面的法线方向，包括：
根据所述至少三个LED点光源220的位置、亮度以及所述至少三张LED点光源照明的图像的灰度值，获取目标表面上三维点处的法线方向以及反射率。
本实用新型实施例提供了一种三维重建设备，实施本实用新型实施例可以通过对近红外相机的内部参数以及外部参数进行标定、对至少三个LED点光源的参数进行标定，将基于散斑的立体匹配方法和近距离点光源光度立体视觉方法结合起来，能够同时兼顾重建细节以及尺寸的精确性，使得整个系统更加紧凑，且能适应具有多反射率表面的目标。
本实用新型实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所述，以上实施例仅用以说明本实用新型的技术方案，而非对其限制；尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！