基于单相机的三维重建方法、装置及系统与流程

本发明涉及三维重建技术领域，尤其是涉及一种基于单相机的三维重建方法、装置及系统。

背景技术：

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易,其方法是先对摄像机进行标定,即计算出摄像机的图象坐标系与世界坐标系的关系，然后利用多个二维图象中的信息重建出三维信息。

现有的三维重建过程中，单目系统主要由相机和投影仪组成，投影仪主要是投射相移图，相机主要是采集经物体表面调制的相移图。系统结构是投影仪倾斜放置、相机竖直放置，导致投影仪投射等周期条纹后，相机拍到的条纹不等宽，导致三维重建中相机景深小且高度方向上无法满足高精度要求。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于单相机的三维重建方法、装置及系统，能够解决现有技术中相机景深小且高度方向上无法满足高精度要求的问题。

第一方面，本发明实施例提供了一种基于单相机的三维重建方法，包括：

获取单目系统的系统参数；单目系统包括投影仪和相机；

根据系统参数，对投影仪所投影的条纹进行校正，以使投影仪投影校正后的第一相移图；

接收通过相机所采集的由第一相移图经过待扫描物体调制得到的第二相移图；

对第二相移图进行相位解调、相位解包裹、高度映射处理，得到深度图；

根据深度图对待扫描物体进行三维重建。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获取单目系统的系统参数，包括：

获取由投影仪对一副固定模式的图像进行投影所得到的多组点对坐标(x，y)；

将多组点对坐标(x，y)代入第一预设公式，计算得到系统参数；系统参数包括：投影光轴与参考平面法线的夹角θ、投影光心到参考平面的距离l以及投影系统的等效焦距d。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据系统参数，对投影仪所投影的条纹进行校正，包括：

通过投影仪生成等周期的正弦图；

根据系统参数，确定坐标x和坐标y之间的关系；

基于坐标x和坐标y之间的关系，对等周期的正弦图进行变换，得到校正后的相移图，作为第一相移图。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，对第二相移图进行相位解调、相位解包裹、高度映射处理，得到深度图，包括：

根据第二预设公式对第二相移图进行相位解调处理，得到主相位；

对主相位进行相位解包裹处理，得到展开相位；

根据展开相位及第三预设公式，计算得到物体表面的高度值，将高度值的集合作为深度图。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据第二预设公式对第二相移图进行相位解调处理，得到主相位，包括：

根据第二相移图及第二预设公式，计算点对坐标(x，y)对应的光栅条纹的调制相位

将调制相位作为主相位。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，对主相位进行相位解包裹处理，得到展开相位，包括：

基于主相位，构造泊松方程；

利用离散傅里叶变换求解泊松方程得到解包裹之后的展开相位。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，根据深度图对待扫描物体进行三维重建，包括：

基于深度图，得到物体的三维点云；三维点云的三维坐标对应于多组点对坐标及其对应的高度值；

根据三维点云，进行待扫描物体的三维重建。

第二方面，本发明实施例还提供一种基于单相机的三维重建装置，包括：

参数获取模块，用于获取单目系统的系统参数；单目系统包括投影仪和相机；

条纹校正模块，用于根据系统参数，对投影仪所投影的条纹进行校正，以使投影仪投影校正后的第一相移图；

相移图接收模块，用于接收通过相机所采集的由第一相移图经过待扫描物体调制得到的第二相移图；

深度图获取模块，用于对第二相移图进行相位解调、相位解包裹、高度映射处理，得到深度图；

三维重建模块，用于根据深度图对待扫描物体进行三维重建。

第三方面，本发明实施例还提供一种基于单相机的三维重建系统，包括：服务器及单目系统；

单目系统包括：投影仪及相机；

服务器上安装有如第二方面所述的基于单相机的三维重建装置；

服务器与单目系统通信连接。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行第一方面所述的方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的基于单相机的三维重建方法，首先获取单目系统的系统参数，该单目系统包括投影仪和相机；根据系统参数，对投影仪所投影的条纹进行校正，以使投影仪投影校正后的第一相移图；接收通过相机所采集的由第一相移图经过待扫描物体调制得到的第二相移图；对第二相移图进行相位解调、相位解包裹、高度映射处理，得到深度图；根据深度图对待扫描物体进行三维重建。本发明通过获取标定的单目系统的系统参数，对周期条纹进行校正，以使后续通过高度映射得到高精度的高度值，解决现有技术中相机景深小且高度方向上无法满足高精度要求的问题，且上述标定方法相比于其他方法简单易行，降低了标定难度和复杂度，提高了效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种基于单相机的三维重建方法的流程图；

图2为本发明实施例一提供的一种基于单相机的三维重建方法中单目系统示意图；

图3为本发明实施例一提供的一种基于单相机的三维重建方法中投影坐标图；

图4为本发明实施例一提供的另一种基于单相机的三维重建方法的流程图；

图5为本发明实施例一提供的一种基于单相机的三维重建方法中棋盘格中坐标示意图；

图6为本发明实施例一提供的另一种基于单相机的三维重建方法的流程图；

图7为本发明实施例一提供的一种基于单相机的三维重建方法中投影仪投影的第一相移图。

图8为本发明实施例一提供的一种基于单相机的三维重建方法中相机采集的第二相移图；

图9为本发明实施例一提供的另一种基于单相机的三维重建方法的流程图；

图10为本发明实施例一提供的一种基于单相机的三维重建方法中相位展开示意图；

图11为本发明实施例一提供的一种基于单相机的三维重建方法中高度映射示意图；

图12为本发明实施例二提供的一种基于单相机的三维重建装置的结构示意图；

图13为本发明实施例三提供的一种基于单相机的三维重建方法的流程图系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的三维重建过程中，单目系统主要由相机和投影仪组成，投影仪主要是投射相移图，相机主要是采集经物体表面调制的相移图。系统结构是投影仪倾斜放置、相机竖直放置，导致投影仪投射等周期条纹后，相机拍到的条纹不等宽，导致三维重建中相机景深小且高度方向上无法满足高精度要求。

基于此，本发明实施例提供一种基于单相机的三维重建方法、装置及系统，通过获取标定的单目系统的系统参数，对周期条纹进行校正，以使后续通过高度映射得到高精度的高度值，解决现有技术中相机景深小且高度方向上无法满足高精度要求的问题，且上述标定方法相比于其他方法简单易行，降低了标定难度和复杂度，提高了效率。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于单相机的三维重建方法进行详细介绍。

实施例一：

本发明实施例提供了一种基于单相机的三维重建方法，该方法应用于服务器，参见图1所示，该方法包括以下步骤：

s11：获取单目系统的系统参数。

其中，单目系统包括投影仪和相机，如图2所示。投影仪主要是投射相移图，相机主要是采集经物体表面调制的相移图。由于系统中投影仪倾斜放置、相机竖直放置，导致投影仪投射等周期条纹后，相机拍到的条纹不等宽。为了解决这个问题，需要对一些系统参数进行标定，从而对条纹进行校正。本实施例通过标定系统来获得单目系统的系统参数。需要标定的系统参数为投影光轴与参考平面法线的夹角θ、投影光心到参考平面的距离l以及投影系统的等效焦距d，投影示意图如3所示。

单目系统的系统参数的获取过程，主要包括以下步骤，参见图4所示：

s111：获取由投影仪对一副固定模式的图像进行投影所得到的多组点对坐标(x，y)。

(x，y)的获得可以通过投影一副固定模式的图案，比如说棋盘格，找到一系列的(x，y)点对坐标。如图5所示，投影投射的棋盘格中的坐标为x，相机拍摄到对应的参考平面的坐标为y。

s112：将多组点对坐标(x，y)代入第一预设公式，计算得到单目系统参数。

其中，第一预设公式如下：

标定过程是要根据多组(x，y)点对坐标计算得到系统的三个未知量，即l、d、θ。即将多组点对坐标(x，y)代入上式，求取系统参数。系统参数包括：投影光轴与参考平面法线的夹角θ、投影光心到参考平面的距离l以及投影系统的等效焦距d。

s12：根据系统参数，对投影仪所投影的条纹进行校正，以使投影仪投影校正后的第一相移图。

具体的校正过程包括以下步骤，参见图6所示：

s121：通过投影仪生成等周期的正弦图。

s122：根据系统参数，确定坐标x和坐标y之间的关系。

s123：基于坐标x和坐标y之间的关系，对等周期的正弦图进行变换，得到校正后的相移图，作为第一相移图。

具体实现的时候，首先通过投影仪生成等周期的正弦图，然后根据上述系统参数所确定出的坐标x和坐标y的关系式，对产生的等周期正弦图进行变换，得到的图就是我们需要投影仪投出的校正后的图，即第一相移图。图7示出了四步相移图。

s13：接收通过相机所采集的由第一相移图经过待扫描物体调制得到的第二相移图。

投影仪投射第一相移图后，相机采集经物体表面调制的相移图。该物体为待扫描物体。物体调制过程为：投影正弦光栅到待扫描物体表面上，物体表面会改变正弦光栅条纹的分布，也就是对正弦投影进行相位调制，这调制过的相位就包含了物体表面的高度信息，而且物体表面点与点之间的相位关系是独立的，如果可以获得这些点的相位，就能得到物体表面的高度信息。如图7所示的第一相移图经过待扫描物体调制后，得到第二相移图，如图8所示，服务器接收相机所采集的所述第二相移图，以进行后续处理。

s14：对第二相移图进行相位解调、相位解包裹、高度映射处理，得到深度图。

上述处理过程具体包括以下步骤，参见图9所示：

s141：根据第二预设公式对第二相移图进行相位解调处理，得到主相位。

四步相移共有四幅相移图，由这四幅相移图进行相位解调可以得到相位图。具体的，根据第二相移图及第二预设公式，计算点对坐标(x，y)对应的光栅条纹的调制相位将调制相位作为主相位。

第二预设公式，即相位解调的公式如下：

其中，ib(x,y)为跟所投相移条纹无关的背景光强，ir(x,y)为被测点(x，y)对投影光的反射光强，为被测点(x，y)对投影光的调制相位值，公式中的0，π/2,π,3π/2指四次相移的初始相位值。i1(x,y),i2(x,y),i3(x,y),i4(x,y)指相机所拍得的相位调制之后的物体图像，即第二相移图。解方程组可得到图像上(x，y)点对光栅条纹的调制相位，如下式所示：

s142：对主相位进行相位解包裹处理，得到展开相位。

在对第二相移图进行相位解调处理，得到主相位后，进一步进行解包裹过程，首先基于主相位，构造泊松方程。然后利用离散傅里叶变换求解泊松方程得到解包裹之后的展开相位。

主相位的范围是在[-π，π]，为包裹相位，即有周期的相位。而要得到物体表面的真实高度，必须将周期相位变换至连续相位，这个过程为相位展开。如图10所示，

构建x和y方向上的包裹算子和差分算子。

其中，为x方向和y方向的差分算子，w{*}是包裹算子。ρi,j表示由包裹相位计算得到的中间量，用于下一步求解展开相位中。利用离散傅里叶变换求解第一步构建的泊松方程得到解包裹之后的相位。

展开相位和中间量ρ(i，j)之间的关系如下：

(φi+1,j-2φi,j+φi-1,j)+(φi,j+1-2φi,j+φi,j-1)＝ρi,j；

其中，φ表示需要求解的展开相位。

首先计算上一步中ρi,j的离散傅里叶变换pu,v，然后按下式计算得到中间变量qu,v。

最后计算qu,v的离散傅里叶逆变换得到展开相位φi,j。

s143：根据展开相位及第三预设公式，计算得到物体表面的高度值，将高度值的集合作为深度图。

高度映射图示如图11所示，根据图中几何关系可知，

其中，p是周期，之前对周期进行过校正，即p是常量，视野范围内的不同点对应的投影光线入射角β不同，因此表面高度也就有所差异，从而得到物体表面的高度，即深度图。

s15：根据深度图对待扫描物体进行三维重建。

具体的，基于深度图，得到物体的三维点云；其中，三维点云的三维坐标对应于多组点对坐标及其对应的高度值；进一步根据三维点云，进行待扫描物体的三维重建。

上述得到的深度图是针对每一个像素点的，即得到不同点对坐标(x，y)对应下的z值，将x、y、z按对应顺序组合，即可得到三维的点云，从而完成三维重建。

本发明实施例提供的基于单相机的三维重建方法，通过获取标定的单目系统的系统参数，对周期条纹进行校正，以使后续通过高度映射得到高精度的高度值，解决现有技术中相机景深小且高度方向上无法满足高精度要求的问题，且上述标定方法相比于其他方法简单易行，降低了标定难度和复杂度，提高了效率。

本发明实施例提供的基于单相机的三维重建方法具有以下优势：

在标定算法上，基于相机投影仪的基本参数，推导并标定了针对单目系统的系统参数，根据标定出的系统参数，进行高度映射。标定方法相比于其他方法简单易行，降低了标定难度和复杂度，提高了效率。具体来说：

1.相机和投影内参的标定采用张正友标定法，此内容不展开详述，系统外参的标定只需要投影仪投一张棋盘格即可，操作和计算都很简单；

2.标定了系统参数，用于周期条纹的校正，即使投影仪倾斜放置，投在基准平面的条纹都是等周期的，那么在高度映射计算的时候，大大简化了建模的难度；

3.根据调研，很多其他单目系统的标定限制条件很多，比如有的系统需要保证基准平面相对于相机的垂直度，有的系统需要相机投影的光心必须处于平行于基准平面的线上，有的系统对于投影以及相机光轴的夹角有要求，而本实施例的系统，没有那么多的限制条件，标定难度大大降低。

实施例二：

本发明实施例还提供一种基于单相机的三维重建装置，参见图12所示，该装置包括：参数获取模块21、条纹校正模块22、相移图接收模块23、深度图获取模块24和三维重建模块25。

其中，参数获取模块21，用于获取单目系统的系统参数；单目系统包括投影仪和相机；条纹校正模块22，用于根据系统参数，对投影仪所投影的条纹进行校正，以使投影仪投影校正后的第一相移图；相移图接收模块23，用于接收通过相机所采集的由第一相移图经过待扫描物体调制得到的第二相移图；深度图获取模块24，用于对第二相移图进行相位解调、相位解包裹、高度映射处理，得到深度图；三维重建模块25，用于根据深度图对待扫描物体进行三维重建。

本发明实施例所提供的基于单相机的三维重建装置中，各个模块与前述基于单相机的三维重建方法具有相同的技术特征，因此，同样可以实现上述功能。本装置中各个模块的具体工作过程参见上述方法实施例，在此不再赘述。

实施例三：

本发明实施例还提供一种基于单相机的三维重建系统，参见图13所示，该系统包括：服务器31及单目系统32。

其中，单目系统32包括：投影仪321及相机322；服务器31上安装有如第二方面所述的基于单相机的三维重建装置311；服务器31与单目系统32通信连接。

本发明实施例所提供的基于单相机的三维重建系统中，各个模块与前述基于单相机的三维重建装置具有相同的技术特征，因此，同样可以实现上述功能。本系统中各个模块的具体工作过程参见上述方法实施例，在此不再赘述。

本发明实施例所提供的基于单相机的三维重建方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。