动态曝光的三维重建方法及系统与流程

本发明关于三维重建，尤其关于一种基于相位辅助的三维重建方法及系统。

背景技术：

在影像的三维重建领域，基于相位辅助的三维重建方法是一种重要的三维重建技术，通常利用相移法提取相位并恢复得到物体表面调制的绝对相位，因而相位视为一种辅助依据来建立左右相机的点对应关系，然后根据点对应关系，利用三维重建算法，通过已标定的双目视觉系统中的相机参数和结构参数来重建物体表面的三维轮廓信息。由此可知，相位质量是重建所得三维数据质量的一个关键因素。

对于不同反光材质的物体表面，采用基于相位辅助的三维成像技术得到的相位质量也有所差异。一般的，现有技术中相机通常只采用一个固定的曝光时间来获取物体反射的编码相移图，所以对于反光率较强的物体表面(通常是浅色或者有镜面反射的物体)，因其反射率较高，使得相机采集的正弦编码相移图有饱和现象，影响了相机对其正弦编码相移图的线性相应；相反的，对于反光率较低的物体表面(通常是颜色较深的物体表面)，其较低的反射率也会影响相机对其正弦编码相移图的线性响应。所以在现有技术中对于表面反光率较高的物体采用较低的曝光时间来采集图像，对于反射率较低的物体在三维重建时则采用较高的曝光时间。若某一待重建的物体的表面反光率不是固定的(例如，既有反光率较高区域也有反光率较低区域)，则无法通过动态设定相机的曝光时间来获得质量较高的相移图，这就直接影响的三维重建的效果。

技术实现要素：

有鉴于此，本发明的目的之一在于提供一种动态曝光的三维重建方法及系统，以解决上述问题。

根据本发明实施例第一方面，提供一种动态曝光的三维重建方法，包括：对物体的每一像素位置以多个不同的曝光时间采集图像，分别获得多组相移图；根据所述多组相移图，利用相移法分别提取得到多组折叠相位及相应的多个调制度；根据所述多个调制度，将所述多组相移图合成为折叠相位图；基于所述折叠相位图，根据相位展开算法得到绝对相位；以及遍历所述物体的所有像素位置，通过三维重建算法重建所述物体表面的三维信息。

根据本发明实施例第二方面，提供一种动态曝光的三维重建系统，包括图像采集模块、相位合成模块和三维信息处理模块。图像采集模块，用于对物体表面多个像素位置中的每一像素位置以多个不同的曝光时间采集图像，分别获得多组相移图；相位合成模块，用于根据所述多组相移图，利用相移法分别提取得到多组折叠相位及相应的多个调制度，以及根据所述多个调制度，将所述多组相移图合成为折叠相位图；以及三维信息处理模块，用于基于所述折叠相位图，根据相位展开算法得到绝对相位，以及通过三维重建算法重建所述物体表面的三维信息。

本发明实施例提供的动态曝光的三维重建方法及系统利用多重曝光，可提高三维重建的效果。

【附图说明】

图1为根据本发明实施例的基于相位辅助的三维成像系统的示意图。

图2为根据本发明实施例的利用多重曝光的三维重建方法的流程图。

图3为根据本发明实施例的三维重建系统的示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并非用于限定本发明。

本发明的基本思想为：对于数字投影所投射的正弦条纹结构光，相机通过动态曝光来在不同的曝光时间内采集图像，通过利用多重曝光采集得到多组相移图，保证了三维成像场景中不同反光率的区域能得到高相位质量，从而提高三维重建对不同反光率的动态范围。

图1为根据本发明实施例的基于相位辅助的三维成像系统100的示意图，包括投影仪102和相机104。如图1所示，投影仪102将正弦条纹结构光投射到物体表面后，经过物体表面的反射，其中物体表面的反射率为r(x,y)，相机104采集到反射的正弦条纹结构光，在不同的曝光时间下，相机104采集了多组不同的相移图像。投影仪102投射的正弦条纹结构光的相移图像光强如下式(1)表示：

$I_p^n=A+B\·cos\left(\mathrm{\φ}\right(x,y)+2\mathrm{\π}n/N)---\left(1\right)$

其中，A为背景光强，B为条纹对比度，(x,y)为投射点坐标，φ(x,y)为折叠相位，n为相位变化方向的像素位置，N为相位的空间周期，单位为像素。

经过物体表面反射后，进入相机的光强分布如下式(2)表示：

$I_r^n=r(x,y)\·\{A+B\·cos\left(\mathrm{\φ}\right(x,y)+2\mathrm{\π}n/N)\}---\left(2\right)$

对于物体的每一像素位置，相机在多个不同的曝光时间tⁱ下采集得到多组相移图像根据不同的曝光时间采集得到的多组相移图，利用相移法分别提取相机所采集的正弦条纹光的多组折叠相位，同时得到多个相应的调制度D。由于不同的曝光时间能得到不同的调制度，根据多个调制度，将不同曝光时间所得的多组相移图合成为一幅合成的折叠相位图。遍历成像面的所有像素位置，如此一来合成的折叠相位图中每个像素位置都有较高的正弦调制度，保证得到的相位质量。接着，基于所述合成的折叠相位图，通过相位展开技术得到绝对相位，再结合已经标定的三维双目结构参数，通过三维重建算法重建物体表面的三维轮廓信息。

在一实施例中，每一像素位置的多重曝光的次数及曝光时间的长短可以利用光强分布直方图来确定。举例来说，根据成像场景反射率的分布变化，在投影仪102投射强度的均匀照明时，调整相机的曝光时间t⁰，使得整个有效成像视场中反射率最高区域接近饱和但没有曝光过度。接着对反射图像进行光强统计直方图分析，假设该直方图由K个不同的波峰组成，每个波峰对应的光强为Iⁱ，其中I⁰为光强最高。利用光强分布直方图中波峰的个数确定每一像素位置的曝光次数，利用下式(3)确定多个不同的曝光时间中每次的长短：

tⁱ＝Iⁱ/I⁰*t⁰ (3)

如此一来，通过对较低曝光时间采集的图像进行光强分布直方图分析，确定物体不同反光率变化的像素位置每一者所对应的不同的曝光时间。

在一定的曝光时间tⁱ和相机响应系数s的采集条件下，相机输出图像的光强分布为：

$I_c^{n,i}=s\·t^i\·I_r^{n,i}=s\·t^i\·r(x,y)\·\{A+B\·cos\left(\mathrm{\φ}\right(x,y)+2\mathrm{\π}n/N)\}---\left(4\right)$

基于不同曝光时间采集的多组相移图利用相移法分别提取多组折叠相位：

${\mathrm{\φ}}^i(x,y)={\tan }^{-1}\frac{\underset{i=1}{\overset{N}{\Σ}}{I}_c^{n,i}\·sin(2\mathrm{\π}n/N)}{\underset{i=1}{\overset{N}{\Σ}}{I}_c^{n,i}\·\cos (2\mathrm{\π}n/N)}---\left(5\right)$

同时得到相机所采集的正弦条纹光的多个调制度D：

$D^i(x,y)=\frac{B}{A}=\frac{\frac{{\mathrm{\Σ}}_{n=1}^N{I}_c^{n,i}}{N}}{\frac{2}{N}\sqrt{{\[{\mathrm{\Σ}}_{n=1}^N{I}_c^{n,i}\·sin(2\mathrm{\π}n/N)\]}^2+{\[{\mathrm{\Σ}}_{n=1}^N{I}_c^{n,i}\·cos(2\mathrm{\π}n/N)\]}^2}}---\left(6\right)$

由于多个不同的曝光时间能得到多个不同的调制度，根据该多个调制度，将不同曝光时间所得的多组折叠相位图合成为一幅折叠相位图φ^compound(x,y)。

在一实施方式中，对于曝光次数为K的三维成像场景来说，成像面的每个像素位置有K个不同的折叠相位和K个不同的调制度。通过比较得到的多个调制度的大小，选择最大调制度对应的那次曝光所得到的折叠相位作为该像素位置的相位值。遍历成像面的所有像素位置，如此一来合成的相位图中每个像素位置都有较高的正弦调制度，保证得到的相位质量。通过相位展开技术，由合成的相位图φ^compound(x,y)得到绝对相位，结合已经标定的三维双目结构参数，通过三维重建算法重建物体表面的三维轮廓信息。

图2为根据本发明实施例的利用多重曝光的三维重建方法200的流程图。动态曝光的三维重建方法200可以应用于图1所示的三维成像系统100，下列步骤仅为示例性说明，若能实现相同效果，不必以下列特定顺序来执行该方法。动态曝光的三维重建方法200可以通过以下步骤202-210来实现。

步骤202：对物体的每一像素位置以多个不同的曝光时间采集图像，分别获得多组相移图；

步骤204：根据所述多组相移图，利用相移法分别提取得到多组折叠相位及相应的多个调制度；

步骤206：根据所述多个调制度，将所述多组相移图合成为折叠相位图；

步骤208：基于所述折叠相位图，根据相位展开算法得到绝对相位；以及

步骤210：遍历所述物体的所有像素位置，通过三维重建算法重建所述物体表面的三维信息。

其中，根据恢复得到的绝对相位来解析三维深度数据，例如通过结合已标定的双目视觉系统中的相机系数和结构参数来解析三维深度数据，从而重建物体表面的三维轮廓信息。对于物体所有像素位置，相机利用多重曝光在不同的曝光时间内采集图像，得到多组相移图，保证了三维成像场景中不同反光率的区域都能得到高相位质量，从而提高三维重建对不同反光率的动态范围。

本发明还提供一种动态曝光的三维重建系统，如图3所示，图3为根据本发明实施例的动态曝光的三维重建系统300的示意图。该系统包括图像采集模块302、相位合成模块304和三维信息处理模块306，可用于执行图2所示的动态曝光的三维重建方法200。具体的，图像采集模块302包括图1所示的投影仪102和相机104，用于对物体表面多个像素位置中的每一像素位置以多个不同的曝光时间采集图像，分别获得多组相移图。相位合成模块304用于根据所述多组相移图，利用相移法分别提取得到多组折叠相位及相应的多个调制度，以及根据所述多个调制度，将所述多组相移图合成为折叠相位图。三维信息处理模块306用于基于所述折叠相位图，根据相位展开算法得到绝对相位，以及通过三维重建算法重建所述物体表面的三维信息。

上述各个模块的工作原理如上文所述，此处不再加以赘述。上述动态曝光的三维重建系统的各个模块可以实现为软件、硬件或其结合的方式，软件部分可以存储于计算机可读存储介质中，如ROM/RAM、磁盘、光盘等。

本发明的动态曝光的三维重建方法及系统利用多重曝光，能对反光率高低变化较大的场景得到高质量的相移图，保证了三维重建的效果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，本发明的范围以所附权利要求书界定。本领域技术人员在不脱离本发明精神和原则下，所做的任何修改、替换和变型等，均应包含在本发明的保护范围内。