专利名称：一种基于变光照多视角间差采样的三维重建方法和装置的制作方法
技术领域：
本发明涉及计算机图形学和计算机视觉等技术领域，特别涉及一种基于变光照多视角间差采样的三维重建方法和装置
背景技术：
如何从多视角视频序列中获取精确的动态场景的三维模型是当前计算机视觉、计算机图形学等学科领域的热点研究问题。传统的基于图像的多视角立体重建方法虽然能够建立全视角的三维模型，但是在缺少纹理的区域难以建立精确的三维模型；而光度立体方法虽然能建立出较为精细的三维模型，但光度立体方法主要是利用单一视角的多光照图像，通过估计模型表面的法向信息进而估计出深度图来建立单一视角的三维模型，而非是建立全视角的三维模型。这种方法应用在对运动目标的采样上的主要困难是不能直接采集到运动目标的同一时刻的多光照的图像。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。为达到上述目的，本发明的第一个目的在于提出一种基于变光照多视角间差采样的三维重建方法，该方法联合多视角立体重建方法和光度立体方法的优势，结合不同时刻不同光照条件下视频图像的光流估计和运动补偿，可以实现快速运动目标的高精度的三维重建。本发明的第二个目的在于提出一种基于变光照多视角间差采样的三维重建装置。为达到上述目的，本发明的第一方面的实施例提出一种基于变光照多视角间差采样的三维重建方法，包括如下步骤对多台影像记录设备进行间差分组，得到多组影像记录设备；所述多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像，其中，每个影像记录设备采集所述运动目标的一个视角的图像；对所述运动目标初始图像中每一个视角的图像进行光流估计和运动补偿，得到所述多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像；根据所述多组影像记录设备在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用所述可视凸壳建立运动目标的初始三维模型；对所述各个采集时刻的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，得到所述运动目标的初始三维模型的法向信息；对所述运动目标的初始三维模型的法向信息和所述初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。
根据本发明实施例的基于变光照多视角间差采样的三维重建方法，通过光流估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合变光照条件下的光流估计和运动补偿，实现对快速运动目标的高精度的三维重建。本发明第二方面的实施例提出了一种基于变光照多视角间差采样的三维重建装置，包括多台影像记录设备，对所述多台影像记录设备进行间差分组，得到多组影像记录设备；采样模块，所述采样模块与所述影像记录设备相连，所述采样模块采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像，其中， 每个采样模块采集所述运动目标的一个视角的图像；预处理模块，所述预处理模块与所述采样模块相连，用于对所述运动目标初始图像中每一个视角的图像进行光流估计和运动补偿，得到所述多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像；初始三维模型建立模块，所述初始三维模型建立模块与所述采样模块相连，用于根据所述多组影像记录设备在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用所述可视凸壳建立运动目标的初始三维模型；法向信息恢复模块，所述法向信息恢复模块分别于所述预处理模块和所述初始三维模型建立模块相连，用于对所述各个采集时刻的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，得到所述运动目标的初始三维模型的法向信息；优化三维模型建立模块，所述优化三维模型建立模块与所述法向信息恢复模块相连，用于对所述运动目标的初始三维模型的法向信息和所述初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。根据本发明实施例的基于变光照多视角间差采样的三维重建装置，通过光流估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合变光照条件下的光流估计和运动补偿，实现对快速运动目标的高精度的三维重建。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图1为根据本发明实施例的变光照多视角间差采样的三维重建方法的流程图；图2为图1中得到初始三维模型法向信息的流程图；图3为图1中运动目标和影像记录设备的示意图；图4为图1中采集到的运动目标的图像的示意图；图5为根据本发明实施例的变光照多视角间差采样的三维重建装置的结构图；
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。下面参考图1至图4描述根据本发明实施例的基于变光照多视角间差采样的三维
重建方法。如图1所示，本发明实施例提供的基于变光照多视角间差采样的三维重建方法包括如下步骤SlO 影像记录设备分组。对多台影像记录设备进行间差分组，得到多组影像记录设备。具体而言，将多台影像记录设备按照运动目标为中心呈环形排列进行间差分组。在本发明的一个实施例中，每组影像记录设备对应的光照条件相同。在本发明的一个实施例中，如图3所示，图中呈环形排列的不规则多边形301表示影像记录设备，影像记录设备的数量为20台，将影像记录设备分成4组，每组5台。其中，标号为1、5、9、13、17的影像记录设备为一组，标号为2、6、10、14、18的影像记录设备为一组， 标号为3、7、11、15、19的影像记录设备为一组，标号为4、8、12、16、20的影像记录设备为一组。可以理解的是，本实施例中的影像记录设备的数量和排列方式只是为了帮助理解本发明的实施例的一个例子，而不是对本发明实施例的一种限制。S20:图像采集。多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，然后得到运动目标的初始图像，其中，每个影像记录设备采集到运动目标的一个视角的图像。在本发明的一个实施例中，多组影像记录设备中的不同组的影像记录设备在各个时刻和不同的光照条件下采集运动目标的多个视角的图像，而多组影像记录设备中的同组的影像记录设备在各个时刻和相同的光照条件下采集运动目标的多个视角的图像。在本发明的一个实施例中，如图4所示，O-T表示采集时刻的周期，视角1表示标号为1的影像记录设备采集的运动目标的图像，401表示在某个时刻一组影像记录设备采集到的运动目标的图像。其中，每一组的影像记录设备在同样的光照条件下进行图像采集， 即视角为1、5、9、13、17的影像记录设备进行图像采集时光照条件相同，视角为2、6、10、14、 18的影像记录设备进行图像采集时光照条件相同，视角为3、7、11、15、19的影像记录设备进行图像采集时光照条件相同，视角为4、8、12、16、20的影像记录设备进行图像采集时光照条件相同。可以理解的是，本实施例中的采集时刻周期的时间和影像记录设备的采集方式和视角只是为了帮助理解本发明实施例而进行的一个示例，而不能理解为对本发明实施例的限制。S30 光流估计和运动补偿。根据步骤S20采集得到的运动目标初始图像中每一个视角的图像，首先对图像进行光流估计和运动补偿，然后得到多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像。在本发明的一个实施例中，由于每个相机各个采集时刻采集到的图像具有相同的光照信息，可以利用常光照条件的光流估计算法估计出相邻帧之间的光流，根据估计得到的光流差值得到其它组影像记录设备采集时刻的该视角的图像。如图4所示，402表示每一个视角经过运动补偿得到的图像，其中，每个视角图像在各个时刻的光照条件相同，即视角为1、5、9、13、17的图像在各个时刻的光照条件相同，视角为2、6、10、14、18的图像在各个时刻的光照条件相同，视角为3、7、11、15、19的图像在各个时刻的光照条件相同，视角为4、8、 12、16、20的图像在各个时刻的光照条件相同。可以理解的是，本实施例中的经光流估计和运动补偿的图片方法只是为了帮助理解本发明实施例而举出的一个示例，而不是对本发明实施例的一种限制。S40 建立初始三维模型。首先根据步骤S20得到的多组影像记录设备在每一时刻采集得到的运动目标的多个视角的图像，提取运动目标的轮廓信息。然后根据所提取的运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳。最后利用可视凸壳建立运动目标的初始三维模型。在本发明的一个实施例中，利用可视凸壳采用下述方法之一建立运动目标的初始三维模型多视角体素方法、表面进化方法、深度图融合方法和特征扩展方法。S50 三维模型法向信息恢复。根据步骤S30得到的各个采集时刻的每个视角的图像和步骤S40得到的运动目标的初始三维模型进行联合运动补偿，得到运动目标的初始三维模型的法向信息。S501 图像亮度信息投影。本步骤是将不同光照图像的亮度信息分别投影到运动目标的初始三维模型上。S502 得到九维谐波空间。在本发明的一个实施例中，根据运动目标的初始三维模型利用最小二乘的方法优化得到每一种特定光照下的谐波系数，然后根据的每一种特定光照下的谐波系数优化得到运动目标的初始三维模型的九维谐波空间。在本发明的一个实施例中，通过低阶的圆谐波来表示光照，采用如下公式得到九维谐波空间Inxm = Lnx9S9xm其中，I的每一行表示目标表面在同一光照下的亮度，L的每一行表示每一种特定光照下的谐波系数，S的每一列表示一个特定面片的九维谐波空间。可以理解的是，得到运动目标的九维谐波空间的方式不限于本实施例的示例。S503 得到三维模型的法向信息。利用步骤S502得到的九维谐波空间表示运动目标初始三维模型的法向信息。S60 建立优化运动模型对初始三维模型的几何信息和步骤S50得到的初始三维模型的法向信息进行联合优化，建立运动目标的优化三维模型。根据本发明实施例的基于变光照多视角间差采样的三维重建方法，通过光流估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合变光照条件下的光流估计和运动补偿，实现对快速运动目标的高精度的三维重建。
下面参考图3-图5描述根据本发明实施例的基于变光照多视角间差采样的三维重建装置500。如图5所示，本发明实施例提供的基于变光照多视角间差采样的三维重建装置 500包括多台影像记录设备510、采样模块520、预处理模块530、初始三维模型建立模块 M0、法向信息恢复模块550和优化三维模型建立模块560。其中，采用模块520和多台影像记录设备510相连，预处理模块530与采样模块520相连，初始三维模型建立模块540与采样模块530相连，法向信息恢复模块550分别于预处理模块530和初始三维模型建立模块 540相连，优化三维模型建立模块560与法向信息恢复模块550相连。首先对多台影像记录设备510进行间差分组，得到多组影像记录设备。具体而言， 将多台影像记录设备510按照运动目标为中心呈环形排列进行间差分组。在本发明的一个实施例中，每组影像记录设备对应的光照条件相同。在本发明的一个实施例中，如图3所示，图中呈环形排列的不规则多边形301表示影像记录设备，影像记录设备的数量为20台，将影像记录设备分成4组，每组5台。其中，标号为1、5、9、13、17的影像记录设备为一组，标号为2、6、10、14、18的影像记录设备为一组， 标号为3、7、11、15、19的影像记录设备为一组，标号为4、8、12、16、20的影像记录设备为一组。采集模块520用于借助多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，然后得到运动目标的初始图像，其中，每个影像记录设备采集到运动目标的一个视角的图像。在本发明的一个实施例中，多组影像记录设备中的不同组的影像记录设备在各个时刻和不同的光照条件下采集运动目标的多个视角的图像，而多组影像记录设备中的同组的影像记录设备在各个时刻和相同的光照条件下采集运动目标的多个视角的图像。在本发明的一个实施例中，如图4所示，O-T表示采集时刻的周期，视角1表示标号为1的影像记录设备采集的运动目标的图像，401表示在某个时刻一组影像记录设备采集到的运动目标的图像。其中，每一组的影像记录设备在同样的光照条件下进行图像采集， 即视角为1、5、9、13、17的影像记录设备进行图像采集时光照条件相同，视角为2、6、10、14、 18的影像记录设备进行图像采集时光照条件相同，视角为3、7、11、15、19的影像记录设备进行图像采集时光照条件相同，视角为4、8、12、16、20的影像记录设备进行图像采集时光照条件相同。可以理解的是，本实施例中的采集时刻周期的时间和影像记录设备的采集方式和视角只是为了帮助理解本发明实施例而进行的一个示例，而不能理解为对本发明实施例的限制。可以理解的是，本实施例中的影像记录设备的数量和排列方式只是为了帮助理解本发明的实施例的一个例子，而不是对本发明实施例的一种限制。预处理模块530根据采样模块520采集得到的运动目标初始图像中每一个视角的图像，首先对图像进行光流估计和运动补偿，然后得到多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像。在本发明的一个实施例中，由于每个相机各个采集时刻采集到的图像具有相同的光照信息，可以利用常光照条件的光流估计算法估计出相邻帧之间的光流，根据估计得到的光流差值得到其它组影像记录设备采集时刻的该视角的图像。如图4所示，402表示每一个视角经过运动补偿得到的图像，其中，每个视角图像在各个时刻的光照条件相同，即视角为1、5、9、13、17的图像在各个时刻的光照条件相同，视角为2、6、10、14、18的图像在各个时刻的光照条件相同，视角为3、7、11、15、19的图像在各个时刻的光照条件相同，视角为4、8、 12、16、20的图像在各个时刻的光照条件相同。可以理解的是，本实施例中的经光流估计和运动补偿的图片方法只是为了帮助理解本发明实施例而举出的一个示例，而不是对本发明实施例的一种限制。初始三维模型建立模块540根据采集模块520得到的多组影像记录设备在每一时刻采集得到的运动目标的多个视角的图像，提取运动目标的轮廓信息。然后根据所提取的运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳。最后利用可视凸壳建立运动目标的初始三维模型。在本发明的一个实施例中，利用可视凸壳采用下述方法之一建立运动目标的初始三维模型多视角体素方法、表面进化方法、深度图融合方法和特征扩展方法。法向信息恢复模块550根据预处理模块530得到的各个采集时刻的每个视角的图像和初始三维模型建立模块540得到的运动目标的初始三维模型进行联合运动补偿，得到运动目标的初始三维模型的法向信息。包括首先将不同光照图像的亮度信息分别投影到运动目标的初始三维模型上。然后根据多光照图像和运动目标的初始三维模型得到九维谐波空间。在本发明的一个实施例中，根据运动目标的初始三维模型利用最小二乘的方法优化得到每一种特定光照下的谐波系数，然后根据的每一种特定光照下的谐波系数优化得到运动目标的初始三维模型的九维谐波空间。在本发明的一个实施例中，通过低阶的圆谐波来表示光照，采用如下公式得到九维谐波空间Inxm = Lnx9S9xm其中，I的每一行表示目标表面在同一光照下的亮度，L的每一行表示每一种特定光照下的谐波系数，S的每一列表示一个特定面片的九维谐波空间。可以理解的是，得到运动目标的九维谐波空间的方式不限于本实施例的示例。
最后，根据得到的九维谐波空间表示运动目标初始三维模型的法向信息。优化三维模型建立模块560用于对初始三维模型的几何信息和模块550得到的初始三维模型的法向信息进行联合优化，建立运动目标的优化三维模型。根据本发明实施例的基于变光照多视角间差采样的三维重建装置，通过光流估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合变光照条件下的光流估计和运动补偿，实现对快速运动目标的高精度的三维重建。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
1.一种基于变光照多视角间差采样的三维重建方法，其特征在于，包括以下步骤对多台影像记录设备进行间差分组，得到多组影像记录设备；所述多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像，其中，每个影像记录设备采集所述运动目标的一个视角的图像；对所述运动目标初始图像中每一个视角的图像进行光流估计和运动补偿，得到所述多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像；根据所述多组影像记录设备在每一时刻采集得到的所述运动目标的多个视角的图像， 提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用所述可视凸壳建立运动目标的初始三维模型；对所述各个采集时刻的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，得到所述运动目标的初始三维模型的法向信息；对所述运动目标的初始三维模型的法向信息和所述初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。
2.如权利要求1所述的变光照多视角间差采样的三维重建方法，其特征在于所述多台影像记录设备以所述运动目标为中心呈环形排列。
3.如权利要求2所述的变光照多视角间差采样的三维重建方法，其特征在于对所述多台影像记录设备按照光照条件进行间差分组，其中，每组影像记录设备对应的光照条件相同。
4.如权利要求1所述的变光照多视角间差采样的三维重建方法，其特征在于所述多组影像记录设备中的不同组的影像记录设备在各个时刻和不同的光照条件下采集运动目标的多个视角的图像，所述多组影像记录设备中的同组的影像记录设备在各个时刻和相同的光照条件下采集运动目标的多个视角的图像。
5.如权利要求1所述的变光照多视角间差采样的三维重建方法，其特征在于利用所述可视凸壳采用下述方法之一建立运动目标的初始三维模型多视角体素方法、表面进化方法、深度图融合方法和特征扩展方法。
6.如权利要求1所述的变光照多视角间差采样的三维重建方法，其特征在于所述对所述每一个时刻采集到的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，包括如下步骤将不同光照图像的亮度信息分别投影到所述运动目标的初始三维模型上；根据所述运动目标的初始三维模型利用最小二乘的方法优化得到每一种特定光照下的谐波系数，然后根据所述的每一种特定光照下的谐波系数优化得到九维谐波空间；利用所述九维谐波空间表示所述运动目标初始三维模型的法向信息。
7.一种基于变光照多视角间差采样的三维重建装置，其特征在于，包括多台影像记录设备，对所述多台影像记录设备进行间差分组，得到多组影像记录设备；采样模块，所述采样模块与所述影像记录设备相连，所述采样模块采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像，其中，每个采样模块采集所述运动目标的一个视角的图像；预处理模块，所述预处理模块与所述采样模块相连，用于对所述运动目标初始图像中每一个视角的图像进行光流估计和运动补偿，得到所述多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像；初始三维模型建立模块，所述初始三维模型建立模块与所述采样模块相连，用于根据所述多组影像记录设备在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用所述可视凸壳建立运动目标的初始三维模型；法向信息恢复模块，所述法向信息恢复模块分别于所述预处理模块和所述初始三维模型建立模块相连，用于对所述各个采集时刻的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，得到所述运动目标的初始三维模型的法向信息；优化三维模型建立模块，所述优化三维模型建立模块与所述法向信息恢复模块相连， 用于对所述运动目标的初始三维模型的法向信息和所述初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。
8.如权利要求7所述的基于变光照多视角间差采样的重建装置，其特征在于，所述多台影像记录设备以所述运动目标为中心呈环形排列。
9.如权利要求8所述的基于变光照多视角间差采样的重建装置，其特征在于，对所述多台影像记录设备按照光照条件进行间差分组，其中，每组影像记录设备对应的光照条件相同。
10.如权利要求7所述的基于变光照多视角间差采样的重建装置，其特征在于，所述多组影像记录设备中的不同组的影像记录设备在各个时刻和不同的光照条件下采集运动目标的多个视角的图像，所述多组影像记录设备中的同组的影像记录设备在各个时刻和相同的光照条件下采集运动目标的多个视角的图像。
11.如权利要求7所述的基于变光照多视角间差采样的重建装置，其特征在于， 所述初始三维模型建立模块利用所述可视凸壳采用下述方法之一建立运动目标的初始三维模型多视角体素方法、表面进化方法、深度图融合方法和特征扩展方法。
12.如权利要求7所述的基于变光照多视角间差采样的重建装置，其特征在于，所述法向信息恢复模块包括将不同光照图像的亮度信息分别投影到所述运动目标的初始三维模型上； 根据所述运动目标的初始三维模型利用最小二乘的方法优化得到每一种特定光照下的谐波系数，然后根据所述的每一种特定光照下的谐波系数优化得到九维谐波空间； 利用所述九维谐波空间表示所述运动目标初始三维模型的法向信息。
全文摘要
本发明提出一种基于变光照多视角间差采样的三维重建方法，包括以下步骤多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像；根据运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用可视凸壳建立运动目标的初始三维模型；对图像和初始三维模型进行联合运动补偿，得到运动目标的初始三维模型的法向信息；对运动目标的初始三维模型的法向信息和初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。本发明还公开了一种基于变光照多视角间差采样的三维重建装置。本发明利用得到的多光照多时刻的图像信息，实现快速运动目标的高精度的三维重建。
文档编号G06T17/00GK102364524SQ20111033035
公开日2012年2月29日 申请日期2011年10月26日 优先权日2011年10月26日
发明者付莹, 刘烨斌, 戴琼海 申请人:清华大学