一种基于图像序列的三维建模方法及系统与流程

本发明涉及三维建模领域，特别涉及一种高精度电影级别的三维建模方法及系统。

背景技术：

目前，在很多游戏和立体电影中的三维模型绝大部分需要专业人员通过使用专业的建模工具对物体进行三维建模制作而成，会消耗大量的人力和时间。而使用三维扫描仪对物体三维信息进行提取，存在设备价格太高，会造成三维建模成本过高，不符合大众化的需求。

在对物体进行三维重建的方案中，现有的基于图像的三维重建方法可分为以下几类：(1)单视角三维建模、(2)双视角三维建模和(3)多视角三维建模。由于根据单幅或者两幅图像去获取图像的深度信息对算法的要求高，因此基于单视角和双视角的三维建模方法在精准度上达不到精准三维建模的效果。在已有的多视角三维建模方案中，通常是将摄像设备环绕物体运行进行动态拍摄，获取所需三维建模物体的360度的图像，再将图像传输至计算机进行三维建模，但此方法在一定程度上对环绕的拍摄角度及拍摄速度要求比较高，且由于光照的不均匀分布，会导致三维建模的误差较大，不能满足现有的影视行业中的高精度三维建模的需求。

技术实现要素：

基于现有技术所存在的问题，本发明的目的是提供一种基于图像序列的三维建模方法及系统，能以简单方式获取物体的图像序列为基准进行高精度三维建模，满足影视、游戏行业对高精度三维建模的需求。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种基于图像序列的三维建模方法，包括：

图像采集：在相同光照条件下，通过立体环绕在所需三维建模的建模对象的周围分布设置的多个拍照装置，从多个角度同时采集所述建模对象全方位的多个图像作为图像序列；

拍照装置标定：根据相邻的拍照装置获取到的图像对各拍照装置进行标定，获取各拍照装置的参数；

图像预处理：对所述图像采集步骤采集的多个图像进行降噪处理；

特征点提取：对所述图像预处理步骤处理后的多个图像分别提取各图像的特征点；

立体匹配：根据双视角测距和所述拍照装置标定步骤获取的各拍照装置的参数，将各图像的各特征点转换为三维特征点，并计算得到各图像的深度图像；

三维重建：利用所述立体匹配步骤得出的各图像的深度图像，确定不同视角下相同三维特征点的加权平均距离，得到所述建模对象的各三维特征点的三维空间坐标，即完成对所述建模对象的三维建模。

本发明实施方式还提供一种基于图像序列的三维建模系统，包括：

立体环照光源、多个拍照装置、供电装置、控制装置和建模装置；其中，

所述立体环照光源设有呈均匀球形分布的多个光照点，多个光照点的中心位置为所需三维建模的建模对象的放置位；

所述多个拍照装置呈均匀球形分布，多个拍照装置的中心位置为所述建模对象的放置位；

所述供电装置，分别与所述立体环照光源和所述多个拍照装置电气连接，能分别为所述立体环照光源和各拍照装置供电；

所述控制装置，分别与所述多个拍照装置通信连接，能同时控制所述多个拍照装置采集所述建模对象全方位的多个图像形成图像序列；

所述建模装置，与所述多个拍照装置通信连接，能接收所述多个拍照装置采集的所述建模对象全方位的多个图像，并对多个图像依次进行图像预处理、特征点提取、立体匹配和三维重建后，完成对所述建模对象的三维建模。

由上述本发明提供的技术方案可以看出，本发明实施例提供的基于图像序列的三维建模方法及系统，其有益效果为：

通过使用多个拍照装置在相同的关照条件下，不需要利用专业的扫描仪，仅通过获取建模对象不同角度的多个图像形成的图像序列，即可完成对建模对象的高精度三维建模。该方法操作简单，三维建模精度，能达到影像级三维建模的效果，由于不需要利用专业的扫描仪，降低了建模成本低，能满足大众化的需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于图像序列的三维建模方法的流程图；

图2为本发明实施例提供的基于图像序列的三维建模方法涉及的双视角测距原理图；

图3为本发明实施例提供的基于图像序列的三维建模系统的构成示意图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1所示，本发明实施例提供一种基于图像序列的三维建模方法，包括：

图像采集：在相同光照条件下，通过立体环绕在所需三维建模的建模对象的周围分布设置的多个拍照装置，从多个角度同时采集所述建模对象全方位的多个图像作为图像序列；

拍照装置标定：根据相邻的拍照装置获取到的图像对各拍照装置进行标定，获取各拍照装置的参数；

图像预处理：对所述图像采集步骤采集的多个图像进行降噪处理；

特征点提取：对所述图像预处理步骤处理后的多个图像分别提取各图像的特征点；

立体匹配：根据双视角测距和所述拍照装置标定步骤获取的各拍照装置的参数，将各图像的各特征点转换为三维特征点，并计算得到各图像的深度图像；

三维重建：利用所述立体匹配步骤得出的各图像的深度图像，确定不同视角下相同三维特征点的加权平均距离，得到所述建模对象的各三维特征点的三维空间坐标，即完成对所述建模对象的三维建模。

上述方法中，图像采集步骤包括：

步骤11)在所述建模对象的周围立体环绕设置立体环照光源，所述立体环照光源设有呈均匀球形分布的多个光照点，能为所述建模对象提供各个角度均相同的光照条件；

步骤12)在所述建模对象的周围立体环绕设置多个拍照装置，所述多个拍照装置采用与所述立体环照光源的多个光照点的分布方式相同的呈均匀球形分布的分布方式；

步骤13)通过无线引闪同时控制多个拍照装置同时采集所述建模对象的全方位的多个图像作为图像序列。

上述方法的图像采集步骤中，各拍照装置均采用相同型号的专业单反相机。

上述方法的拍照装置标定步骤中，获取的各拍照装置的参数包括：各拍照装置的内部参数和外部参数。如，横纵方向焦距、倾斜因子、主点坐标等内部参数，以及相机坐标系同世界坐标系的相对位置或者可以认为是两个拍照装置(即相机)的相对位置等外部参数。

上述方法的图像预处理步骤中，对所述图像采集步骤采集的多个图像进行降噪处理采用：平滑滤波图像降噪处理、均值滤波图像降噪处理中的任一种。

上述方法的特征点提取步骤中，对所述图像预处理步骤处理后的多个图像分别提取各图像的特征点采用以下特征点检测算法中的至少一种：

基于模板匹配的特征检测算法、基于灰度变化的特征检测算法和基于图像边缘检测的特征检测算法。

上述方法的立体匹配包括：

步骤s1)，根据双视角测距确定提取的每个图像的各特征点在世界坐标系中的位置，得到各图像的各三维特征点；

步骤s2)，根据所得到的各图像的各三维特征点与所述拍照装置标定步骤获取的各拍照装置的参数，计算得到单个图像的深度图像，重复上述步骤直至得出每个图像的深度图像。

通过上述方式实现了对多个图像形成的图像序列中的各特征点匹配，得到相同的特征点在不同图像中的对应关系。

上述方法的三维重建包括：

步骤s3)，用圆柱体的基面加上位移图表示所述建模对象的表面几何，其中，所述位移图是由所述立体匹配步骤中得到的各个图像特征点在世界坐标系中的位置得到，即由坐标原点指向各特征点形成由坐标原点向四周发散的有向向量，有向向量指向球形框架构成的位移图；所述位移图的位移矢量指向呈均匀球形分布设置的所述多个拍照装置形成的球形框架；

步骤s4)，利用得出的多个深度图像和三维特征点，定义所述圆柱形的位移图的最小成本函数；

步骤s5)，对所述位移图的最小成本函数进行优化，得到不同视角下相同三维特征点的加权平均距离，得出所述建模对象的各三维特征点(即建模对象表面的各像素点)的三维空间坐标，即完成对所述建模对象的三维建模。

具体的，上述方法对建模对象三维建模时，将建模对象放置在立体环照光源和立体环绕设置的多个拍照装置的中心位置，通过立体环绕的立体环照光源对物体进行均匀照明，利用360度立体环绕放置的多个拍照装置(即相机)获取建模对象不同角度的多个图像形成图像序列，将多个图像传输至解算处理的建模装置进行三维建模，得到建模对象的高精度三维模型。

上述方法中，对多个拍照装置与立体环照光源的布置方式为极化分布，可以得到相同光照不同角度下的建模对象的深度图像，可以非常有效的记录建模对象的细节。

本发明实施例还提供一种基于图像序列的三维建模系统，用于实现上述方法，包括：

立体环照光源21、多个拍照装置22、供电装置23、控制装置24和建模装置25；其中，

所述立体环照光源21设有呈均匀球形分布的多个光照点，多个光照点的中心位置为所需三维建模的建模对象的放置位；

所述多个拍照装置22呈均匀球形分布，多个拍照装置的中心位置为所述建模对象的放置位；

所述供电装置23，分别与所述立体环照光源和所述多个拍照装置电气连接，能分别为所述立体环照光源和各拍照装置供电；

所述控制装置24，分别与所述多个拍照装置通信连接，能同时控制所述多个拍照装置采集所述建模对象全方位的多个图像；

所述建模装置25，与所述多个拍照装置通信连接，能接收所述多个拍照装置采集的所述建模对象全方位的多个图像，并对多个图像依次进行图像预处理、特征点提取、立体匹配和三维重建后，完成对所述建模对象的三维建模。

上述系统中，建模装置25对多个图像依次进行图像预处理、特征点提取、立体匹配和三维重建为：

图像预处理：对所述多个拍照装置采集的多个图像进行降噪处理；

特征点提取：对所述图像预处理步骤处理后的多个图像分别提取各图像的特征点；

立体匹配：根据双视角测距和所述拍照装置标定步骤获取的各拍照装置的参数，将各图像的各特征点转换为三维特征点，并计算得到各图像的深度图像；

三维重建：利用所述立体匹配步骤得出的各图像的深度图像，确定不同视角下相同三维特征点的加权平均距离，得到所述建模对象的各三维特征点的三维空间坐标，即完成对所述建模对象的三维建模。

上述系统中，控制装置，与所述立体环照光源电气连接，能控制所述立体环照光源为所述建模对象提供照明。

上述系统中，利用供电装置分别对立体环照光源和所述多个拍照装置供电，避免多个拍照装置同时引闪以及立体环照光源带来的负载不足的问题。

本发明通过使用多个拍照装置与能进行立体环照的光源，不需要利用专业的扫描仪，仅通过获取建模对象不同角度的多个图像形成的图像序列，即可完成对建模对象的高精度三维建模，由于设置供电装置以及控制装置，使得操作方便，同时对图像序列进行密集匹配的思路进行三维建模，极大的提高了建模的精度，达到了影像级建模的效果，不用专业的扫描仪也降低了建模成本。

下面对本发明实施例具体作进一步地详细描述。

参照图3，本发明实施例提供一种基于图像序列的三维建模系统，包括：

立体环照光源21：设有多个光照点，多个光照点呈球形分布设置，所需三维建模的建模对象处于立体环照光源的中心位置，使得建模对象的各个角度均能获取相同的光照条件；优选的，每个光照点可由偏光片以及cob灯珠构成，优选使用相同型号的偏光片以及cob灯珠，能确保建模对象的光照情况一致。

多个拍照装置22：利用多个拍照装置(各拍照装置均可采用专业级单反相机，可采用型号相同的专业级单反相机)环绕建模对象对建模对象进行全方位的拍摄，获取不同角度下建模对象的多个图像；

供电装置23：分别为拍照装置以及立体环照光源供电；

控制装置24：与多个拍照装置通信连接，控制图像采集，以及控制采集的图像传输至建模装置；

建模装置25：利用拍照装置采用的多个图像形成的图像序列对建模对象进行三维建模。

应用上述建模系统，实现基于图像序列的三维建模方法，包括以下步骤(参见图1)：

步骤s1)图像采集：在相同光照下使用相同型号的拍照装置(即相机)对建模对象进行全方位的拍摄，获取建模对象的全方位的多个图像，多个图像形成图像序列；

步骤s2)拍照装置标定：根据相邻的拍照装置获取到的图像对拍照装置进行标定，获取拍照装置的参数(内部参数和外部参数)，用于获取图像的深度信息；

步骤s3)图像预处理：对采集的多个图像进行基本的降噪处理，减少随机噪声并突出图像的有用信息，改善图像的质量，以便于后续特征点的提取；

上述步骤s3中，降噪处理采用：平滑滤波图像降噪处理、均值滤波图像降噪处理中的任一种。

步骤s4)特征点提取：获取图像序列中各个特征点的信息，进行特征点匹配；即

该步骤s4中，采取的特征点检测算法主要包括但不限于：基于模板匹配的提取算法、基于灰度变化的提取算法、基于图像边缘检测的提取算法；

步骤s5)立体匹配：根据双视角测距和所述拍照装置标定步骤获取的各拍照装置的参数，将各图像的各特征点转换为三维特征点，并计算得到各图像的深度图像；实现将多个图像形成的图像序列中的特征点匹配，得到相同的特征点在不同图像中的对应关系；

步骤s6)三维重建；依据双视角测距原理以及步骤s2中获取的拍照装置的参数(内、外部参数)，根据步骤s5中得到的特征点在图像中的对应关系(即利用所述立体匹配步骤得出的各图像的深度图像)，确定不同视角下相同三维特征点的加权平均距离，得到所述建模对象的各三维特征点的三维空间坐标，完成对建模对象的三维建模。

上述方法的步骤s1中，图像采集为利用多个拍照装置与立体环照光源对建模对象多角度采集多个图像。

上述方法的步骤s2中，拍照装置标定的方法，即相机标定方法，可采取行业内通用的张正友标定法进行相机的标定，获取相机的参数，包括内参(横纵方向焦距、倾斜因子、主点坐标等)和外参(相机坐标系同世界坐标系的相对位置或者可以认为是两相机的相对位置)。

上述方法中，步骤s1～s5是通过双视角测距获取单个图像深度信息(即获取单个图像的深度图像)的步骤，如图2所示，两个图像(左右视图)间的内在几何关系称为对极几何，对极几何描述的主要是两个图像平面与对极平面的几何关系，对极平面是绕基线转动的平面束，由空间点确定，对极几何独立于场景结构，只依赖于两相机的内部参数、外部参数(两相机的相对位姿)，clxlylzl即为左相机坐标系，crxryrzr即为右相机坐标系，空间点p在左、右图像平面上的像点分别为pl和pr，pl和pr即同名点。左右相机的光心即cl和cr。

根据小孔成像的基本原理，空间点p，两个图像平面上的投影点pl、pr，左右相机光心cl和cr五点共面，该平面就称作极平面，极平面的集合为绕基线(是左右相机光心连线)转动的平面束，极平面由空间点确定。

极平面与左右图像平面各有一条交线l和l′，称为极线，显然pl的同名点pr就在pl对应的极线l′上，同理，pr的同名点pl也在pr对应的极线l上。在立体匹配阶段需要搜索空间点p对应的左图像上的像点pl的匹配点pr，只需要在点pl对应的极线l′及其附近的区域(考虑实际的中噪声的存在)搜索即可，这称为外极线约束，此约束非常重要，在立体匹配中的一些经典算法经常被采用，可以将匹配点的搜索范围从二维(整个图像平面)降为一维(极线上)，从而大大削减计算量。这种匹配方法一般在已求解出基础矩阵后进行，称为引导匹配。

极点e是右相机光心cr在左图像中的投影点，同理，极点e′是左相机光心cl在右图像中的投影点，如果两个图像平面共面，也就是基线平行于两个图像平面，并且两个图像平面的两条边共线，此时，两极点被投影到无穷远处，图像中所有的极线相互平行，且与图像平面的一条边平行，这称为图像校正，也称作极线校正，是将其转化为平行对准配置的双视角视觉模型，如图3所示，两个相机光轴相互平行，两相机左右对称放置，此时同名点在左右图像的同一行上，在搜索匹配点时，只需在该点所在行上进行，使匹配工作进一步简化。

在此相机焦距相同为f，两个相机之间的基线距离b，其光轴平行于z轴，空间点p投影在左右图像上的像点位于同一行上，分别是pl(xl,yl)、pr(xr,yr)满足如下关系：

上述(1-1)式中d(xl,y)为视差，根据相似三角形原理可以计算出深度值z；

由上述(1-2)式可以看出，深度z与基线长度b，相机焦距f以及对应点视差d(xl,y)有关，通过立体匹配可得到对应点视差，通过相机标定可以知道相机焦距f，即可计算出每个像素位置的深度值。

在步骤s6中，利用步骤s1～s5得到的深度信息进行三维建模，具体步骤如下：

在多视角采集设置中，通常将多个深度图像合并成单个网格，然后可以使用合并的网格作为基础来执行进一步的细化。本发明步骤s6采取不需要合并的方式，也不需要单独的细化。而使用圆柱体作为基面加上位移图来表示建模对象的表面几何，其中位移矢量指向拍照的球形分布设置的多个相机形成的球形框架。并且，本发明直接在圆柱形参数域中计算单个网格，从而无需合并多个深度图。计算圆柱形位移图x用以计算最小成本函数：

上述(1-3)式中，v是位移图中所有像素点的几何，e是连接相邻节点的边的集合，xs是相对于s位置距离球形框架顶端的偏移，φs和ψst表示数据项和平滑选项。其中，数据项表示相邻相机i,j(可称为相机对)之间归一化互相关成本(ncc)的加权平均值，使用(1-ncc)/2作为对应圆柱坐标(s,xs)的点p为中心的3*3采样区域的成本。估计一个光度正常的表面，作为每个相机看到的法线的加权混合：nij＝(wini+wjnj)/|wini+wjnj|，其中ni是相机i观测点p的表面，nj是相机j观测点p的表面，如果点p可以被相机i观测到，式中wi＝(ni·vi)，否则为0。本发明将3d样本窗口约束为垂直于nij(并且尽可能垂直)，产生与表面大致相切的样本。为了避免由于缩短偏差造成的混叠现象，在每组相机对的基础上调整样本间距，使得投影样本在相机对中的两个相机上分开相等的像素。将散射反照率，镜面反照率和镜面正常值的所有数据通道ncc成本加起来，与仅使用表面颜色的其他建模方案相比，可以增加位置信息。相机对i,j的整体权重为最终的数据项为：

三维重建中的一阶平滑项有利于分段额定深度图，因为只有额定的深度表面才能被允许用来重建且不会造成损失。二阶平滑项提供更平滑的几何估计，因为能对任何粗糙的平面进行平滑拟合，但缺点是更难以优化。现有的一个基于光度表面法线的一阶平滑项，它消除了分段常数的伪像，但是在光度法线偏离真实的几何法线的地方，仍然会遇到几何形状的裂纹。基于迭代框架的二阶平滑项，通过计算各向异性平滑权重以避免过度平滑锐利特征。在本发明的三维重建步骤中结合了这两种技术：选取的平滑项有利于由光度测量光度表面法线定义的平面中的相邻点，且由各向异性平滑权重加权得到，在每次迭代之间更新消息传递如下表示：

上述(1-5)式中，r表示位移图的角度分辨率，ps表示相对于点(s,xs)的偏移量，ni；ps表示相机i观测点ps的光照强度，如果点s,t为水平相邻项则wst＝wh；s+wh；t，若为竖直相邻项则为wv；s+wv；t。wh；s,wv；s分别表示点s的水平和垂直方向的平滑参数，如下式：

wh；s＝wexp(-βα(αs+h-αs-h)²-βn(ns+h-ns-h)²)(1-6)

上述(1-6)式中，s+h表示点s的下一个水平邻域，s-h表示点s的前一个水平邻域，αs,ns分别表示点s的漫反射率和光度表面法线，w,βα,βn为三个自定义的可调参数。

通过以上步骤，完成对上述(1-3)式进行优化的过程。对上述(1-3)式的优化过程即为求出在不同视角下建模对象表面距离建模对象中心的距离，通过对不同视角下的相同点的距离的加权平均，得到最终精准的距离，完成所有像素点的中心距的过程即完成对建模对象三维建模的过程。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。