专利名称：一种基于图像的绘制方法
技术领域：
本发明属于计算机图形学及虚拟现实技术领域，具体涉及一种基于图像的绘制方法。
技术背景计算机图形学的主要目标之一是在具有普通计算能力的计算机上实现真实感图形的 实时绘制。各种三维建模方法可以帮助我们建立复杂的模型以描述真实世界中的对象，进 而合成复杂的虚拟场景。计算机图形学领域内一般存在两大类方法对真实场景进行建模与 绘制基于几何的建模与绘制(GBMR)和基于图像的建模与绘制(IBMR)。基于几何的建模将场景描述成基本的几何基元，通过定义光源和物体表面材质等属 性，以及绘制公式的计算产生出虚拟的合成图像。基于几何的绘制计算强度大、速度慢， 尤其是对复杂场景进行建模和绘制时。因此，在虚拟现实这类需要实时绘制的领域，使用 基于几何的方法来实现具有照片真实感的绘制是非常困难的。与基于几何的建模与绘制相比，基于图像的建模与绘制是一个比较新的领域。这类方 法不需要预先建立几何模型，而是直接利用场景或物体的图像作为输入，从而为照片真实 感绘制提供了一种更自然的途径。基于图像的绘制方法的主要优点在于需要的计算资源 少，易于实现实时计算；绘制时间与场景的复杂度无关，因此可以用较短的建模时间、较 快的绘制速度来获得高度真实感的效果。其中，Matusik等人提出的基于图像的视觉凸壳 (Image-Based Visual Hull: IBVH)方法，由于计算效率较高，描述简便，得到了广泛的 应用(参见文献W. Matusik， C. Buehler, et al. Image-Based Visual Hull. Proceedings of ACM SIGGRAPH 2000, pp. 369 - 374, 2000)。在基于图像的视觉凸壳算法中，首先从不同的方向对物体采集若干参考图像，并将前 景物体与背景进行分割。分割后得到的二值图像称为侧影图(silhouette image)，由相机中心投射出来的射线与侧影的交集，称为投影锥。如图1所示，所有参考图像的投影锥 的交集，即是对真实三维实体表面的一种近似表达，称为视觉凸壳。在具体绘制过程中， 根据新视点的位置，从新视图的每个像素点可以引出一条射线，它与物体相交的交点位置 可以通过极线几何原理借助其他已知的参考图像计算得到。这是一种计算模型，并没有将 物体的几何模型显式地重建出来，而是根据每个像素所对应的三维交点的位置，投影到邻近的参考图像上取得正确的纹理，从而完成新视图的绘制。这一方法最大的贡献在于将计 算限制在二维图像空间，从而大大减少了计算量。常规视觉凸壳算法的思想是"从轮廓恢复形状"，因此从理论上讲，参考图像越多， 视觉凸壳就越接近真实的物体表面。但是，由于所有的参考图像必须处于相同参考坐标系 中，因此在不改变目标物体和坐标系相对位置的前提下，物体底部的图像是很难取得的。 而一旦改变物体的相对位置，就必须引入复杂的配准算法来将新获得的图像变换到原有坐 标系中。于是，如何有效地获取物体底部的图像，并在绘制时正确恢复出底部的形状与纹 理，就成为一个需要解决的难题。发明内容本发明的目的是针对现有基于图像的绘制技术在底部建模上的不足，在基于图像的视 觉凸壳算法的基础上，提出了一种基于"虚拟相机"概念的底部图像绘制方法。该方法旨 在解决对物体底部不能有效获取参考图像并正确恢复其几何形状及纹理信息的问题，使绘 制结果更具真实感，并能在更大范围内实现自由浏览。为达到上述目的，本发明提出的基于图像的绘制方法主要分为以下几个步骤(如图2 所示)1) 获取参考图像采用一种由透明玻璃板及平面镜组成的图像采集平台，从不同方位采集目标物体的图 像，包括其底部的图像。2) 图像分割通过图像分割，将每幅参考图像中的目标物体从背景中分离，得到物体轮廓；对于底 部图像，通过变换得到相应的虚拟图像。3) 相机标定根据标定场信息，计算每幅参考图像所对应相机的内、外参数；对于物体底部虚拟图 像，推导计算其对应虚拟相机参数。4) 构造目标物体视觉凸壳根据基于图像的视觉凸壳原理，计算从对应相机光心出发的投影锥，构造目标物体的 视觉凸壳模型。5)合成新视点下的新视图通过人机交互指定新视点，并绘制出此新视点下的合成视图。 本发明的优点和积极效果在于1. 通过简便有效的平面镜图像采集平台，可以在采集普通参考图像的同时，取得物 体底部的图像而无需任何附加配准计算。2. 本发明的绘制方法在几何、纹理方面进一步改善重建出的物体模型，有效消除现 有方法中易出现的变形现象，取得更高真实感的绘制结果。
下面是对本发明附图的简要说明图1是视觉凸壳生成原理示意图；图2是本发明的图像绘制方法的流程图；图3是虚拟底部图像及虚拟相机的示意图；图4是本发明中采用的分布于平面镜上的同心圆标定场的示意图；图5是图像分割及虚拟底部图像生成的示意图；其中，(a)是原始图像；(b)是分离背景后的图像；(C)是顶部的真实图像； (d)是底部图像；(e)是翻转后生成的底部虚拟图像；图6是真实图像和虚拟底部图像及相机位置分布的示例图；图7是真实相机参数和虚拟相机参数标定方法的流程图；图8是基于图像的视觉凸壳绘制过程示意图；图9是绘制新视图时顶点重定位过程的示意图；图IO是使用本发明方法对目标物体进行绘制的结果示例；其中，(a)为常规方法绘制的结果，(b)是本发明方法绘制的结果。
具体实施方式
下面结合本发明的附图，详细描述本发明的具体实施方法。本发明的图像绘制方法的流程如图2所示，具体步骤如下步骤1通过对置于标定场中的目标物体从不同的方向进行拍摄，获取一组参考图像。 为了便于获取目标物体底部的信息，本发明采用平面镜图像采集平台。如图3所示，图像 采集平台由一面透明玻璃和一面分布有标定物的平面镜构成。平面镜的作用有两点(1) 在拍摄目标物体的参考图像的同时，获得其底部在平面镜中的像；(2)镜面上分布的同心 圆标定物构成标定场(如图4所示)，可以用于步骤3中对相机进行标定，计算其内、外 参数。透明玻璃与平面镜相隔一定距离，既可以平稳放置目标物体，又能够使平面镜的作 用得到发挥，保留物体底部在平面镜中的像。本发明的实施例中，玻璃与平面镜的尺寸分 别为800mmX800mmX5mm、 500咖X500画X5咖。采用较薄的玻璃，可以使玻璃-空气界 面处的折射所产生的影响尽可能降低。此处用于拍摄图像的设备可以是普通消费级数码相 机或CCD数字摄像头等。如图5所示，步骤2首先通过图像分割方法，将上述参考图像中的目标物体(包括物 体实像及平面镜中的虚像)与图像中的背景分离，得到所述目标物体的二维轮廓。本发明从每幅参考图像中获得真实物体图像和物体底部虚拟图像所述真实物体图像 通过对原始图像进行分割、将物体实像从背景中分离出来即可得到；所述物体底部虚拟图 像通过如下方法获得首先通过手工交互或自动背景剪除等方法，将物体在平面镜中的虚 像从背景中分离，再对其进行垂直翻转变换(即以图像水平中轴为对称轴做垂直方向的 对称变换)。从数学上可以证明，如果在与真实相机视点相对于平面镜平面对称的位置放 置一个完全对称的虚拟相机(如图3所示)，则该虚拟相机的成像与垂直翻转后的底部图 像是等价的(具体证明过程见步骤3)。因此垂直翻转后所得图像可以视为通过虚拟相机采 集到的物体底部图像，称为虚拟图像。经过上述步骤，可以得到两组参考图像， 一组为真实图像，从俯视视角对物体进行拍 摄所得；另一组虚拟图像则对应于从物体底部以下的虚拟视点仰视拍摄物体所得。两组图 像及其对应视点的位置关系如图6所示。步骤3计算真实图像和虚拟底部图像对应的相机参数。其中，真实图像对应的相机参数通过通用的相机标定算法求解。具体到本实例中，对 于每幅真实图像，首先通过自动识别算法(参见文献穆亚东，相机标定中的图像识别技术，学士学位论文，北京大学，2004.)识别出参考图像中由六种纯色组合而成的同心圆 标定物，并计算出其中心点在二维图像中的像素坐标。由于同心圆中心点在三维空间中的 坐标亦为已知，因此可以按照常用的P4P相机标定算法(参见文献胡占义，雷成，吴福 朝，关于P4P问题的一点讨论，自动化学报，27 (6)， 770—775, 2001.)，通过求解坐标 变换方程组得到相应的真实相机的内、外参数。本发明不限于使用这种同心圆标定场及P4P 的相机标定算法，使用其他种类的标定场及标定算法亦是可行的。而虚拟底部图像对应的相机参数，则可以通过如下所述的虚拟相机生成算法，根据其 对应的真实相机参数变换求解。对于每幅虚拟图像八则首先找到其对应的真实图像/，然后对/对应的真实相机C 的参数进行如下变换，得到/'对应的虚拟相机C'的参数根据针孔相机模型，从目标物体表面上一点Oc,:Kz)到它在相机C中的像素(",v)的映 射可以表示为(1)<formula>formula see original document page 8</formula>其中4尺r分别为c的内参数矩阵、旋转矩阵和平移向量，S为一常系数;<formula>formula see original document page 8</formula>内参数矩阵^中，/为相机焦距，W和/7分别为图像的宽和高的像素数。如果将该变换中围绕义、r、 Z坐标轴旋转的角度分别记为ot、 A、 y，则旋转矩阵及可以具体表示为<formula>formula see original document page 8</formula>可以假定坐标系中y轴与镜面垂直且z-z平面与镜面重合，则点oc, 乂 z)关于镜面的对称点为(x， -_y， z)，它在虚拟相机C'中的像素为("',v')。由镜面对称性质可知，从(x，,z) 到(w',v')的变换中围绕X、 7、 Z轴旋转的角度分别为-a、 P、 -y，于是相应的旋转矩阵为<formula>formula see original document page 8</formula><formula>formula see original document page 9</formula>同理可推导出c'的平移向量为r，= d - ，4)、而c'本质上是c的镜像，因此内参数 矩阵不变。于是最终可以得到c'的内、外参数如下<formula>formula see original document page 9</formula>如果将这两组相机参数代入式(1)，可分别导出:<formula>formula see original document page 9</formula>以及<formula>formula see original document page 9</formula>由此可得<formula>formula see original document page 9</formula>这表明(W, V)和(M'， V')是关于图像坐标系中的水平横线V-;对称的，因此可以证明步骤2中对图像进行垂直翻转是正确的。步骤4提取目标物体轮廓，从而构造目标物体的视觉凸壳。具体而言，对于每幅真实物体图像和虚拟底部图像，首先提取当前图像中目标物体的边缘像素，边缘像素将构成一 条或几条封闭的轮廓曲线；然后，将边轮廓曲线向量化，即采用若干条首尾相接的线段表 示该封闭轮廓曲线。最后，在视觉凸壳框架下，结合相应的相机参数，从相应视点出发并 通过当前轮廓线段各端点的射线集合，即构成当前参考图像对应的一个视觉锥。各参考图 像对应的视觉锥的交集即为目标物体的束缚体，称之为视觉凸壳。步骤5通过人机交互指定新视点，绘制新视图。按照视觉凸壳算法的基本原理，用户指定新视点方向后，新视图的计算过程包括以下 步骤，如图8所示(1) 在新目标视点下，要合成的新视图的每个像素都对应于空间中的一条射线，所述 射线是从相机中心出发、经过该像素的射线。利用相机参数以及极线几何原理，这条射线 可以被投影到其它参考图像上。(2) 射线的投影在参考图像上与物体的轮廓相交，可以得到一组二维线段。(3) 再次利用相机标定信息，图像上的二维线段可以反投影到三维空间中，在当前像 素的射线上得到对应的三维线段集合。对每一幅参考图像重复上述运算，所得的三维线段集合的公共交集，即可视为当前射 线与视觉凸壳的交。其中最靠近视点的线段端点，即可视为当前像素在三维空间中的对应 点。将此三维对应点投影到适当的参考图像上，取得对应像素的颜色信息并加以融合，就 可以生成新视图中的新像素。具体绘制时，需要根据当前视点与物体底部的相对位置采取不同的策略，因此先要确 定物体底部平面的高度首先，在不同参考图像中识别出若干位于物体底部边缘的像素(一 般需要10-20个像素)，然后在视觉凸壳框架下计算各像素对应的三维顶点坐标，最后将 各三维顶点的平均高度视为物体底部平面高度。如图9所示，当新视点位置高于底平面高度时，物体底部不可见，因此绘制过程与一 般视觉凸壳流程相同(情形(D);而当新视点位置低于底平面高度时，则采用如下策略来 计算各像素的纹理颜色对于当前像素所对应的三维顶点，1) 若其高度高于物体底平面高度，则直接将其映射到相邻参考图像中，确定对应的 纹理(情形②)；2) 若其高度低于物体底平面高度，则首先将该顶点沿对应的视线延长至底平面高度，然后将重定位后的交点映射到相邻参考图像，确定其对应的纹理(情形③)。 如图10所示，采用新的绘制策略后，传统视觉凸壳方法中的底部建模问题得以解决， 目标物体的底部形状和纹理信息均得以正确重建，用一般方法绘制时存在的"尖底"现象 得以消除，绘制结果的真实感也有显著提高。上述内容具体说明了基于图像的视觉凸壳的底部绘制的方法。借助于平面镜图像采集 平台，可以简便有效地获取目标物体的底部图像；采用图像分割算法和虚拟相机生成算法， 可以得到分别针对目标物体上部和底部的两组参考图像，以及它们对应的相机参数；通过 顶点重定位，显著改善目标物体的几何及纹理信息重建结果，提高绘制的真实感。尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内 容并据以实施，但是本领域的技术人员可以理解在不脱离本发明及所附的权利要求的精 神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和 附图所公开的内容。
权利要求
1.一种基于图像的绘制方法，其步骤包括1)从不同方位拍摄目标物体，利用图像采集平台采集所述目标物体的参考图像，所述参考图像包括真实图像和底部图像，所述采集平台中包括一面分布有若干同心圆标定物的平面镜；2)将上述底部图像关于所述平面镜垂直翻转获得虚拟底部图像；3)分别计算所述真实图像和虚拟底部图像对应的相机参数，提取目标物体轮廓，构造目标物体的视觉凸壳；4)从上述不同参考图像中识别位于物体底部边缘的像素，利用视觉凸壳算法计算各像素对应的三维顶点坐标，确定物体底平面高度；5)指定新视点方向，根据新视点相对于物体底平面的不同位置进行绘制，若新视点为仰视视点，且所述仰视视点所对应的三维点低于物体底平面高度，绘制时将所述三维点沿对应的视线延长至物体底平面高度，确定重定位后的交点，并将所述重定位后的交点映射到相邻参考图像，确定其对应的纹理，完成图像的绘制。
2. 如权利要求1所述的方法，其特征在于所述步骤1)中的图像采集平台还包括 一面透明玻璃，所述透明玻璃与所述平面镜有间隔距离。
3. 如权利要求l所述的方法，其特征在于所述步骤3)中的相机参数指相机的内 参矩阵、旋转矩阵、平移向量。
4. 如权利要求1所述的方法，其特征在于所述步骤3)中的真实图像的相机参数， 是通过自动识别算法识别所述参考图像中的同心圆标定物及其标志的参考点坐标，按照相 机标定算法计算获得。
5. 如权利要求4所述的方法，其特征在于，所述相机标定算法为P4P相机标定算法。
6. 如权利要求4所述的方法，其特征在于，所述虚拟底部图像的虚拟相机的参数 的计算方法如下1) 找出虚拟底部图像对应的真实物体图像，所述虚拟底部图像与真实物体图像关于所述平面镜对称；2) 设真实图像的真实拍摄视点; 对应的真实相机C的内参矩阵A、旋转矩阵R、平移 向量T分别为<formula>formula see original document page 3</formula>3)对应的虚拟底部图像的虚拟视点y对应的虛拟相机C'的内参矩阵i、旋转矩阵及'、平移向量r分别为<formula>formula see original document page 3</formula>上述/为相机焦距，w和A分别为图像的宽和高的像素数。
7. 如权利要求l所述的方法，其特征在于所述步骤3)中，提取目标物体轮廓， 构造目标物体的视觉凸壳的方法为1) 提取每幅真实物体图像和虚拟底部图像中目标物体的边缘像素；2) 若干条首尾相接的边缘像素构成一条或几条封闭的轮廓曲线；3) 利用所述轮廓曲线和相应的相机参数生成视觉锥的交集。
8. 如权利要求1所述的方法，其特征在于所述步骤4)中，利用图像中位于目标 物体底部的10-20个像素，计算所述像素对应的三维顶点坐标，各三维顶点的平均高度视 为物体底部平面高度。
9. 如权利要求1所述的方法，其特征在于所述步骤5)中，若新视点为俯视视点， 绘制过程与一般视觉凸壳流程相同；若新视点为仰视视点，且所述仰视视点所对应的三维 点高于物体底平面高度，则直接将图像映射到相邻参考图像中，确定对应的纹理。
全文摘要
本发明属于计算机图像学及虚拟现实技术领域，具体涉及一种基于图像的绘制方法。本发明通过获取包括底部图像的参考图像，根据平面镜中的底部图像计算得到虚拟视点下的底部虚拟参考图像，及其对应的虚拟相机参数，构造目标物体视觉凸壳，绘制新视点下的新视图。本发明在采集普通参考图像的同时取得物体底部的图像，有效消除现有方法中易出现的变形现象，使绘制结果更具真实感，并能在更大范围内实现自由浏览。
文档编号G06T15/10GK101334900SQ20081011763
公开日2008年12月31日 申请日期2008年8月1日 优先权日2008年8月1日
发明者洁 冯, 周秉锋, 宋本聪 申请人:北京大学