基于图像的复杂三维模型绘制方法
【专利摘要】本发明提供一种基于图像的复杂三维模型绘制方法，在包围模型的球面上均匀选择顶点作为相机坐标位置，以球心为相机的目标点，获得模型在此采样视角下的彩色图像与深度图像。根据采样点坐标对球面进行三角划分，确定虚拟视角所在的三角形，取以三角形的顶点为采样点所对应的视角为参考视角，使用参考视角下的深度图像与彩色图像绘制虚拟视角下的模型：首先，利用参考视角的参数分别计算虚拟视角与三个参考视角中像素之间的映射关系；其次，以深度图像为参考，选择合适的参考视角像素或者背景像素绘制虚拟视角的图像；最后，对绘制得到的彩色图像进行优化。本发明能够满足实时性的要求，同时得到十分逼真的绘制效果。
【专利说明】基于图像的复杂三维模型绘制方法
【技术领域】
[0001]本发明涉及一种基于图像的真实感绘制方法，主要用于复杂模型在虚拟视角下的真实感绘制。
【背景技术】
[0002]传统的图形学当中真实感绘制的一般过程是:用户输入物体的几何特性并进行几何建模，然后根据模型所在环境的光照信息，模型的光滑度、透明度、反射率折射率等物理属性，以及表面纹理等，通过空间变换、透视变换等，计算得到物体在特定视角下的每个像素的顔色值。然而，这种方法的建模过程复杂，计算和显示的开销大，时间复杂度与模型复杂度耦合性高，不适用于复杂模型的绘制，并且难以得到逼真的绘制結果。
[0003]基于图像的绘制方法(Image-Based Rendering.1BR)以图像作为基本的输入，在不进行几何模型重建的基础上合成虚拟视角下的图像，在视频游戏、虚拟旅行、电子商务、エ业检测等领域有着非常广阔的应用前景，因此也是三维图形逼真绘制领域的ー个研究热点。本发明所提出的基于图像的复杂三维模型绘制方法是ー种IBR方法。
[0004]基于图像绘制的主要方法如下:
[0005]1.几何和图像混合建模和绘制方法(Hybrid Geometry and Image-basedApproachノ
[0006]PaulE.Debevec (參考文献 1-PaulE.Debevec, camilloj.Taylor, Jitendramake.“Modeling and rendering architecture from photographs:a hybrid geometryand imaged-based approach，，.1n SIGGRAPH96Processing of the23rdannual conferenceon computer graphics and interactive techniques.Pagel 1-20)提出的几何和图像混合建模和绘制方法的主要步骤如下:
[0007]a.拍摄场景照片，交互指定模型的边缘；
[0008]b.生成模型的粗糙模型；
[0009]c.利用基于模型的立体视觉算法细化模型；
[0010]d.利用基于视点的纹理映射合成新视图。
[0011]此过程的实例如图4所示。这种方法的优点是简单快捷，可以通过拍摄少量的照片得到的新视图；缺点此过程还需要人为的指定模型的轮廓，只能适用于普通建筑物等外形规整的景物，不适用于复杂模型。
[0012]2.视图插值、变换的方法(View Interpolation、Transaction)
[0013]视图插值、变换方法直接利用參考点的照片生成虚拟视角下的图像。视图插值、变换方法(參考文献 2-Geetha Ramachandran, Markus Rupp.“MultiViewSynthesis From Stereo Views”.1n IWSSIP2012, ll-13April2012, PP.341-PP.345.參考文献 3-Ankit K.Jain, Lam C.Tran, RamsinKhoshabeh, Truong Q.Nguyen, EfficientStereo-to-Multiview Synthesis,ICASSP2011.PP.889-PP.892.參考文献 4_S.C.Chan, A.C.Bovik, H.R.Sheikh, and E.P.SimomCelli, “Image-Based Rendering andsynthesis” , IEEE Signal Process, Mag, vol.24, n0.6, PP.22-PP.33)的输入是两个视角下的规整化的彩色图像与深度图像，输出的是位于两个參考点所決定的直线上(基线，Baseline)的虚拟视角下的图像，具体的过程如下:
[0014]a.立体匹配，生成最初的合成视角图像；
[0015]b.优化处理，根据边缘检测找到可能的空洞点；
[0016]c.填充生成合成视角所对应的深度图；
[0017]d.图像重建，根据深度图像填充彩色图像空洞。
[0018]此方法的实例如图5所示。这种方法的优点是过程简単，生成图像的信噪峰值比高(信噪峰值比(PSNR)，表征处理后的图像与处理前图像的相似度。信号峰值比越高，说明合成图像的真实度越強)，并且能够出色的填补空洞。但是此方法只能产生位于基线上的虚拟视角的图像，而且对图片进行规整化操作会引入投影误差，只能生成近似的中间图像。
【发明内容】
[0019]现有的三维模型真实感绘制方法存在以下缺点:基于几何的方法存在模型获取与重建过程复杂，绘制过程受模型复杂度、模型光照属性影响大，绘制效果真实感不強，不适用于复杂模型的绘制；基于图像的绘制方法，合成视角被局限在两个參考视角之间的基线上，无法生成物体在任意视角下的图像。
[0020]针对现有技术的缺点，本发明提出基于图像的复杂三维模型绘制方法，其包含如下过程:
[0021](I)虚拟视角的标定:根据采样点相机位置坐标对包围模型的球面进行三角划分，确定虚拟视角所在的三角面片，取此三角面片的三个顶点所对应的视角为參考视角，虚拟视角可以被表示成參考视角的线性组合；
[0022](2)计算与绘制:根据虚拟视角、參考视角的位置和相机參数，计算三个參考视角图像中每个像素的坐标与虚拟视角下的像素坐标之间的映射关系；根据映射关系，将參考视角下彩色图像中的每ー个像素映射到虚拟视角下的图像中，计算该像素在虚拟视角下图像中的坐标和深度值，对于有多个參考视角的像素映射到同一位置的情况，取深度值小的像素值；同时标记虚拟视角下图像中所有已被參考视角像素填充的像素，构造一幅反映从參考视角到虚拟视角映射情况的灰度图；
[0023](3)图像的优化:对于虚拟视角下图像中的空洞，即经过(2)计算没有參考图像映射到该位置的像素，从反映參考视角到虚拟视角映射情况的灰度图中提取边缘轮廓信息，沿着边缘轮廓对生成的彩色图像进行中值滤波，用邻居像素的值填补空洞；同时，通过中值滤波过滤掉噪声像素。
[0024]其中，通过步骤(I)实现对虚拟视角的标定，确定用于虚拟视角绘制的參考视角，通过步骤(2)建立參考视角下的像素到虚拟视角下像素之间的映射关系，实现对虚拟视角下的复杂模型绘制。
[0025]其中，在步骤⑵与步骤⑶中使用CUDA (Compute Unified DeviceArchitecture,统ー计算设备架构)并行计算，加速虚拟视角下的绘制与优化速度，达到实时交互的要求。
[0026]本发明的原理在于:[0027]本发明提供一种基于图像的复杂三维模型绘制方法，在包围模型的球面上均匀选择顶点作为相机坐标位置，以球心为相机的目标点，获得模型在此采样视角下的彩色图像与深度图像。根据采样点坐标对球面进行三角划分，确定虚拟视角所在的三角形，取以三角形的顶点为采样点所对应的视角为参考视角，使用参考视角下的深度图像与彩色图像绘制虚拟视角下的模型:首先，利用参考视角的参数分别计算虚拟视角与三个参考视角中像素之间的映射关系；其次，以深度图像为参考，选择合适的参考视角像素或者背景像素绘制虚拟视角的图像；最后，对绘制得到的彩色图像进行优化。在整个绘制过程中使用了 CUDA加速，实现了对图像的并行快速处理。本发明能够满足实时性的要求，同时得到十分逼真的绘制效果。
[0028]本发明与现有的技术相比，优点如下:
[0029](I)本发明的虚拟视角可以在空间当中任意的移动。利用三个参考点对虚拟视角下的模型进行绘制，这样既可以保证虚拟视角能够在水平与竖直两个维度上自由的移动，又最大限度的降低算法的输入量与存储开销；
[0030](2)本发明提出的绘制方法非常稳定，算法的时间复杂度与场景的复杂度耦合性低，尤其适用于复杂模型的绘制。
【专利附图】
【附图说明】
[0031]图1为本发明所采用的流程图；
[0032]图2为本算法的原理示意图；
[0033]图3当虚拟视角在某个三角面片的内部时，虚拟视角与参考点视角的位置关系；
[0034]图4正变换矩阵与逆变换矩阵；
[0035]图5为几何和图像混合建模过程，其中:(a)是通过交互确定被重建物体的轮廓，(b)是得到物体的粗糙模型，(C)是用基于模型的立体视觉算法细化模型，(d)是通过基于视点的纹理映射得到最终的场景；
[0036]图6为视差图方法的实例，最初的输入图像是规整化的彩色图像(图中是该彩色图像的灰度图的示意图)，初始生成图是经过像素映射与填充过程后得到了彩色图(图中是该彩色图的灰度图的示意图)，注意方框内的空洞，算法的最终输出是空洞填补过后的彩色图(图中是该彩色图的灰度图的示意图)，注意方框内的空洞已经被消除；
[0037]图7经过初步映射填充后的虚拟视角的彩色图(图中是该彩色图的灰度图的示意图)，注意模型周边的噪声的内部的空洞；
[0038]图8经过初步映射填充后的虚拟视角的灰度图，注意模型周边的噪声与内部的空洞；
[0039]图9进过膨胀、差值操作之后的边缘图；
[0040]图10简单的对所有像素进行中值滤波之后的结果；
[0041]图11只对边缘像素进行中值滤波之后的结果，与图10相比，图11更好的保存了细节信息，真实更强；
[0042]图12是发明实例的部分输入图像，上方三张图片是输入图像示意图，输入图像可以为彩色图像，图中未显示，下方三张图片是分别与之对应的深度图；
[0043]图13是发明实例的部分输出图像，输出的图片是由本发明所提出的绘制方法合成的。
【具体实施方式】
[0044]下面结合附图及具体实施例进ー步说明本发明。
[0045]1.一种基于深度图像的真实感绘制方法:
[0046]针对由均匀分布在包围模型的球面上，包含相机视角參数、相机视角下的深度图、彩色图的采样点来表示的三维模型，根据采样点坐标对球面进行三角划分，确定虚拟视角所在的三角形，取以三角形的顶点为采样点所对应的视角为參考视角，使用參考视角下的深度图像与彩色图像绘制虚拟视角下的模型:首先，利用參考视角的參数分别计算虚拟视角与三个參考视角中像素之间的映射关系；其次，以深度图像为參考，选择合适的參考视角像素或者背景像素绘制虚拟视角的图像；最后，对绘制得到的彩色图像进行优化。在整个绘制过程中使用了 CUDA加速，实现了对图像的并行快速处理。具体实施过程如下:
[0047]1.虚拟视角的标定模块
[0048]在本发明中，以不同采样点的深度图像、彩色图像与采样点相机參数表示物体的三维模型。三维模型M用ー个二元组〈K，V〉表示，其中K是ー单纯复形，表示了采样点的连接关系；V表示采样点的集合，V = (Vi I i = 1，2，3...1VI I), IVI表示采样点的个数W =(Ci, (Ii, Pi)表示第i个采样点，Ci和(Ii分别表示第i个采样点彩色图像和深度图像，Pi表示了第i个采样点的相机參数，Pi = (Pci, Poi, asp^ fov^ Zni, Zfi)，Pci表示相机位置，Poi表示相机目标位置，asPi表示相机视野的纵横比，fov,表示相机的视野的广度，Zni, Zfi分别表示相机有效深度的最小值与最大值。
[0049]在绘制虚拟视角下的模型之前，需要求出与虚拟视角最近的三个采样点，即进行虚拟视角的标定。因为所有的采样点在包围物体的球面上是均匀分布的，在球面按照采样点坐标进行三角划分后，只需要确定虚拟视角所在的三角面片，则以此三角面片三个顶点就是所需的最近采样点，这三个最近采样点被称为虚拟视角的參考点。
[0050]< V1, V2, V3 > = f (v)(I)
[0051]其中，V是虚拟视角，< V1, V2, V3 >是虚拟视角所在的三角面片，V1, V2, V3是V的參考点。在本发明中，通过求解从虚拟视角相机位置指向球心的向量与逼近包围物体球面的多面体的交点，根据交点所在的三角面片确定三个最近參考点。
[0052]虚拟视角与參考点有如图3所示的位置关系。由解析几何的知识可知，在图3所示的位置关系下，虚拟视角可以由參考点线性合成，且满足:
[0053]
【权利要求】
1.基于图像的复杂三维模型绘制方法，其特征包含如下过程: (1)虚拟视角的标定:根据采样点相机位置坐标对包围模型的球面进行三角划分，确定虚拟视角所在的三角面片，取此三角面片的三个顶点所对应的视角为参考视角，虚拟视角可以被表示成参考视角的线性组合； (2)计算与绘制:根据虚拟视角、参考视角的位置和相机参数，计算三个参考视角图像中每个像素的坐标与虚拟视角下的像素坐标之间的映射关系；根据映射关系，将参考视角下彩色图像中的每一个像素映射到虚拟视角下的图像中，计算该像素在虚拟视角下图像中的坐标和深度值，对于有多个参考视角的像素映射到同一位置的情况，取深度值小的像素值；同时标记虚拟视角下图像中所有已被参考视角像素填充的像素，构造一幅反映从参考视角到虚拟视角映射情况的灰度图； (3)图像的优化:对于虚拟视角下图像中的空洞，即经过(2)计算没有参考图像映射到该位置的像素，从反映参考视角到虚拟视角映射情况的灰度图中提取边缘轮廓信息，沿着边缘轮廓对生成的彩色图像进行中值滤波，用邻居像素的值填补空洞；同时，通过中值滤波过滤掉噪声像素。
2.根据权利要求1中所述的基于图像的复杂三维模型绘制方法，其特征在于:通过步骤(I)实现对虚拟视角的标定，确定用于虚拟视角绘制的参考视角，通过步骤(2 )建立参考视角下的像素到虚拟视角下像素之间的映射关系，实现对虚拟视角下的复杂模型绘制。
3.根据权利要求1或2中所述的基于图像的复杂三维模型绘制方法，其特征在于:在步骤(2)与步骤(3)中使用CUDA并行计算，加速虚拟视角下的绘制与优化速度，达到实时交互的要求。
【文档编号】G06T19/00GK103530907SQ201310497271
【公开日】2014年1月22日 申请日期:2013年10月21日 优先权日:2013年10月21日
【发明者】向开兵, 郝爱民, 吴伟和, 李帅, 王德志 申请人:深圳市易尚展示股份有限公司, 北京航空航天大学