专利名称：一种基于非均匀采样三维对象反射的实时绘制方法
技术领域：
本发明涉及一种基于非均勻采样三维对象反射的实时绘制方法。
技术背景
光照计算一直是计算机图形学中真实感绘制的重要技术之一，反射现象更是光照模型中的核心内容。反射如此重要，由于它不仅在绘制结果中表现出美学价值，而且能揭示物体的几何信息，如物体的形状、物体间的位置关系等。人们对场景中反射的实时绘制进行了大量的研究，但仍没有找出一种在效果与效率上同时令人满意的方法。因此，三维物体的实时反射绘制一直是真实感图形绘制的一个热点，同时也是难点。
场景中的反射绘制意味着对各个像素需要考虑这几个方面的问题该光线是否和反射面相交；若是相交，计算交点和该点处对应的光照信息；对于复杂场景继续跟踪该反射光线，判断是否和场景中其他的反射体相交。目前反射绘制的算法主要集中在环境贴图和光线跟踪的改进及混合的算法上。这些方法通常是提高效率或效果之一，并没有实现二者同时增强的要求。
近年来，专家学者们在非均勻采样以及反射绘制等方面也取得了一定的研究成果
1)非均勻采样
Williams等提出了 mipmapping技术，通过图像查找表的使用来加快绘制，但是并没有改进绘制效果。每一层的mipmap图像的采样还是均勻的，越高层存储了越多的像素点，即使该层的局部区域的分辨率没有如此高的要求。空间层次划分技术如Louis Bentley 的Kd-tree改进了渲染效率，但是采样率缺乏连续性。Silpa-Anan等优化的Kd-tree表示的图像对原方法进行了改进，可用于图像压缩和模式匹配中，但不适合基于图像的绘制。在基于图像的绘制中，可以融入Kd-tree技术，此时Kd-tree中每个叶子是一个可独立访问的单幅图像，并且这些叶子可以由mipmap技术获得。连续非均勻采样图像将两种技术很好地连接起来——一幅连续非均勻采样的图像可以进行mipmap处理，同样，Kd-tree的每片叶子都可以是处理后的不同图像。
非均勻采样还可以通过突破传统图像中视觉范围限制实现。Gascuel指出由于图形硬件的发展使变化的采样模式成为可能，避免了早期由于存储限制导致采样不足的问题。与此同时，还有一些研究试图摆脱传统图像单视点的约束，在相机模型改进方面取得了一些成果，如Yu等人的通用线性相机和Mei等的遮挡相机模型。连续非均勻采样优化了这些方法，为改善视觉范围的图像和非针孔相机生成的图像增添了灵活采样的优势。
基于GPU的重要性采样方法是Colbert等在2007年提出的一种处理表面反射效果的方法，对于光照贡献量大的区域分配较高的采样密度，反之则分配较低的采样密度，同时采用mipmap过滤消除纹理的扭曲，但该方法只能表现局部光照效果；在此基础上，Xuan Yu等在2008年利用Geometry Image构造LOD (Level of Detail)，使用重要性采样方法， 在BVH(Bounding Volume Hierarchy)遍历过程中为每条采样光线分配立体角，根据立体角3进行自适应的LOD层次选择，提高了渲染速度，但只适用于处理Geometry Image表示的模型。
2)反射效果绘制
目前较为常见的反射材质物体绘制方法主要有三类环境贴图方法、图像空间方法和光线跟踪方法。
使用环境贴图渲染反射体时，只根据反射射线的方向，索引环境贴图，得到反射到的颜色值。该方法对于物体离反射体较远的场景，可以取得很好的效果；但对于近处的物体，则会产生较大的偏差。同时，环境贴图还有无法表现动态场景。
基于图像空间的建模和绘制(Image-basedmodeling and rendering, IBMR)同样可以用来处理反射效果。光场渲染技术可用来计算反射，其内容是在不需要图像的深度信息或相关性的条件下，通过预先拍摄的一组场景照片，建立该场景的光场数据库，实现对整个场景的漫游。但该方法即使是对小规模场景，也需要存储大量的光线信息。Lischinski 等提出了一种基于分层深度图(layered depth images,LDIs)的场景表示方法。场景几何体由3张正交的LDIs所记录。视点下的场景信息存储在低分辨率LDIs的光场中，用来提供光滑反射信息。镜面反射则通过光线追踪几何体的LDIs来渲染。这样做虽然减少了存储量，但是却降低了交互性。Hakura等描述了一种参数化的环境贴图，由一组预计算的参考反射图像所组成。这些图像在最满足最小均方差的情况下进行参数化，这样它们作为环境贴图时才更真实的反映反射效果。在参考视点附近的反射体可以得到较好的反射效果， 同时绘制利用了硬件支持环境贴图的优势。但缺点是漫长的预处理(每个视点超过20分钟)。
光线追踪算法可以准确的计算反射效果，得到高质量的绘制图像。光线追踪要比前馈方法效率低，主要原因是其需要花费相当大的计算量来确定哪一个图元影响了当前的输出像素点。大量的研究工作致力于如何加速光线追踪算法。Ward等实现了只用一个通用的带有浮点矢量点扩展的GPU，达成小场景的实时光线追踪绘制。同时，硬件的发展也加速了离线光线追踪的速度。而通过共享存储器的并行计算机和集群，亦可以实现大规模场景的实时光线追踪。原有的图形加速器中的固定函数管道，如今也已被支持顶点和像素级的可编程管道所替代，于是也出现了基于可编程的GPU的光线追踪算法。虽然可编程GPU足以处理有限的光线追踪，但对于现阶段来讲，GPU仍然还是主要的前馈绘制引擎。发明内容
本发明的技术解决问题是与传统的三维对象反射绘制相比，基于非均勻采样的三维对象反射实时绘制利用的是变形模板控制重构低分辨率图像的采样模式，进而实现高效的反射绘制计算，提高了绘制效果的真实感。
本发明提出一种基于非均勻采样三维对象反射的实时绘制方法，其特征在于具体可分为以下三个步骤
(1)根据当前视点下的反射体和被反射体，手动或自动生成非均勻采样模板所述采样模板确定一幅图像的采样点的分布，所述分布是一个不规则的二维网格图，所述不规则是指规则的二维网格变形后，对应图像高分辨率区域的每个小网格的面积比变形前规则的二维网格图中每个小四边形面积大；对应低分辨率区域小网格的面积比变形前规则的二维网格图中每个小四边形面积小；采样模板是均勻分布的二维网格点位置发生扭曲后网格点的集合，其直接定义了每个网格点位置的改变，即图像的像素点位置将如何映射到连续非均勻采样图像中对应像素点的位置上；给定一个原始图像上非变形位置(U，ν)以及一幅采样模板SM，其对应的变形位置(ud，vd)通过双线性插值的方法查找SM上(u，ν)的位置得到；
(2)根据生成的采样模板和被反射体的高分辨率原图像，能够重构得到被反射体的非均勻采样的图像由步骤(1)得到一幅二维扭曲的网格图，即采样模板SM，每个网格顶点绑定的是对应的规则网格的坐标值；结合SM和给定的高分辨率的原图像，再使用mip贴图技术mipmapping，即能重构出非均勻采样的较低分辨率的变形图，变形图上每个像素点需要记录下深度值；
(3)对场景中的反射体和被反射体的非均勻采样的变形图重构的非均勻采样深度图进行反射效果绘制。
与原有算法相比，本算法的主要贡献体现在以下两点被反射体图像整体的分辨率较低，但视觉关注的焦点区域有较高的分辨率，这样能在减少整体跟踪的光线数量的基础上绘制出局部区域高分辨率的反射效果；采样模板的自动生成，能实现动态场景中三维对象反射的实时绘制。本发明的方法涉及到的所有计算都在GPU中进行，能够达到实时性能。
图1采样模板的变形过程图2算法整体流程图3反射点记录图4焦点区域控制图5焦点区域圆形拟合图6非均勻采样图像重构图7反射效果图8(a)上下图中文字的清晰度相近，图8(b).上下图中荷花的轮廓清晰度相近， 图8 (c)上下图中文字的清晰度相近，图8(d).上下图中小鸟身上的细节表现相近。
具体实施方式
本发明的三维对象反射绘制算法的具体流程见图2，其实现方法具体如下
步骤1 获取变形的采样模板
正常情况下观察一个物体，人类视觉关注的重点都会停留在物体的一个或多个特殊的区域，这里称之为视觉焦点区域。非均勻采样即要让视觉的焦点区域与图像的其他区域相比具备更高的分辨率。本发明中采样模板的变形过程是，首先构造一个g*h的规则网格图，这里手动指定一个圆形，圆内区域即反射中对应的视觉焦点区域。圆心为0即当前圆的坐标系的原点，对圆内的任一网格点P，使其沿OP方向移动F(P)的距离；圆内其余点做类似的移动操作。其中χ轴方向移动公式如下
F(x) = x+size*(l_x2)(1)
其中，χ为P点的横坐标，χ的值映射到[_1，1]，size是系数，根据相邻的两个网格点的形变约束关系F(n*m/r) < F((n+1) *m/r，可计算出size < r/(2n+l)。这里η为小于从圆心到圆的边缘之间的网格数目的任意整数，m为单个网格的边长，r为指定的圆的半径。同理，y轴做同样的变化，变形后就是本发明中绘制算法过程中重要的媒介——采样模板，如图1所示。
为了达到三维物体的实时反射绘制，关键是改进手动采样模板的计算问题，动态的自动生成采样模板。本方法引入焦点控制图实现自动采样模板的生成。下面是焦点控制图的构造算法
场景中反射体A，场景中的被反射体B，当前视点V ；
a.从V出发到达A的顶点S的光线ray，判断ray的反射光线是否与B相交。若相交，求出相交点S’并记录其在impostor (用impostor表示视点在B正前方的视平面) 上的位置；否则，判断下一个顶点。图3所示为本发明实验场景中，某个视点下，使用的球形反射体得到的反射点位置b.将impostor划分为规格的二维网格，遍历网格上的每个四边形区域记录其中的反射点数目。使用统计学的原理找出impostor上反射线交点的分布情况，即找出交点的数目超过某个阈值的所有四边形并标记，如图4就是本发明中使用的焦点控制图。尽量将点分布密集的标记区域拟合到一个圆内，找到该圆的圆心0和半径r，如图5 ；
c.对前一步中的圆进行变形处理，即使用公式(1)计算圆内每个点的纵横坐标的变化，从而得到一个扭曲的网格图即本发明中所需的采样模板SM。
步骤2 重构较低分辨率的非均勻采样图像
由前面计算得到的采样模板SM和给定的高分辨率的原图像I，即可重构出非均勻采样的变形图。具体步骤如下
i)构造大小为α*β的二维规则网格QM;
a.顶点 Vij = SM(i，j)；
b.纹理坐标；
ii)以分辨率w。*h。对QM着色(w。*h。表示重构的图像分辨率)；
c.根据SM中不同的网格大小，利用I进行mipmapping查找确定QM的每个像素点 (s，t) (s，t分别表示QM中每个像素的纵横坐标值)处的像素值，这样就能重构出了较低分辨率的变形图(见图6)；
这里，网格顶点绑定的无变形的坐标即该点的纹理坐标。
步骤3:反射绘制
用深度图进行反射绘制能克服运动视差以及物体移动导致的不连续性等问题，本发明在反射绘制时同样要使用步骤2中最终变形的图像的深度信息。
变形图像深度图像DI与光线ray相交计算如下
如果ray与DI的包围盒不相交，则返回无交点。否则DI的包围盒对ray进行裁剪得到光线ray。；
将ray。投影DI的平面上得到线段rayp ；
对!^、进行栅格化处理，查找!^、与DI高度域的交点。若存在交点就对其着色， 若不存在则不做任何处理。6
使用本发明方法绘制的三维对象的反射效果如图7所示，对于图中不同反射图像，在视觉焦点区域的分辨率相似的情况下，表1中给出了不同被反射体的传统图像和非均勻采样图像大小的比较，其不同的反射效果见图8。
表1不同情况下图像大小的比较
权利要求
1. 一种基于非均勻采样三维对象反射的实时绘制方法，其特征在于具体可分为以下三个步骤(1)根据当前视点下的反射体和被反射体，手动或自动生成非均勻采样模板所述采样模板确定一幅图像的采样点的分布，所述分布是一个不规则的二维网格图，所述不规则是指规则的二维网格变形后，对应图像高分辨率区域的每个小网格的面积比变形前规则的二维网格图中每个小四边形面积大；对应低分辨率区域小网格的面积比变形前规则的二维网格图中每个小四边形面积小；采样模板是均勻分布的二维网格点位置发生扭曲后网格点的集合，其直接定义了每个网格点位置的改变，即图像的像素点位置将如何映射到连续非均勻采样图像中对应像素点的位置上；给定一个原始图像上非变形位置(U，ν)以及一幅采样模板SM，其对应的变形位置(ud，vd)通过双线性插值的方法查找SM上(U，ν)的位置得到；(2)根据生成的采样模板和被反射体的高分辨率原图像，能够重构得到被反射体的非均勻采样的图像由步骤(1)得到一幅二维扭曲的网格图，即采样模板SM，每个网格顶点绑定的是对应的规则网格的坐标值；结合SM和给定的高分辨率的原图像，再使用mip贴图技术mipmapping，即能重构出非均勻采样的较低分辨率的变形图，变形图上每个像素点需要记录下深度值；(3)对场景中的反射体和被反射体的非均勻采样的变形图重构的非均勻采样深度图进行反射效果绘制。
全文摘要
本发明提出一种基于非均匀采样三维对象反射的实时绘制方法。在绘制的前期，先获取被反射体图像的采样模板，接着根据采样模板生成被反射体非均匀采样的变形图，最后由变形图重构的非均匀采样图像对场景中的反射效果进行绘制。自动生成采样模板的算法能实时绘制反射现象。本工作使场景中的反射绘制在整体分辨率较低即反射计算量较小的情况下更加逼真，实现了增强现实的目标。
文档编号G06T15/50GK102509344SQ201110297879
公开日2012年6月20日 申请日期2011年9月30日 优先权日2011年9月30日
发明者王莉莉, 章二林, 郝爱民, 陈益 申请人:北京航空航天大学