专利名称：一种增强模型轮廓的表面点绘制方法
技术领域：
本发明属于计算机虚拟现实和计算机图形学技术领域，特别是涉及计算机图形学真实感绘制中的点绘制方法。
背景技术：
计算机图形学是把计算机应用于图形的显示及绘制方面而逐渐形成的一门学科。它从诞生发展到现在，已经在许多领域扮演着越来越重要的角色，发挥着越来越重要的作用。真实感图形绘制是计算机图形学的一个重要组成部分(参见王健，真实感图形的离散点绘制方法，吉林大学，硕士学位论文，2006)。它综合利用数学、物理学、计算机科学和其它科学知识在计算机图形设备上生成像照片那样的真实感图形。
根据绘制图元的不同，真实感图形绘制分为基于几何图元的绘制技术(GBR)、基于图像的绘制技术(IBR)和基于点的绘制技术(PBR)(参见张武，基于点的绘制技术的研究与应用，浙江大学，硕士学位论文，2006)。GBR是传统的图形绘制技术，通常将场景模型分解成三角面片，虽然可生成高度逼真的真实感图形，但是随着物体模型复杂度的不断提高，表征模型的三角片数量也急剧增加，对其处理造成了带宽瓶颈和过度的浮点计算。IBR通过预先生成的图像，对接近于视点或视线方向的画面进行变换、插值与变形，从而快速得到当前视点处的场景画面。与场景复杂度无关，但是缺点在于预处理时间长，需要大量的存储空间，且视点移动时会产生明显的人工痕迹。PBR在点的基础上进行造型、绘制以及其他图形学上的处理。它抛弃了传统的三角面片表示方法，只记录点的信息，由这些点直接重构出最终的图像。随着研究与应用的不断深入，模型及几何场景变得越来越复杂，以点元作为最基本和最简单的图元，不需要存储和维护拓扑结构，便于重取样，具有冗余少，存储空间小，绘制速度快的优点。
基于点的绘制技术使用离散的三维密集点云来表征模型表面，目标是采用点元作为图元在三维密集点云中重构出连续、视觉等价的模型表面。适合绘制表面几何高度复杂或具有复杂表面光照细节的模型。目前成熟的点绘制技术有基于绘制速度的方法QSplat(Szymon Rusinkiewicz，Marc Levoy，QSplatA Multiresolution PointRendering System for Large Meshes，Siggraph 2000，New Orleans，LA USA)，它利用层次包围球数据结构，用于快速的视域裁剪和背面剔除及细节层次绘制。
Dachsbacher等提出了一种将层次结构序列化为一个线性数组的方法(参见C.Dachsbacher，C.Vogelgsang，and M.Stamminger.Sequential point trees.Siggraph2003 Conference Proceedings)，在此基础上将绘制算法由层次树的遍历转化为线性数组的遍历，从而实现了QSplat的GPU硬件加速。基于绘制效果的方法Pfister等率先提出用点面元(surfel)(参见C.Dachsbacher，C.Vogelgsang，and M.Stamminger.Sequential point trees.Siggraph 2003 Conference Proceedings)来表示采样点。每个点被表示为位于点切向上的一个圆盘，各圆盘相互重叠形成紧密的物体表面。zwicker等将信号处理的思想应用到点的绘制中，提出了椭圆加权(EWA)算法，获得了高质量的绘制结果(参见Matthias Zwicker，Pfister.Surface Splatting.ACM Siggraph2001，Los Angeles，CA，USA)。
综上，基于速度的方法没有考虑透明度以及反走样问题，绘制质量一般，而具有高质量绘制效果的EWA算法是基于软件实现，因而不具备实时性。
发明内容
本发明的技术解决问题针对传统点绘制中的走样以及绘制效率的问题，提供一种增强模型轮廓的表面点绘制方法，该方法即可重构出保留模型边缘高频信号的连续表面，同时能较好地满足实时绘制的要求。
为完成发明目的，本发明采用的技术方案是在预处理阶段，首先读取并存储采样点的空间坐标、法向量、半径、颜色等信息，根据给定的层次数生成面元在屏幕空间的投影，即splat模板，再按照用户指定的阈值对采样点空间坐标形成的长方体包围盒进行空间划分，根据上一步中空间划分得到的小立方体栅格求解出每个采样点的k个邻居，最后利用k近邻，由坐标转换法求解出各采样点的曲率，包括轮廓采样点和非轮廓采样点的曲率。
在运行阶段，当视点改变时，首先根据采样点法向量与视线夹角判断该采样点是否为轮廓点，若是，则结合预处理阶段得到的某轮廓采样点的曲率，计算出一系列组成以此采样点为中心的曲面splat(面元在屏幕空间的投影)的顶点坐标。若不是轮廓采样点，则利用Surface Splatting算法进行绘制求解采样点处的2D空间映射的雅可比矩阵；对投影到屏幕的各个splat进行可见性判定，再对于预处理时第一步获取的颜色、法向量、空间坐标进行融合；利用光照模型和明暗处理计算出屏幕某像素点的空间光强；最后进行归一化，消除高斯函数截取及采样点分布不均匀对图像的影响。
本发明的点绘制方法与现有方法相比的优点在于绘制速度快，不需要硬件加速即可较好的满足实时需要；绘制质量高，在反走样的同时可保留模型轮廓边缘的高频信号。首先，Surface Splatting算法主要时间消耗在实时计算投影到屏幕上splat的形状和大小，通过预处理时生成splat模板以及运行时选取模板可极大提高绘制速度，其次，Surface Splatting算法利用椭圆加权平均的思想，能够得到高质量的splat融合效果，最后，利用曲面splat绘制边缘，曲率能够较好保存模型边缘的细节特征，较使用切平面近似的平面splat改善了锯齿现象。
图1为本发明整体流程图； 图2为本发明的空间splat与屏幕的参数关系； 图3为本发明的曲面splat的形状； 图4a和图4b为本发明的添加光照计算的模型； 图5为本发明中与传统算法绘制效果的比较图；a为绘制出的模型，圈出的区域为传统算法与本发明方法的对比部分，b为传统算法； 图6为本发明中采样点为中心的面元的空间坐标、法向量、半径和颜色信息； 图7为本发明中的立方体为包括采样点所在小立方体的(3*3*3)栅格示意图； 图8为本发明的片元深度值计算示意图； 图9为本发明的可见性判断计算示意图。
具体实施例方式 如图1所示，本发明实施过程包括预处理阶段和运行时阶段两个部分。
第一阶段预处理部分。包括读取采样点、模板生成、空间划分、求解k近邻、计算曲率五个步骤。
第一步读取采样点。
读取并存储采样点的空间坐标、法向量、半径、颜色等信息。通过物体坐标系中采样点的空间坐标和法向量可以知道模型表面此点的位置和朝向，采样点半径可以保证splat(面元在二维屏幕上的投影)相互覆盖无空洞，颜色信息可更好表现模型的细节。
图6给出以采样点为中心的面元(Surfel，即Surface elements，曲面元素)的空间坐标、法向量、半径和颜色信息，并且足够大的半径可以保证投影到屏幕的splat相互覆盖无空洞。
第二步模板生成。
为了消除采样点间的空洞，在物体空间将采样点表示为面元(重构核)，此步骤用于计算空间splat投影到屏幕的形状。图2给出了切平面投影到屏幕的splat形状。根据用户指定的层次数，将第一步中读取及存储的采样点的半径分为n1，n1越大，splat模板越多，绘制效果越好；第i层的半径ri＝(rmax-rmin)/n1·i，rmax，rmin分别代表所读取采样点的最大半径和最小半径，采样点切平面与屏幕夹角为θ，0≤θ＜90，将θ分为n2个区间，椭圆与屏幕空间x轴的夹角为ω，0≤ω＜180，将ω分为n3个区间，则可生成n1·n2·n3个splat模板，模板生成的过程如下 (1)遍历半径生成的n1个区间，对于半径的第i个区间，执行第二步的操作； (2)对于n2和n3个区间，以deltang的步长进行遍历，对于n2中的第j个区间，n3中的第k个区间，执行第三步的操作生成模板； (3)对于左下角坐标及右上角坐标分别为(-ri，-ri)、(ri，ri)的矩阵中某一像素点(x，y)，若其满足(x·cosωk-y·sinωk)2/(ri·cosθj)2+(y·cosωk+x·sinωk)2/ri2≤1则此像素点被splat覆盖，遍历矩阵中所有像素点，即计算出此椭圆的形状；椭圆与屏幕空间x轴的夹角，其中
分别为采样点P法向量的投影在屏幕空间x、y轴的分量； (4)循环执行(1)、(2)、(3)步操作，直到所有区间都遍历过一次，就可生成所有splat模板 第三步空间划分。
由第一步读取的空间坐标得到采样点的长方体包围盒，根据用户指定的边长a，将此包围盒分为m·n·l个小立方体，m、n、l分别为x、y、z轴上小立方体的个数；以采用链地址法处理冲突的哈希表HashList[m·n·l]存储每个立方体中的点；求解各个采样点在x、y、z方向的索引i为nx、ny、nz，其中nx代表某采样点在x方向所处的小立方体的索引，ny代表某采样点在y方向所处的小立方体的索引，nz代表某采样点在z方向所处的小立方体的索引，其中0≤nx＜m、0≤ny＜n、0≤nz＜l，存储到
第四步求解k近邻 在某采样点所在小立方体的相关栅格(3*3*3)中寻找所有邻近点，根据采样点与邻近点的距离由小到大的顺序进行插入排序，选取前k个点存储在邻接表中，此处的k是用户设定的，用于后面步骤中求局部区域的曲率，一般设为20--30。
如7图所示，此立方体为包括采样点所在小立方体的(3*3*3)栅格，中心小立方体为采样点所在立方体，已知此小立方体的索引号，便可知道(3*3*3)栅格中所有小立体的索引，即可在哈希表中查找出这些小立体中的所有邻近点的空间坐标，因而可计算出采样点与邻近点的距离。
第五步计算曲率。
根据坐标转换法计算曲率的过程如下 (1)将k个邻近点投影到采样点切平面上，选取采样点到最远投影点方向的单位向量作为u轴，通过u与法向量叉乘计算向量v，从而计算出邻近点的u、v值以及在法向量方向的坐标值h； (2)根据u、v及h坐标值，在采样点的局部邻近区域，利用最小二乘法进行抛物面拟合。拟合的抛物面为s(u，v)＝au^2+bu*v+cv^2，利用最小二乘法即可求解出系数a、b、c； (3)拟合出的抛物面在原点的平均曲率即为采样点曲率，平均曲率＝a+c； 第二阶段运行时部分。首先判断是否为轮廓采样点，若此点法向量与视线夹角在[ε，90]范围内则是轮廓点，否则不是轮廓点，需要分别处理。因而分为曲面splat绘制与Surface Splatting绘制两个子阶段。
第一子阶段曲面splat绘制。图3给出了曲面splat的形状。
第一步计算曲面splat的顶点。
对于曲面splat的某个顶点
，此顶点表示它是第is层，第ks条边上的顶点，此处的is、ks是用户所设，一般is、ks越大，表示曲面splat的复杂度越高，绘制效果越好。根据预处理时计算出的曲率c，局部坐标为
，其中 ns代表曲面splat的总边数，
表示第is层的半径， 第二步纹理映射。
顶点
的纹理坐标为
其中ns代表曲面splat的总边数。
第二子阶段Surface Splatting(此方法是Zwicker提出的，为本领域通用术语，无中文解释)绘制。包括确定重采样核、Splatting、光照计算和归一化四个步骤。
第一步确定重采样核。
重采样核即为投影到屏幕上的重构核与低通滤波的卷积。因为椭圆高斯函数在仿射变换以及卷积下的闭合性，二者都采用其表示，因而重采样核也可以表示成椭圆高斯函数的形式，通过选取合适的方差矩阵就可达到较好的反走样效果。
椭圆高斯函数的表达式为 由椭圆高斯函数的性质，重采样核的表达式为 上式中，J为物体空间到屏幕空间映射的雅可比矩阵，V为采样点处的协方差矩阵，一般表示为，r为采样点的半径，I为单位矩阵，x为splat所覆盖的屏幕像素点，m(u)为采样点投影到屏幕空间的坐标，r′表示经过投影变化的空间重构核，h表示屏幕空间的低通滤波函数，椭圆高斯函数类似于二维的正态分布，所有协方差矩阵中用r2表示。
第二步Splatting(将空间面元投影到屏幕上形成splat的过程) 此步骤确定投影到屏幕像素的各个splat的可见性判定及融合。处理过程如下 (1)模板的选取。不需要实时计算投影到屏幕上splat的形状和大小，而是对预处理生成的模板进行选取根据物体空间重构核的半径、法向量与视线夹角θ、法向量投影在x、y轴分量的反正切值，其中
分别为采样点P法向量的投影在屏幕空间x、y的轴的分量，在运行时计算这些值所属n1、n2、n3中的区间，以区间i、j、k为例，以i·n2·n3+j·n3+k+n1为索引查表即可得到此splat覆盖的像素点及权重法向量；n1、n2、n3分别代表半径、采样点切平面与屏幕夹角θ，0≤θ＜90、椭圆与屏幕空间x轴的夹角ω0≤ω＜180)的区间数。n1一般为用户设定，n2、n3通过用户设定的遍历步长deltang确定，n2＝90/deltang，n3＝180/deltang。
(2)利用z-threshold方法进行可见性判定计算splat投影到屏幕，所覆盖像素点沿视线方向的z深度值，根据透视投影变换模型，可以将屏幕片元反投影到采样点Pk所表示的空间Surfel上得到点Qp。Qp和视点C之间的距离即为所求深度值如图8所示，若z与此像素存储的深度值在某阈值范围内则融合，若小于像素深度则可看作遮挡，即用其颜色和权重代替像素当前的颜色及不透明度alpha值；否则不处理，可见性判定的处理过程如图9所示。
(3)融合。像素点的纹理、法向量、空间坐标均为投影到某像素点各splat相应信息的加权平均。
ρk(x)为重采样核，代表权重，ωk可用像素点x处的纹理颜色、法向量、空间坐标代替。
第三步光照计算。
根据Phong光照模型，利用Splatting中得到像素点的法向量及空间坐标，即可计算出此像素点上的光强。通过per-pixel的光照计算代替传统per-splat的光照计算，不仅可以使模型表面光照更加平滑，得到更好的绘制效果，而且推迟着色技术还可避免处理不可见splat上的点，提高绘制效率。
根据Phong光照模型I＝IaKa+IpKd(L·N)+IpKs(R·V)n，其中IaKa是环境光，IpKd(L·N)是散射光，IpKs(R·V)n是镜面反射光，n为反射指数(取值一般为50-100)，此数越大表示物体表面越光滑，可用来定义物体的材质。利用Splatting过程中滤波后得到的像素点法向量表示N，利用滤波后的空间坐标计算V(将公式(1)ωk分别用各个相互覆盖splat的法向量、空间坐标代替就可计算出滤波后的法向量和空间坐标)，再根据Phong光照模型即可计算出此像素点上的光强I。其中，光照模型中的参数Ia、Ip分别为环境光强与入射光强，Ka、Kd、Ks分别为环境光反射系数、散射光反射系数、镜面反射系数，可根据需要的仿真环境进行设置(在本发明的此次实验中，Ka取值0.2、Kd和Ks取值为0.5) 通过per-pixel的光照计算代替传统per-splat的光照计算，不仅可以使模型表面光照更加平滑，得到更好的绘制效果，而且推迟着色技术还可避免处理不可见splat上的点，提高绘制效率。
第四步归一化 为了消除高斯函数截取及采样点分布不均匀对图像的影响，需要在算法最后进行归一化处理。屏幕像素点x的最终纹理值，其中ωk为像素点k的纹理信息，一般为颜色，ρk(x)为像素点k的空间splat投影到屏幕后在像素点x的权重，
为覆盖像素点x的各个splat的权重和。
本发明针对传统点绘制中的走样以及绘制效率的问题，基于模板的思想，结合高质量绘制效果的Surface Splatting和较surfel更逼近局部区域的曲面splat，提供一种实时的、增强模型轮廓的表面点绘制方法。通过在预处理生成模板，在运行时Surface Splatting绘制表面采样点，曲面splat绘制轮廓采样点，即可重构出保留模型边缘高频信号的连续表面，同时能较好地满足实时绘制的要求。
图4中a为不计算光照的传统算法，b图为本发明的方法。由上图的对比可以看出，对于无颜色的模型，不计算光照的传统算法绘制得到的只是单一颜色的区域，而本发明的方法可以很好的表现模型表面的光照和明暗变化，增加了表面的真实感和细节特征。
图5中，a为绘制出的模型，圈出的区域为传统算法与本发明方法的对比部分，b为传统算法。由对比可以看出，本发明利用曲面splat的优点，较好的消除了锯齿现象，增强了模型轮廓特征。
本发明未详细阐述的内、容为本领域技术人员的公知常识。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种增强模型轮廓的表面点绘制方法，其特征在于分为预处理阶段和运行阶段，其中
在预处理阶段中的步骤为
(1)首先读取并存储采样点的空间坐标、法向量、半径和颜色信息；
(2)根据给定的层次数生成面元在屏幕空间的投影，即splat模板；
(3)再按照用户指定的阈值对采样点的空间坐标形成的长方体包围盒进行空间划分；
(4)根据空间划分得到的立方体栅格求解出每个采样点的k个近邻；
(5)利用k近邻，由坐标转换法求解出各采样点，包括轮廓采样点和非轮廓采样点的曲率；
在运行阶段的步骤为
(1)当视点改变时，根据采样点法向量与视线夹角判断该采样点是否为轮廓点，若是，则执行运行阶段的步骤(2)，否则执行运行阶段的步骤(3)；
结合预处理阶段得到的某轮廓采样点的曲率，计算出一系列组成以此采样点为中心的曲面splat的顶点坐标；
(3)利用Surface Splatting算法进行绘制求解采样点处的2D空间映射的雅可比矩阵，再对投影到屏幕的各个splat进行可见性判定，对于预处理时第(1)步获取的颜色、法向量、空间坐标进行融合；利用光照模型和明暗处理计算出屏幕某像素点的空间光强，最后进行归一化，消除高斯函数截取及采样点分布不均匀对图像的影响。
2.根据权利要求1所述的一种增强模型轮廓的表面点绘制方法，其特征在于所述预处理阶段的步骤(2)中根据给定的层次数生成splat模板的过程如下
a.根据预处理阶段的步骤(1)中的半径信息，由用户给定的层次数n将半径分为n1个区间，采样点切平面与屏幕夹角为θ，0≤θ＜90，将θ分为n2个区间，椭圆与屏幕空间x轴的夹角为ω，0≤ω＜180，将ω分为n3个区间，则可生成n1·n2·n3个splat模板；
b.n1中的第i区间，n2中的j第区间，n3中的第k区间，它的splat模板的生成过程如下由物体空间到屏幕的投影原理，椭圆的长轴即为空间splat的半径ri，采样点切平面与屏幕夹角为θj，椭圆与屏幕空间x轴的夹角为ωk；
c.对于左下角坐标及右上角坐标分别为(-ri，-ri)、(ri，ri)的矩阵中某一像素点(x，y)，若其满足(x·cosωk-y·sin ωk)2/(ri·cosθj)2+(y·cosωk+x·sinωk)2/ri2≤1则此像素点被覆盖，遍历矩阵中所有像素点，即计算出此椭圆的形状；
d.对于其他区间，splat模板也依照此方法生成。
3.根据权利要求1所述的一种增强模型轮廓的表面点绘制方法，其特征在于所述预处理阶段的步骤(3)中按照用户指定的边长阈值对采样点进行空间划分的过程如下
a.由读取的空间坐标得到采样点的长方体包围盒；
b.根据用户指定的边长a，将此包围盒分为m·n·l个小立方体，m、n、l分别为x、y、z轴上小立方体的个数；
c.以采用链地址法处理冲突的哈希表HashList[m·n·l]存储各个小立方体中的点，求解各个采样点在x、y、z方向的索引为nx、ny、nz，存储到
的链表中，至此每个小立方体中的采样点都存储在相应的链表中，即完成了空间划分。
4.根据权利要求1所述的一种增强模型轮廓的表面点绘制方法，其特征在于所述预处理阶段的步骤(5)中由坐标转换法求解出某采样点的曲率的过程如下
a.将k个邻近点投影到采样点切平面上，选取采样点到最远投影点方向的单位向量作为u坐标轴，通过u向量与法向量叉乘计算向量v作为v坐标轴，从而计算出邻近点在u、v坐标轴上的分量，即u、v坐标值以及在法向量方向的坐标值h；
b.根据上面得到的k个邻近点的u、v及h坐标值，利用最小二乘法进行抛物面拟合；
c.拟合出的抛物面在原点的平均曲率即为此采样点曲率，其他采样点曲率类似求出。
5.根据权利要求2所述的一种增强模型轮廓的表面点绘制方法，其特征在于所述运行阶段的步骤(2)中计算出一系列组成以采样点为中心的曲面splat的顶点坐标的过程如下
a.对于曲面splat的某个顶点Pik，第i层，第k条边，根据预处理阶段计算出的曲率c，局部坐标为(rsi·cos(2kπ/ns)，rsi·sin(2kπ/ns)，φ(rsi))，其中ns代表曲面splat的总边数，rsi表示第i层的半径，
b.顶点Pik的纹理坐标为其中ns代表曲面splat的总边数。
6.根据权利要求1所述的一种增强模型轮廓的表面点绘制方法，其特征在于所述运行阶段的步骤(3)中可见性判定及融合的过程为
a.对权利要求1预处理阶段的步骤(2)生成的splat模板进行选取根据物体空间重构核的半径、法向量与视线夹角θ、法向量投影在x、y轴分量的反正切值
其中
分别为采样点P法向量的投影在屏幕空间x、y的轴的分量，在运行时计算这些值所属n1、n2、n3，n1表示采样点半径的区间个数，n2表示采样点代表切平面与屏幕夹角的区间个数，n3表示椭圆与屏幕空间x轴夹角的区间个数中的区间，查表即可得到此splat覆盖的像素点及权重；
b.利用z-threshold方法进行可见性判定计算splat投影到屏幕，所覆盖像素点沿视线方向的z深度值，若z与此像素深度值在某阈值范围内则融合，若小于像素深度则用其颜色和权重代替像素的颜色及不透明度，即alpha值；否则不处理；
c.融合像素点的颜色、法向量、空间坐标均为投影到某像素点各splat相应信息的加权平均，其中各splat的颜色、法向量、空间坐标在权利要求1预处理阶段的步骤(1)中获取。
7.根据权利要求1所述的一种增强模型轮廓的表面点绘制方法，其特征在于所述运行阶段步骤(3)中利用光照模型和明暗处理计算出屏幕某像素点的空间光强的过程为屏幕某像素点反投影到splat上的空间点为p，即计算p点的光强，根据Phong光照模型I＝IaKa+IpKd(L·N)+IpKs(R·V)n，其中IaKa是环境光，IpKd(L·N)是散射光，L表示p点指向光源的向量，N表示p点的法向量，利用Splatting过程中的滤波计算得到；IpKs(R·V)n是镜面反射光，R表示光线在p点的反射光线的向量，V表示p点指向视点的向量，利用滤波后的空间坐标计算，n为反射指数，此数越大表示物体表面越光滑，可用来定义物体的材质，Ia、Ip分别为环境光强与入射光强，Ka、Kd、Ks分别为环境光反射系数、散射光反射系数、镜面反射系数；最后根据Phong光照模型即可计算出此像素点上的光强I。
全文摘要
一种增强模型轮廓的表面点绘制方法，在预处理阶段，读取并存储采样点的空间坐标、法向量、半径、颜色信息，根据给定的层次数生成splat模板，再按照用户指定的阈值对采样点进行空间划分，求解出每个采样点的k个近邻，最后利用k近邻，由坐标转换法求解出各点的曲率。在运行阶段，首先根据采样点法向量与视线夹角判断其是否为轮廓点，若是，则计算出一系列组成以采样点为中心的曲面splat的顶点坐标。若不是轮廓采样点，则利用Surface Splatting算法进行绘制求解采样点处的2D空间映射的雅可比矩阵；再对投影到屏幕的各个splat进行可见性判定及融合；利用光照模型和明暗处理计算出屏幕某像素点的空间光强；最后进行归一化。本绘制速度快，不需要硬件加速即可较好的满足实时需要，且绘制质量高。
文档编号G06T17/00GK101763649SQ20091024326
公开日2010年6月30日 申请日期2009年12月30日 优先权日2009年12月30日
发明者梁晓辉, 段薇, 何志莹 申请人:北京航空航天大学