专利名称：基于笔触的铅笔素描模拟和绘制系统的制作方法
基于笔触的铅笔素描模拟和绘制系统技术领域
本发明属于计算机图形学、计算机辅助设计和艺术设计相结合的交叉学科技术领域，涉及一种根据输入三维几何模型自动或者交互式生成基于笔触的铅笔素描的方法。
背景技术：
各种艺术媒体的模拟仿真一直在数字艺术设计、数字娱乐、电影动画制作以及数字图像处理等邻域有着广泛的应用价值，而铅笔素描绘画作为绘画的基础内容更是受到了广泛关注。现有的铅笔素描模拟绘制方法大体可以分为四类基于体绘制的方法、基于纹理映射的方法、基于图像的方法和基于笔触的方法。
铅笔素描模拟绘制工作中最早期的工作是Takagi等人建立的体绘制模型。体绘制方法通常需要较高的存储量和计算量，且只能用于铅笔绘画材质的模拟。
基于纹理映射的方法通常预先生成一些铅笔素描纹理，并将生成的纹理按照曲率方向贴到几何体表面。由于目前图形硬件设备对纹理映射支持度较好，这种方法可以在三维几何上实现铅笔素描的实时绘制。纹理映射方法的缺点是，由于该方法仅在三维对象空间中对物体进行描述，没有二维图像空间信息，因而结果过于规整，缺少手绘效果。
基于图像的铅笔素描模拟均以二维数字图像作为输入，首先根据输入图像生成噪声图像和二维向量场，然后运用线性积分卷积(LIC)生成最终的铅笔素描图片。与纹理映射方法相反，这类方法仅在二维图像空间中对绘制对象进行描述，无法利用对象三维空间的几何信息。由于缺少结构信息，数据表示一般较为松散，不利于编辑。
基于纹理映射的方法和基于图像的方法均将铅笔素描线条作为集合体(纹理或者图像)对待，缺少单独的铅笔线条信息，因而不能反映人类的绘画过程和绘画习惯。基于笔触的铅笔素描模拟绘制方法则克服了上述缺点。笔触(strokes)拥有自己的几何描述， 每一条笔触对应于绘画中的一笔。笔触中还可以存储各种属性，例如绘画时使用的压力、颜色等，这为涉及模拟绘制和交互的应用提供了方便。用户也可以通过拾取、编辑、删除等操作对笔触进行更改。由笔触构成的图片几乎保存了绘画时的全部信息。另外由于笔触具有几何结构，可以将绘制结果以任意精度进行输出。这些优点使得基于笔触的方法具有很高的实用性，被广泛用在各种艺术设计软件中。发明内容
本发明的目的在于，针对目前广泛存在的各种商业三维几何模型库或者自由三维几何模型文件(文件格式有.ob j，. max，. 3ds等)，提供了一个基于笔触的、能够从输入三维几何模型全自动或者交互式生成铅笔素描绘画的系统。该系统生成的铅笔素描绘画由笔触 (stroke)构成，能够反映真实铅笔素描的创作机理和过程，且易于被用户编辑和修改，可用于各种铅笔素描绘画的虚拟创作。
本发明提出一种基于笔触的铅笔素描模拟和绘制系统，该系统包括五个模块
用户交互模块，用于为用户提供界面进行三维几何模型选择并将选择的三维几何4模型输出至特征路径自动生成模块和影线路径自动生成模块；
特征路径自动生成模块，用于根据输入的三维几何模型自动生成特征路径；
影线路径自动生成模块，用于根据输入的三维几何模型自动生成影线路径；
由路径生成笔触模块，用于根据特征路径自动生成模块生成的特征路径和影线路径自动生成模块生成的影线路径，生成特征笔触和影线笔触的几何及其属性；
绘制输出模块，用于根据笔触的几何和属性，采用铅笔物理模型绘制出铅笔笔触。
本发明的有益效果是提出了一种基于笔触的铅笔素描模拟和绘制系统，根据输入的三维几何模型，利用全自动生成算法或者交互式工具生成铅笔素描绘画。本发明与前人方法的区别主要体现在，可以生成更多种类的特征笔触，并且提出了一种利用采样算法、全自动生成影线笔触的新方法，另外提供了一种利用影线架(hatching carrier)进行笔触设计的交互式工具。用户还可以利用系统提供的交互式工具对自动生成的特征笔触和影线笔触进行编辑修改或者删除操作，也可以添加新的特征笔触和影线笔触。从最终生成的铅笔素描结果可以看出，系统可以快速生成真实、具有手绘效果的铅笔素描绘画作品。由于系统具有辅助设计作用，降低了用户的绘画技能要求，且加快了铅笔素描作品的创作速度。另外由于数字虚拟设计相对于使用纸张和铅笔的传统创作，在传输、复制、保存等方面具有优势，因而该系统在数字艺术设计、电影动画特效、数字娱乐等领域具有很高的应用价值。
图1为本发明系统的模块化流程图。
图2为由三角面片提取的路径的示意图。
图3为自动生成铅笔影线笔触的流程图。
图4为基于累积概率密度的采样算法流程图。
图5为基于Metropolis-Hastings的采样算法流程图。
图6为两种采样点修正策略的示意图。
图7为采样点修正效果图。
图8为由系统自动生成的茶壶铅笔素描效果图。
图9为由系统自动生成的植物铅笔素描效果图。
图10为由路径构造笔触的示意图。
图11为构造路径的不同笔头形状的示意图。
图12为系统提供的交互式笔触设计工具的示意图。
图13为交互式笔触设计工具中控制粒子的运动轨迹的示例。
图14为使用交互式笔触设计工具在参考图像上绘制影线笔触的示例。
图15为交互式笔触设计工具绘制的各种笔触的示例。
图16为交互式铅笔素描设计各个步骤的效果图。
图17为交互式生成的植物铅笔素描效果图。
图18为绘制的彩色铅笔素描效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1给出了整个系统的模块化流程图。整个系统主要包括五个模块用户交互模块、特征路径自动生成模块、影线路径自动生成模块、由路径生成笔触模块、绘制输出模块。 其中特征路径自动生成模块、影线路径自动生成模块、由路径生成笔触模块、绘制输出模块由系统自动控制，用户交互模块主要提供各种交互式工具供用户使用。
系统首先由特征路径自动生成模块和影线路径自动生成模块生成特征路径和影线路径，然后输出的特征路径和影线路径作为输入进入由路径生成笔触模块。由路径生成笔触模块根据笔触构造规则，由输入的特征路径和影线路径生成笔触几何和属性，并输出至绘制输出模块。最后绘制输出模块根据输入的笔触几何和属性，以及铅笔绘制的物理模型，生成最终的铅笔素描图片。用户交互模块对整个生成过程提供交互式工具，使得用户可以对自动生成的结果进行补充、删除和编辑。
在本发明说明书中，路径(path)是指笔触所经过的轨迹。该轨迹形成笔触的主干，对应于实际手工绘画中画笔笔尖的中心点在纸面上经过的轨迹。笔触(stroke)是指计算机图形学中一种具有几何形状和属性的图形表示，对应于实际手工绘画中的某一笔线条。特征路径(feature path)是指用来描述特征的线条路径，通常用来反映物体的几何特性(例如物体边界)、色彩的边界、光线明暗的边界等。影线路径(hatching path)主要用来表现场景中的光影、色调、颜色、材质等，一般以大量路径组成的群体集合形式出现。特征路径和影线路径生成的笔触分别称为特征笔触(feature stroke)和影线笔触(hatching stroke)0
参考图像(reference image)是图形学中用二维数据结构来记录和反映三维信息的一种技术，最早在1999年由Kowalski等人提出。由于早期帧缓存中存储的数据需要读回内存才能进行处理，且通常存储为图像格式，所以称作参考图像。随着可编程图形管线 (programmable graphics pipeline)的发展，目前数据可以直接在显存中进行处理，因而也可以称为参考缓存(reference buffer)。
本发明中会使用到三种参考图像，分别为身份参考图像(ID reference image), 颜色参考图像(color reference image)和光照参考图像(illumination reference image)。其中身份参考图像使用不同颜色值来区分绘制对象，用于特征片段的消隐线算法； 颜色参考图像和光照参考图像用来辅助进行影线的设计。
下面结合附图1对用户交互模块、特征路径自动生成模块、影线路径自动生成模块、由路径生成笔触模块、绘制输出模块逐一进行说明。
1.用户交互模块
用户交互模块提供以下若干工具供用户进行参数选择和交互式设计
(1)选定所需的三维几何模型向特征路径自动生成模块和影线路径自动生成模块输出，并在此基础上，对模型坐标、摄像机坐标、光源位置和类型、光模型等进行选择和设定。用户还可以根据需要选择自动生成的特征路径类型；
(2)系统根据选定的几何模型和光照模型绘制出颜色参考图像后，用户可以根据需要对颜色参考图像进行编辑；
(3)用户可以根据需要，使用路径设计工具在参考图像的基础上进行路径设计，具体参考路径设计的交互式工具中的描述；
(4)系统提供不同类型的铅笔类型，分为9Β，8Β，· · · 2B，B, F，HB, H，2H，. . . 6H等，不同的铅笔类型，其所含石墨、泥土、石蜡的百分比也不同；
(5)系统采用Perlin噪声生成各种纸张的高度场，并可用于铅笔绘制的物理模型；
(6)当系统自动生成特征笔触和影线笔触之后，用户还可以使用交互式工具对生成的笔触进行拾取、编辑修改、删除等操作，也可以使用交互式工具添加新的笔触。
2.特征路径自动生成模块
特征路径自动生成模块的功能是从输入的三维几何模型中生成所需的特征路径， 主要包括以下四个步骤
(1)从输入的三维几何模型中存储的三角面片上提取特征片段；
(2)根据输入的三维几何模型和步骤(1)中提取的特征片段构造身份参考图像， 用于后续的消隐线算法；
(3)利用身份参考图像，使用消隐线算法对特征片段进行消隐；
(4)将消隐后的特征片段链接成特征路径。
系统中使用的特征路径有轮廓线(silhouettes or occluding contours)、提示轮廊线(suggestive contours)、折痕线(creases)、边界线(borders orboundary edges)、 脊线(ridges)、谷线(valleys)、明显脊线(apparent ridges)、提示高光线(suggestive highlights)、主高光线(principal highlights)等。这些特征路径都可以由现有的方法从三维几何模型实现自动生成。各种特征路径之间没有优劣之分，每种特征路径都有其独特的特征，每种特征路径也都有适用和不适用的场合。某些特征路径之间存在重合和相似的成分，例如脊线和明显脊线、明显脊线和提示轮廓线，因此，在实际使用中，特征路径的种类也不是越多越好，太多容易显得杂乱无序，而特征路径太少又不足反映所需的特征，减少了最终铅笔素描结果的表现内容。因此本发明既提供了自动生成特征路径的模块，也在用户交互模块中提供了工具允许用户自行添加路径。实际使用中，首先由用户根据需要让系统自动生成特征路径和影线路径，然后用户根据自动生成的结果进行选择、编辑、删除操作， 或者自行添加新的特征路径和影线路径是比较方便有效的解决方案。
现有的以三维几何模型为输入的特征路径提取方法均从三角面片的计算中获取特征路径。单个三角面片中提取的特征路径称为一个特征片段(feature segment)，它由两个端点以及两个端点的连线组成。首尾相连的多个特征线片段链接起来形成特征路径。这里以轮廓线为例进行说明，其它类型的特征路径提取算法可以参考相应的文献。
对于平滑曲面，轮廓线从数学上可以定义为
rij · (C-Vi) = 0，
其中，Vi是顶点i的空间坐标，叫是\的顶点法向量，c是照相机的空间坐标。实际应用中具体算法如下首先对三角面片中的每个顶点计算规范化点积值
然后根据如下公式标记顶点符号
权利要求
1.一种基于笔触的铅笔素描模拟和绘制系统，其特征在于，该系统包括用户交互模块，用于为用户提供界面进行三维几何模型选择并将选择的三维几何模型输出至特征路径自动生成模块和影线路径自动生成模块；特征路径自动生成模块，用于根据输入的三维几何模型自动生成特征路径； 影线路径自动生成模块，用于根据输入的三维几何模型自动生成影线路径； 由路径生成笔触模块，用于根据特征路径自动生成模块生成的特征路径和影线路径自动生成模块生成的影线路径，生成特征笔触和影线笔触的几何及其属性；绘制输出模块，用于根据笔触的几何和属性，采用铅笔物理模型绘制出铅笔笔触。
2.如权利要求1所述的系统，其特征在于，所述用户交互模块还提供交互式工具供用户进行以下操作颜色参考图像编辑、影线路径设计、铅笔属性选取、素描纸参数选取、添加删除笔触和编辑修改已生成笔触。
3.如权利要求2所述的系统，其特征在于，所述影线路径设计是指系统在对铅笔素描中常见的影线类型进行归纳总结的基础上，将其划分为四种类型，并分别使用平行曲线影线工具、波浪影线工具、交叉影线工具和自由影线工具，以影线架(hatching carrier)作为载体进行交互式、批量影线路径生成，其中自由影线工具也可以用来设计特征笔触的路径。
4.如权利要求3所述的系统，其特征在于，所述影线架为用户所绘制的单独的一条路径，影线路径根据影线架的路径进行批量、自动生成。
5.如权利要求3所述的系统，其特征在于，所述以影线架作为载体进行交互式、批量影线生成的步骤包括步骤1 用户绘制影线架路径时，系统记录下输入的坐标点序列和经过的参考图像像素值，并计算出经过的参考图像像素的中值像素值Cm ；步骤2 系统在影线架上初始化一些控制粒子Pl，p2, ... Pi, Pj, ... pn，这些控制粒子具有速度vx，vy和初始颜色Ctl，且控制粒子Pi和Pj之间的间距为，其中δ d为密度控制参数，以像素为单位，Cio为控制粒子Pi的初始颜色值，Cjo为控制粒子Pj的初始颜色值； 步骤3 系统让控制粒子根据影线的类型向影线架两侧运动，并且只让控制粒子在满足|C(l-Cm| < δ。的区域内存活，其中δ。是区域内的颜色差异控制参数；步骤4:根据控制粒子死亡的位置，以贝塞尔曲线(B6Zier curve)插值或者卡特马尔-如莫(Catmull-Rom)插值来得到影线路径。
6.如权利要求1所述的系统，其特征在于，所述自动生成特征路径的步骤包括(1)从输入的三维几何模型中存储的三角面片上提取特征片段；(2)根据输入的三维几何模型和步骤(1)中提取的特征片段构造身份参考图像；(3)利用身份参考图像，使用消隐线算法对特征片段进行消隐；(4)将消隐后的特征片段链接成特征路径。
7.如权利要求1所述的系统，其特征在于，所述自动生成影线路径的步骤包括(1)根据输入的三维几何模型绘制出相应的颜色参考图像和光照参考图像；(2)对颜色参考图像和光照参考图像进行采样得到影线的位置和分布；(3)对采样点进行修正，以减弱笔触重叠对最终绘制效果的影响；(4)对采样点进行修正后，根据参考图像的梯度信息确定影线路径方向，根据灰度值确定影线路径长度，然后确定影线路径上的压力分布，从而生成影线路径。
8.如权利要求7所述的系统，其特征在于，所述颜色参考图像和光照参考图像，分别对应于绘制物体的固有属性和外在属性，在专业绘画教程中其含义分别对应于绘制物体的本色调和光影图案。
9.如权利要求7所述的系统，其特征在于，所述采样所使用的算法有基于累积概率密度的采样和基于米超波利斯-哈斯汀(Metropolis-Hastings)算法的采样。
10.如权利要求7所述的系统，其特征在于，所述对采样点进行修正的步骤包括(1)对得到的每个采样点^，查找其邻域内是否存在其它采样点，其中邻域的半径为能够容忍的最小采样点间距，可以设定为平均笔触宽度的一半；(2)如果邻域内存在其它采样点，则计算其它采样点的位置中心，然后让被考察的采样点^沿着与其它采样点位置中心相反的方向移动一小段距离δ ；(3)检查目标位置是否满足要求，如果目标位置不满足要求，则让采样点\沿着离其最近采样点的相反方向移动一小段距离S ；(4)如果目标位置的灰度值仍然不满足要求，则放弃修正采样点ζη，由其它采样点的修正来避免重叠；反复迭代上述修正过程数次，直到绝大多数采样点均满足要求为止。
11.如权利要求10所述的系统，其特征在于，所述目标位置，可以使用下面两种方法判别为了不影响得到的采样点的概率分布，目标位置的要求为采样点目标位置和其原来位置具有同样的灰度值；或者为了尽量减小修正算法对采样点概率分布的影响，目标位置的要求为采样点目标位置的灰度值和其原来位置的灰度值相差一定阈值。
全文摘要
本发明公开了一种基于笔触的铅笔素描模拟和绘制系统。该系统以三维几何模型作为输入，采用自动生成结合交互式的方式生成铅笔素描图片。该系统将铅笔素描绘画中的笔触分为特征笔触和影线笔触，并分别进行模拟和绘制。系统主要包含五个模块用户交互模块、特征路径自动生成模块、影线路径自动生成模块、由路径生成笔触模块、绘制输出模块。该发明具有符合人类实际铅笔素描创作机理、绘制效果真实、易于编辑修改等特点，在计算机辅助设计、艺术设计、特效制作、数字娱乐等方面具有重要的应用价值。
文档编号G06T19/00GK102509357SQ201110300028
公开日2012年6月20日 申请日期2011年9月28日 优先权日2011年9月28日
发明者王宁, 胡包钢 申请人:中国科学院自动化研究所