一种运笔动作捕捉系统、装置及绘画风格仿真方法
【技术领域】
[0001] 本发明涉及图像处理领域，尤其涉及的是一种运笔动作捕捉系统、装置及绘画风 格仿真方法。
【背景技术】
[0002] 近年来，中国数字内容产业飞跃蓬勃发展，尤其是动画、游戏等数字娱乐产品水平 进步飞速，已经有逐步赶超外国产品势头。然而，随着市场的日趋成熟，消费者对于数字娱 乐产品不论是数量还是质量的要求不断提升。由此，在数字娱乐产品(游戏、动漫)生产环节 中，对内容创作平台及数字内容数据处理技术提出了更加严苛的要求。为此，如何能够加速 动漫、游戏等高质量数字娱乐产品的生产成为目前行业面临的挑战。从数码手绘技术角度， 着重解决数码绘画风格化效果质量和产量的提升问题。
[0003] 计算机图形学被广泛地应用于数字内容处理领域。尤其是非真实绘制技术、手绘 艺术风格化绘制被广泛地实现在数字创意软件工具(如：Adobe Photoshop，Corel Painter 和G頂P绘画工具软件等）当中。艺术家利用这些软件，创作出了动漫、游戏中栩栩如生的 角色、宏大逼真的场景和美轮美奂的视觉特效。在众多仿自然手绘效果算法当中，基于笔画 的绘制方式是被应用最为广泛的方式，被大量应用在动画、游戏的角色、道具和场景可视化 效果中。
[0004] 现有相关绘画软件产品当中的工作流程主要采用笔刷纹理位图复用的方式，即： 将现有笔触纹理贴图进行剪裁、变形及拼接来完成预生成新的笔触效果生成。然而，为了创 作出更加逼真的角色和宏大的场景，设计师不得不对每个笔触进行精细的手动调整。这一 过度依赖手动且繁琐而耗时的操作成为了制约数字内容创作瓶颈之一。更重要的是，为了 同一系列数字娱乐作品在艺术风格上的统一性，设计师团队需要对参数调整进行一系列严 格的流程化规范操作。在本方法中认定此类定制化的操作均视为"风格化行为"。
[0005] 对于多人团队来说，想要实现作品的艺术风格统一，每个成员都要进行十分繁琐 和耗时的标准化手动操作。由此可见，作品风格化的手动设定操作成为了制约数字内容创 作的另一个大瓶颈。综上所述，由于创意软件的数字内容智能处理能力不足，导致"过度依 赖手动操作"和"艺术风格化设定难"成为了阻碍文化创意产业，尤其是高质量手绘风格数 字内容(动漫、游戏）产品生产的瓶颈。急需数字内容的智能化处理技术来破解困局。针对 数字媒体内容平台的数字内容智能处理及创作媒体软件的关键技术，解决绘画行为风格学 习与模拟本身就是一个非常具有挑战性的工作。
[0006] 而且传统的艺术风格化算法集中在于对画作本身的分析与风格特点表达。这类方 法只是单纯的对静态作品的分析，而且对风格的分析是平面化、局部化和非连续化的。
【发明内容】
[0007] 本发明的目的在于提供一种运笔动作捕捉系统、装置及绘画风格仿真方法，旨在 设计设备捕捉画家的运笔行为并通过计算机程序学习并模拟绘画进行辅助创作。
[0008] 本发明的上述技术目的是通过以下技术方案得以实现的： 一种运笔动作捕捉系统，包括：主控制模块，用于产生控制信号；视频采集模块，用于 采集图像数据；影像投射模块，用于视频信号播放；数据存储模块，用于运笔视频数据的存 储；处理模块，用于笔刷的运笔姿态数据的采样、提取和同步化处理；所述的处理模块设置 有为所述的视频采集模块采集得到的图像数据构建的用于生成原子特征信息样本的特征 向量表达函数和反馈式风格行为特征表达函数；且设置有智能辅助手绘风格化优化策略。
[0009] 视频采集模块采集到的图像数据通过影像投射模块视频信号播放，然后处理模块 根据特征向量表达函数、反馈式风格行为特征表达函数和智能辅助手绘风格化优化策略进 行运笔姿态数据的采样、提取和同步化处理，形成特定风格并记录在数据存储模块中。
[0010] 作为优选，所述的特征向量表达函数嫌由原子特征构建而来φ f丄Φ)，其 中涵f为原子特征向量:.s_y ;χ为μ维的二进制标记符，表征原子向量是否参与某一反馈 特征构建中;Z和U代表先验知识，Z具体标记某些原子特征参与反馈特征，U表示针对反馈特征， 某一对原子特征同时出现的概率分布。
[0011] 作为优选，所述的反馈式风格行为特征表达函数R为
其中，S表不某一时刻的状态，a表不某一时刻的动作，f表不笔刷在某一时刻的姿态信 息，具体地，
[0012] 作为优选，所述的智能辅助手绘风格化优化策略包括确定性决策 决策参数i是由具有超参数#的先验分布得来的；期望的反馈值可以表示为超参数P的形 式：
其中，为一组状态和动作的数据，可以表示为_ 於最优化从而得到最大值#彳:與，
。
[0013] 运笔动作捕捉系统进行绘画风格仿真方法，其特征在于，所述的方法包括如下步 骤： 步骤1，影像投射模块进行视频信号播放。
[0014] 步骤2,视频采集模块采集记录笔触绘制过程的图像数据。
[0015] 步骤3,处理模块进行笔触绘制过程中笔刷的运笔姿态的采样、提取和同步化处 理。
[0016] 步骤4,处理模块根据步骤3采集的运笔姿态进行原子特征抽取和分析。
[0017] 步骤5,处理模块根据步骤4中原子特征，构建特征向量表达函数和反馈式风格行 为特征表达函数R并形成特定风格。
[0018] 步骤6,引入所述步骤5形成特定风格的行为特征表达函数，采用确定性决策 并且在绘画先验知识的基础上，对模型中的绘画行为参数引入随机性模式形 成智能辅助手绘风格化优化策略。
[0019] 步骤7,设置笔刷智能代理，根据以上步骤形成的运笔姿态进行绘画得出所述步骤 1图像数据的艺术风格化结果。
[0020] 作为优选，所述的步骤4中原子特征抽取的方法包括以下步骤： 1) 将步骤1采集的图像数据分割成rgb图像（Red，Green，Blue); 2) 将步骤1采集的图像数据分割成hsv (Hue, Saturation, Value)，grab，sat图像； 3) 根据步骤I)中的：red部分图像与步骤2) hsv模型下饱和度saturation分量进行 对比进行图像寻找目标足迹点，若red和saturation颜色差异较小，则说明目标足迹点已 经寻找到； 4) 与提前设定的阈值进行比较，所述的阈值是指red和saturation颜色差异的差值； 若不大于阈值，则重新执行步骤4);若大于阈值，则寻找基于主成分分析（PCA)算法提取笔 触的原子特征； 5) 建立子文件夹，将采集来的图像数据自动保存； 6) 保存灰度图像。
[0021] 作为优选，所述步骤7中的笔刷智能代理是指将笔刷进行建模，形成基于纸面的 笔刷印记模型，对于所述的模型赋予自主策略，实现不用人控制，笔刷印记可以自动运笔书 写笔触完成自主位移、方向变化及大小变化的动作。
[0022] 具体地将所述步骤4抽取的原子特征信息样本的特征向量形成训练集数据D数 据，然后按照所述步骤5形成特定风格，利用训练集数据D数据对参数进行学习并赋值， 随后，针对反馈式风格行为特征表达函数R对所述的笔刷智能代理的策略进行自主优化学 习，从而使之达到可以实现图片辅助手绘风格化操作。
[0023] 作为优选，所述的步骤4)中寻找基于主成分分析（PCA)算法提取笔触的原子特征 的方法包括：将视频拆分成为一组帧，进而分析笔刷运动过程中笔划的生成过程，对于其中 的每一帧，利用主成分分析（PCA )算法计算运动中笔刷的主轴信息，依据所述的主轴信息来 定位计算出控制的笔刷的运动姿态信息，包括运动速度、笔头所指方向、笔触姿态和同环境 (目标笔触形状）的相对位置信息以及随时间变化的规律要素。
[0024] -种根据绘画风格仿真方法采集图像数据的运笔动作捕捉装置，包括设置有笔触 绘制工作区域的框架、设置在所述笔触绘制工作区域用于运笔姿态捕捉的采集板、用于记 录绘画动作的图像采集设备、用于将图像投影在所述笔触绘制工作区域内的投影设备和用 于整个装置的控制及数据存储与处理相关工作的主控制电脑，所述的主控制电脑设置有数 据存储模块和处理模块。
[0025] 为了方便运笔姿态的捕捉，在笔触绘制工作区域采用透明亚克力板支撑。
[0026] 绘画时，选用毛笔、普通宣纸和墨水等传统绘画材料为绘画工具进行。
[0027] 所述的图像采集设备包括照相机，设置在框架的底面中心位置。
[0028] 所述的投影设备使得用户可以在绘制的同时，观察都所要绘制物体的真实图片， 设置在框架的底面中心位置。
[0029] 综上所述，本发明具有以下有益效果： 1、由于本发明通过运笔动作捕捉系统和装置记录一副普通的照片的艺术风格并形成 艺术风格化结果，根据本发明的绘画风格仿真方法可以将任意输入的照片都形成该艺术风 格。
[0030] 2、本发明将人手绘过程中运笔动作的动作行为习惯通过进行有效捕捉分析，不仅 适用于静态作品，而且实现了立体化、整体化、连续化的风格分析。
【附图说明】
[0031] 图1是本发明根据运笔动作捕捉系统进行绘画风格仿真方法的工作流程示意图。
[0032] 图2是本发明步骤3中原子特征抽取方法的工作流程示意图。
[0033] 图3是本发明的一种运笔动作捕捉装置的示意图。
[0034] 图4是本发明基于主成分分析（PCA)算法提取笔触的原子特征的示意图。
[0035] 图5是本发明的笔刷智能代理的结构示意图。
[0036] 图中，1、框架；2、采集板；3、图像采集设备；4、投影设备；5、主控制电脑。
【具体实施方式】
[0037] 以下结合附图对本发明作进一步详细说明。
[0038] -种运笔动作捕捉系统，包括：主控制模块，用于产生控制信号；视频采集模块， 用于采集图像数据；影像投射模块，用于视频信号播放；数据存储，用于运笔视频数据的存 储；处理模块，用于笔刷的运笔姿态数据的采样、提取和同步化处理，设置有为所述的视频 采集模块采集得到的图像数据构建的特征向量表达函数權、反馈式风格行为特征表达函数 R和智能辅助手绘风格化优化策略P。
[0039] 具体的，特征向量表达函数_ 爲臟，其中砸为原子特征向量： X为M维的二进制标记符，表征原子向量是否参与某一反馈特征构建中； Z和U代表先验知识，Z具体标记某些原子特征参与反馈特征，U表示针对反馈特征，某 一对原子特征同时出现的概率分布。
[0040] 反馈式风格行为特征表达函数R:
其中，s表不某一时刻的状态，a表不某一时刻的动作，f表不笔刷在某一