一种图像与视频的虚拟发型建模方法
【专利摘要】本发明公开了一种图像与视频的虚拟发型建模方法，该方法首先使用数码设备对目标人物进行数据采集，并分割得到图像中发型部分区域；然后求解图像发型方向场的方向歧义性问题，得到分布均匀、符合原图发型区域的静态发型模型，通过追踪头部模型运动并估算非刚性形变来计算视频中发型的运动，生成运动过程中每一时刻的动态发型模型，使其自然拟合视频中发型的真实运动；该方法用于对单幅图像及视频序列中的人物发型进行具物理合理性的虚拟三维模型重建，可广泛应用于数字媒体等相关领域中虚拟角色的创建以及诸多图像与视频的发型编辑应用中，如肖像立体化、发型运动仿真、交互式发型编辑等。
【专利说明】一种图像与视频的虚拟发型建模方法
【技术领域】
[0001]本发明涉及虚拟人物建模以及图像视频编辑领域，尤其涉及虚拟人物发型建模以及图像视频中发型编辑方法。
【背景技术】
[0002]本发明相关的技术背景简述如下:
[0003]一、虚拟人物的发型建模
[0004]尽管在业界的实际应用中，已有许多软件可以辅助创作人员完成手工的虚拟发型建模工作，但是其往往极其复杂耗时，需要熟练的技巧以及繁杂的手工操作，因此会大大延长产品的创作周期以及成本开销(WARD，K.，BERTAILS, F.，KIM, T.-Y., MARSCHNER, S.R., CANI, Μ.-P., AND LIN, Μ.C.2007.A survey on hair modeling:styling, simulation, and rendering.1EEE Transactions on Visualization andComputer Graphicsl3, 2，213 - 234.)。于是,在此基础上，一些现有方法尝试采集真实的发型图像来合成更为真实的发型模型并减少工作量，但是多数此类基于图像的建模方法需要采集不同光照、不同视点或不同焦距下的多张图像才可能得到足够真实的发型三维结构(PARIS, S.，BRICE ?NO, H.，AND SILL10N, F.2004.Capture of hair geometry frommultiple images.ACM Trans.Graph.23，3，712 - 719.;WEI, Y.，0FEK, E.，QUAN, L.，ANDSHUM, H.-Y.2005.Modeling hair from multiple views.ACM Trans.Graph.24, 3, 816 -820.; PARIS, S.，CHANG, ff.，KOZHUSHNYAN, 0.1., JAR0SZ, ff.，MATUSIK, ff.，ZWICKER, M.，AND DURAND, F.2008.Hair photobooth: geometric and photometric acqui sitionof real hairstyles.ACM Trans.Graph.27,3,30:1 - 30:9.; JAKOB, ff., MOON, J.T., AND MARSCHNER, S.2009.Capturing hair assemblies fiber by fiber.ACM Trans.Graph.28，5，164:1 - 164:9.)。
[0005]Bonneel等人提出了一个发型外观估计方法，用以从单张室内闪光灯拍摄的图片中得到统计上类似的三维发型模型(B0NNEEL，N.，PARIS, S.，PANNE, Μ.V.D.，DURAND, F.，ANDDRETTAKIS, G.2009.Single photo estimation of hair appearance.Computer GraphicsForum28, 1171 - 1180.)，但是其合成的发型模型并不能在像素级别上拟合原图像中的人物发型，因此并不适用于图像发型编辑应用中。Luo等人发现发丝方向特征通常比原始图像的像素颜色更为可靠，在多试点发型建模中使用方向信息来估计更准确的发型体(LU0, L.，LI, H.，PARIS, S.，WEISE, T.，PAULY, Μ.，AND RUSINKIEWICZ, S.2012.Mult1-viewhair capture using orientation fields.1n Proc.CVPR2012.),但是此方法生成的发型通过多边形网格来表示,并不符合数字媒体产业对发型模型的质量需求。Beeler等人提出了一个同时采集稀疏面部毛发和被遮挡的皮面表面的方法(BEELER，T., BICKEL, B.，NORIS，G.，BEARDSLEY, P.，MARSCHNER, S.，SUMNER, R.ff.，AND GROSS, Μ.2012.Coupled 3Dreconstruction of sparse facial hair and skin.ACM Trans.Graph.31，4.),该方法得到的高质量建模结果印证了毛发对刻画虚拟角色真实性的重要性，但其只能应用于面部的稀疏的较短毛发，例如胡须与眉毛，无法用于普通的头发。
[0006]与静态的发型建模相比，视频中的动态发型建模则更为复杂，在本领域中仍是个尚待解决的问题。Yamaguchi等人直接将多试点发型建模方法(WEI, Y.，OFEK, E.，QUAN, L.，AND SHUM, H.-Y.2005.Modeling hair frommultiple views.ACM Trans.Graph.24, 3, 816 - 820.)进行扩展用以处理视频(YAMAGUCHI, T., WILBURN, B., AND OFEK,Ε.2009.Video based modeling of dynamichair.1n the3rd Pacific Rim Symposium on Advances in Image and VideoTechnology, 585 - 596.)。Zhang等人进一步使用基于物理的运动仿真来改进初始重建的发型模型序列。由于缺乏准确的发丝对应关系，这些方法结合多试点得到的动态发型模型会过约束发型的运动，导致过分光滑的结果，会与真实情况存在较大的出入。 [0007]二、三维信息指导下的图像编辑
[0008]在面向个人娱乐产业的数字图像编辑应用中，用户的输入通常仅仅是任意的单幅图像。由于缺少准确的三维信息，从单幅图像重建准确的三维模型是不适定问题，但是现有的一些方法证明了使用适当的特定三维表示(proxy)可以大大扩展可能的图像编辑操作的适用范围。与通常的基于图像的建模技术不同，这些三维表示往往被设计来更好刻画并代表特定类型对象的共有结构，但并不一定能准确地拟合真实的物体形状。
[0009]针对普通的场景图像，业界常用的现有方法包括分层深度图(0H，B.M., CHEN, M., DORSEY, J., AND DURAND, F.2001.1mage-based modeling and photoediting.1n Proc.SIGGRAPH, 433-442.)，使用平面告示牌结构的图像立体化(Η0ΙΕΜ,D.,EFR0S,A.A., AND HEBERT, Μ.2005.Automatic photo pop-up.ACM Trans.Graph.24，3，577 - 584.)，使用长方体表示的合成物体插入(KARSCH，K.，HEDAU, V.，FORSYTH,D., AND Η0ΙΕΜ, D.2011.Rendering synthetic oobject into legacy photographs.ACMTrans.Graph.30, 6，157:1-12.)以及以语义方式对图像中已有物体的编辑(ZHENG, Y.，CHEN, X.，CHENG, Μ.-Μ.，ZHOU, K.，HU, S.-Μ.，AND MITRA, N.J.2012.1nteractive images: Cuboidproxies for smart image manipulation.ACM Trans.Graph.31，4.),这些方法的三维表不通常都较为简单，用以粗略表示场景的大致三维信息，效果往往比较有限，通常应用于电影的立体化处理等。
[0010]针对图像中的特定人体对象，有更有效的三维表示方法。Blanz与Vetter提出了一种对图像人脸部分拟合参数化的可变形人脸模型(morphable head model)的方法(BLANZ，V.，AND VETTER, T.1999.A morphable model for the synthesis of3Dfaces.1n Proc.SIGGRAPH’ 99.)，使用这种低参数维度三维人脸模型可以用于更真实的表情迁移(expression transfer) (YANG, F.，WANG, J.，SHECHTMAN, E.，B0URDEV, L.，ANDMETAXAS,D.2011.Expression flow for 3D_aware face component transfer.ACM Trans.Graph.30,4, 60:1 - 60:10.)以及人脸替换(BIT0UK, D.，KUMAR, N.，DHILL0N, S.，BELHUMEUR, P.N., AND NAYAR, S.K.2008.Face Swapping!AutomaticalIy replacing faces inphotographs.ACM Trans.Graph.27，39:1 - 39:8.;DALE, K.，SUNKAVALLI, K.，JOHNSON, M.K.，VLASIC, D.，MATUSIK, ff.，AND PFISTER, H.2011.Video face replacement.ACM Trans.Graph.30,6, 130:1 - 130:10.)。类似的，通过使用完整身体的三维可变形模型，可以实现图像与视频的参数化人体变形(ZHOU, S.，FU, H.，LIU, L.，C0HEN-0R, D.，AND HAN, X.2010.Parametric reshaping of human bodies in images.ACM Trans.Graph.29, 4, 126:1 -126: 10.; JAIN, A., THORM..AHLENj T.，SEIDEL, H.-P.，AND THEOBALT, C.2010.MovieReshape: Tracking and reshaping of humans in videos.ACM Trans.Graph.29,6, 148:1 - 148:10.)。这些方法可应用于电影特效的制作以及图像编辑处理等。但是，值得注意的是，人脸与身体等部分通常比发型有更明显的共性特征，也更容易进行参数化拟合。
[0011]针对发型的三维表示，最近Chai等人提出了 一个单视点的三维发型重建方法(CHΑΙ，Μ.，WANG，L.，YU，Y.,WENG, Y.，⑶0，B.,AND ZHOU, Κ.2012.Single-view hair modelingfor portrait manipulation.ACM Trans.Graph.31, 4, 116:1-8.)。但是这个方法仅仅通过大量空间发丝来拟合原图中的发型区域，并不能生成具有物理合理性的三维发型模型，其结果难以被直接用于产业的相关应用中。
【发明内容】
[0012]本发明的目的在于针对现有技术的不足，提供一种图像与视频的发型建模方法。该方法可对单幅图像以及视频序列中的人物发型进行具物理合理性的三维模型重建，可广泛应用于数字媒体等产业中虚拟人物的创建以及诸多图像视频发型编辑应用中，如肖像立体化、发型运动仿真、交互式发型编辑等，具有很高的实用价值。
[0013]本发明的目的是通过以下技术方案来实现的:一种图像与视频的虚拟发型建模方法，包括如下步骤:
[0014](I)发型图像数据的采集与预处理:使用数码设备对目标人物进行数据采集，要求发型部分清晰完整，并使用画笔选取工具分割得到图像中发型部分区域；
[0015](2)基于图像的发型方向场计算:求解图像发型方向场的方向歧义性问题，将该无歧义的图像发型方向场结合空间发型体区域求解空间发型方向场；
[0016](3)静态发型模型的迭代构建:通过以拟合的人物头部模型上定义的头皮区域为发根位置，于空间发型方向场内以发根采样点起始进行生长得到初始的发型模型，随后通过迭代方式改进该初始结果，得到分布均匀、符合原图发型区域的静态发型模型；
[0017](4)基于视频的动态发型建模:在步骤3得到的静态发型模型的基础上，通过追踪头部模型运动并估算非刚性形变来计算视频中发型的运动，生成运动过程中每一时刻的动态发型模型，使其自然拟合视频中发型的真实运动；
[0018](5)发型建模结果的导出:将上述步骤的建模结果，包括步骤3得到的静态发型模型以及步骤4得到的动态发型模型，导出与存储。
[0019]本发明的有益效果是，本发明对单幅图像及视频序列中的虚拟人物发型进行具物理真实性的三维模型重建，可广泛应用于数字媒体与相关产业的虚拟人物创建以及图像视频发型编辑中。本发明首次提出了对基于图像的复杂发型的具有物理合理性的三维建模方法，在良好拟合原图像发型区域的同时保证生成的发型模型符合其原本的物理特性，即由头皮区域的发根位置生长的发丝曲线构成，且具合适且连续的长度与几何特性。相比现有的基于图像的发型三维建模技术，本方法可以得到更高质量的发型模型，满足许多复杂动态发型编辑应用对模型的要求，从而可用于更多应用领域，达到先前方法难以达到的效果。【专利附图】
【附图说明】
[0020]图1是本发明发型建模过程的示意图，图中，Ca)为原始采集图像以及用户笔刷，(b)为初始发丝，(c)为求解方向后的发丝，Cd)为初始发型模型，Ce)为第一次迭代后的发型模型，Cf)为最终模型渲染结果；
[0021]图2是在静态发型建模中本发明方法与现有方法的比较示意图，图中，(a)为原始采集图像，(b)为方向场方法得到的结果，(c)为带方向歧义的结构张量方法得到的结果，Cd)为本方法得到的结果；
[0022]图3是本发明中一些建模结果的示意图；
[0023]图4是在动态发型建模中本方法与现有方法的比较示意图，图中，(a) (b)为原始图像与初始发型建模结果，(C)为使用不符合物理真实性模型得到的结果，Cd)为只使用特征场得到的结果，Ce)为只使用光流场得到的结果，Cf)为本方法得到的结果；
[0024]图5是本发明中一些视频发型编辑应用的示意图。
【具体实施方式】
[0025]本发明的核心是对单幅图像以及视频序列中的虚拟发型对象进行具有物理合理性的三维模型重建方法。本发明的核心方法主要分为如下五个部分:发型图像数据的采集与预处理、基于图像的发型方向场计算方法、静态发型模型的迭代构建方法、基于视频的动态发型建模方法以及发型建模结果的导出与应用。
[0026]1.发型图像数据的采集与预处理:使用数码设备对目标人物进行数据采集，要求发型部分清晰完整，使用画笔选取工具分割得到图像中发型部分区域。
[0027]1.1图像采集
[0028]本方法应用于普通的数码相片以及视频数据。作为输入数据，本方法需要对真实的人物对象使用包括普通数码相机、数码摄像机、手机在内的具备拍摄及摄录功能的数码设备进行拍摄与摄录，以获得原始输入数据。由于本方法的主要操作对象为图像及视频中人物的发型对象，因此本步骤要求采集图像中的发型区域清晰完整。
[0029]1.2用户辅助交互
[0030]由于图像中发型区域的内容及边界存在着复杂的形态特征，很难鲁棒地进行自动识别与分割，因此本方法依赖少量的用户辅助交互来对数据进行预处理以方便后续步骤的进行。通过采用画笔选取(paint selection)技术(LIU, J.，SUN, J.,AND SHUM, Η.-Y.2009.Paint selection.ACM Trans.Graph.28，3.),在发型区域内描绘少量笔画对图像进行分害I]，得到发型区域Rh&。
[0031]2.基于图像的发型方向场计算:解决图像发型方向场的方向歧义性问题，并将该无歧义的图像发丝方向场结合空间发型体区域求解空间发型方向场。
[0032]2.1头部模型拟合
[0033]本方法采用基于图像特征点以及训练数据库的头部模型标定与拟合技术(CHAI，M.，WANG, L.，YU, Y.，WENG, Y.，⑶0，B.，AND ZH0U, K.2012.Single-view hair modelingfor portrait manipulation.ACM Trans.Graph.31, 4, 116:1-8.),通 过 ASM (activeshape model)方法自动标定人脸特征点，随后基于这些特征点与主元分析(principlecomponent analysis)降维后的三维头部模型数据库(采用FaceGen软件内置数据),通过最小二乘(least-squares)优化估算头部的变换参数同时拟合得到图像中的三维头部模型。
[0034]2.2无方向二维发丝追踪
[0035]本方法使用一系列有向滤波函数{Ke}对1.2步中得到的发型区域Rh&进行滤波操作，其中每个滤波函数Ke用来检测角度Θ对应方向的响应值。令
【权利要求】
1.一种图像与视频的虚拟发型建模方法，其特征在于，包括如下步骤: (1)发型图像数据的采集与预处理:使用数码设备对目标人物进行数据采集，要求发型部分清晰完整，并使用画笔选取工具分割得到图像中发型部分区域； (2)基于图像的发型方向场计算:求解图像发型方向场的方向歧义性问题，将该无歧义的图像发型方向场结合空间发型体区域求解空间发型方向场； (3)静态发型模型的迭代构建:通过以拟合的人物头部模型上定义的头皮区域为发根位置，于空间发型方向场内以发根采样点起始进行生长得到初始的发型模型，随后通过迭代方式改进该初始结果，得到分布均匀、符合原图发型区域的静态发型模型； (4)基于视频的动态发型建模:在步骤3得到的静态发型模型的基础上，通过追踪头部模型运动并估算非刚性形变来计算视频中发型的运动，生成运动过程中每一时刻的动态发型模型，使其自然拟合视频中发型的真实运动； (5)发型建模结果的导出:将上述步骤的建模结果，包括步骤3得到的静态发型模型以及步骤4得到的动态发型模型，导出与存储。
2.根据权利要求1所述的图像与视频的虚拟发型建模方法，其特征在于，所述步骤2包括如下子步骤: (2.1)对输入图像中人物头部区域自动拟合三维人头模型； (2.2)在步骤I分割得到的发型区域内计算稀疏的图像发型方向场，并基于此追踪得到一系列二维发丝曲线； (2.3)求解二维发丝的方向信息，得到无方向歧义的二维发丝集合； (2.4)利用步骤2.3获得的无方向歧义的二维发丝与步骤2.1拟合得到的人头模型估算发丝的深度信息并构建空间中的头发体； (2.5)在步骤2.4的头发体内构建空间网格，求解定义在该网格单元上的空间发型方向场。
3.根据权利要求2所述的图像与视频的虚拟发型建模方法，其特征在于，所述步骤3包括如下子步骤: (3.1)基于步骤2.1中得到的拟合三维人头模型，对其上的头皮区域进行二维参数化构建，并均匀采样得到初始发根位置； (3.2)以步骤3.1中发根为起始点于步骤2.5得到的空间发型方向场为生长方向定义追踪所有发丝直至结束，得到初始静态发型模型； (3.3)以如下方式进行迭代改进:在空间中发型体内采样得到备选发丝的初始位置，以双向追踪的方式得到一系列备选发丝，对当前发型模型与所有备选发丝进行剪切与重组得到改进的静态发型模型。
4.根据权利要求1所述的图像与视频的虚拟发型建模方法，其特征在于，所述步骤4包括如下子步骤: (4.1)对输入视频序列的参考帧构建静态发型模型； (4.2)追踪头部模型的运动得到各帧相对参考帧的刚性变换； (4.3)对视频序列中各帧求解参考帧到该帧的稠密光流场； (4.4)在图像的发型区域中通过自动检测或用户指定的方式指定可靠的特征点位置，追踪这些特征点得到稀疏的特征对应关系，将该稀疏特征对应关系通过保持边缘的滤波方法扩散到整个图像区域中得到特征场； (4.5)对视频序列的每一帧，首先依据步骤4.2得到的刚性变换对步骤4.1得到的发型模型进行三维对齐，随后结合步骤4.3得到的光流场和步骤4.4得到的特征场生成二维变形场，对刚体对齐后的发型模型所有顶点进行变形偏移并保持发丝的连续性得到该帧的动态发型模型。
【文档编号】G06T7/00GK103606186SQ201310047151
【公开日】2014年2月26日 申请日期:2013年2月2日 优先权日:2013年2月2日
【发明者】翁彦琳, 柴蒙磊, 王律迪, 周昆 申请人:浙江大学