一种服装与人体模型的三维匹配方法
【专利摘要】本发明公开了一种服装与人体模型的三维匹配方法，该方法包括：接收人体和服装模型；为服装模型上的每一个顶点确定要绑定的人体模型中的三角形面片；基于服装模型的初始位置，对于服装模型中的每一个顶点，计算并存储其相对于要绑定的三角形面片之间的相对位置信息；根据顶点到平面的距离，确定每一个绑定的三角形面片的权重；在服装和人体模型发生位移后，根据相对位置信息和三角形面片权重，更新服装模型中各顶点的坐标，完成服装与人体模型的三维匹配。本发明能够随着模型的移动，基于相对位置变化最小的思想计算顶点应在的位置，从而达到服装随着模型运动的效果。
【专利说明】一种服装与人体模型的三维匹配方法
【技术领域】
[0001]本发明涉及计算机图形学领域，特别涉及一种服装与人体模型的三维匹配方法，常用虚拟试穿等领域。
【背景技术】
[0002]基于虚拟现实的计算机动画是计算机图形学与艺术相结合的产物，三维计算机动画中的虚拟人动画是其中一个重要的部分，在各种各样的3D仿真中扮演着重要的角色。虚拟人骨骼动画是通过将骨架嵌入人体模型中，并将人体模型的顶点绑定到一块或数块骨骼上，通过依次改变骨骼的位置和姿态，从而由骨骼带动人体模型生成动画。
[0003]动画人物的虚拟服装模拟是研究中的一个难点问题，服装的外形并不像刚体一样固定不变，其某些特性带来模拟上的难度，如服装的复杂多变性和高度变形性。服装本身是由多片布料缝合而成，面片之间需要满足缝合的约束，服装特有的结构约束，如褶皱等也需要加以表现，此外，人体运动可以彻底改变服装的视觉效果，穿着搭配和穿着层次等的影响也给虚拟服装的真实度带来了很大的挑战。
[0004]虚拟服装的建模方法主要分为三种:几何法、物理法和混合法。目前基于物理的建模方法占据主导地位。虚拟服装建模中有两个亟待解决的问题，即提高虚拟的真实程度和运算速度。
[0005]早期的研究主要是利用图像处理技术构建虚拟穿衣系统。Hilsmann和Eisert描述了一种动态纹理叠加的方法，在虚拟镜像环境中，从可视化服装的单目图像构建月艮装模型(请参考 A.Hilsmann and P.Eisert, “Tracking and retexturing cloth forreal-time virtual clothing applications，，，in Proc.Mirage2009Comput.Vis./Comput.Graph.Collab.Technol.and App., Rocquencourt, France, May 2009, pp.94-105)；接 下来，他们又提出了一种通过提取阴影和形状的变形信息来对服装进行分割和再处理的方法(请参考 P.Eisert and A.Hilsmann, “Realistic virtual try-on of clothes usingreal-time augmented reality methods” , IEEE COMSOCMMTCE-Lett., 2011, pp.37 - 40)；Zhang等人用基准线标记法来改变服装的纹理(请参考W.Zhang, T.Matsumoto, andJ.Liu, “An intelligent fitting room using mult1-camera perception，，，in Proc.1nt.Conf.1ntell.User Interfaces, 2008, pp.60 - 69) ；Spanlang 等人的工作则将一个预生成的三维人体模型叠加到一个二维的服装图像上(请参考B.Spanlang, T.Vassilev, andB.F.Buxton, “Compositing photographs with virtual clothes for design”，in Proc.1nt.Conf.Comput.Syst.And Technol., 2004, pp.1-6);他们在后续工作中构建出一个虚拟穿衣系统，用户可以扫描或输入自己的信息，系统将构建一个对应的人体模型，将服装穿着到人体模型上(请参考 B.Spanlang, T.Vassilev, J.Walters, and B.F.Buxton, “A virtualclothing system for retail and design”, Res.J.Textile and Apparel, 2005, pp.74 - 87)；Shilkrot等人建立了一个虚拟体验的穿衣系统，将用户的照片输入到系统中，就可以穿上指定的衣服，并且会考虑用户的肤色和体型(参考R.Shilkrot, D.Cohen-Or, A.Shamir, L.Liu, “Garment Personalization via Identity Transfer，，，IEEE Computer Graphics andApplications, 2012, pp.62-72)。
[0006]不同于基于图像的系统，三维图形系统从几何层面来讲更加精准。Thanh和Gagalowicz建立的系统接收用户输入的3D模型，并允许用户从系统库中选择一件衣服，然后用交互定位的方式将衣服穿到模型上面(请参考T.L.Thanh and A.Gagalowicz, “Frominteractive positioning to automatic try-on of garments，，，in Proc.1nt.Conf.Comput.Vis./Comput.Graph.Collab.Technol., 2009, pp.182 - 194) ；Frederic 等人提出 了 一 种基于网络的解决方案，从一个通用的数据库里为用户体型大小的阿凡达选择合适的衣服并进行仿真(请参考 F.Cordier, ff.Lee, H.Seo, and N.Magnenat-Thalmann, “Virtualtry-on on the web，，，in Proc.Virtual Reality Int.Conf., Laval Virtual, 2001) ；Meng等人和Wacker等人提出一种在3D模型上进行服装缝合的方法，然后观测服装仿真的效果(请参考 Y.Meng, P.Y.Mok, and X.Jin, “Interactive virtual try-on clothingdesign systems” , Comput.Aid.Des., 2010, pp.310 - 321 ；M.Wacker，M.Keckeisen, andS.Kimmerle, “Simulation and visualization of virtual textiles for virtualtry-on” , Res.J.Textile and Apparel, 2005, pp.37 - 41) ；Zou 等人提出一种基于网络的交互式的服装仿真的方法，并允许用户为模特自主选择发型配饰等(请参考K.Zou, X.Xu, Y.Li, and Z.Li, “Research of interactive3D virtual fitting room on web environment，，，inProc.1nt.Symp.Comput.1ntell.and Des., 2011, pp.32 - 35)。
[0007]近年来，一些基于增强现实技术的交互式虚拟试衣系统开始崭露头角。这类系统的一大优势是可以保证穿衣之后模特保持用户输入图像之中的姿势。当下，遥感技术的应用使得颜色和深度的质量得到大幅的提升，也大大改善了虚拟穿衣系统的真实感。Hauswiesner提出了 一种虚拟穿衣系统,用多视角相机采集用户的体型信息和服装信息，重构出三维模型(请参考N.Hasler, C.Stoll, M.SunkeI, B.Rosenhahnand H.-P.SeidelA, “Statistical Model of Human Pose and Body Shape”，ComputerGraphics Forum, 2009, pp.337 - 346 ；D.Anguelov, P.Srinivasan, D.Roller, S.Thrun, J.Rodgers, and J.Davis, “SCAPE: Shape completion and animation of people，，，ACM Trans.Graph.，2005，pp.408 - 416)，接下来,用Kenect传感器捕获用户的运动，并映射到Kinect传感器获取的骨架上，带动模型运动。
【发明内容】
[0008]本发明提出一种服装与人体模型的三维匹配方法，以实现三维动画人物的虚拟穿衣，即将服装网格绑定到人物模型的表面，使得服装可以匹配并跟随人物模型生成人体动画。本发明其实属于虚拟穿衣系统的一部分，所述虚拟穿衣系统首先输入一个标准的人体模型，进行体型重构输出不同尺寸的模型文件，接着针对输出的重构后模型在其外部穿上一个服装模型，在其内部嵌入一个虚拟骨架，然后利用穿衣方法将服装绑定到人体上，最后用第三方动作捕获的数据驱动骨架运动，进而带动模型运动，同时也带动绑定在模型之上的服装运动，生成着装人体动画。该虚拟穿衣系统的流程图如图1所示，该虚拟穿衣系统包括以下几个部分:体型重塑:根据用户输入的腰围、胸围、身高等信息对人体模型进行尺寸调整，保持模型的拓扑结构不变，输出不同大小的模型；骨架嵌入和绑定:在人体模型内部嵌入骨架，并分配骨架关节点对模型顶点的影响权重；服装重塑:根据模型的尺寸将服装调整到合适的大小，使之与模型相匹配，并处理服装和模型之间的穿透；服装绑定至人体模型:将服装绑定到人体模型，使服装能随模型运动生成动画；动画数据驱动:BVH动画数据驱动嵌入骨架，带动模型和服装生成着装人物动画。而本发明提出的服装与人体模型的三维匹配方法实质上就是上述虚拟穿衣系统中用到的将服装绑定至人体模型的方法。
[0009]本发明提出的一种服装与人体模型的三维匹配方法包括以下步骤:
[0010]步骤I，接收人体和服装模型；
[0011]步骤2，为服装模型上的每一个顶点确定要绑定的人体模型中的三角形面片；
[0012]步骤3，基于服装模型的初始位置，对于服装模型中的每一个顶点，计算并存储其相对于要绑定的三角形面片之间的相对位置信息；
[0013]步骤4，根据顶点到平面的距离，确定每一个绑定的三角形面片的权重；
[0014]步骤5，在所述服装和人体模型发生位移后，根据所述步骤3获得的相对位置信息和所述步骤4计算得到的三角形面片权重，更新所述服装模型中各顶点的坐标，完成服装与人体模型的三维匹配。
[0015]综上，本发明提出了一种利用重心坐标信息和到模型表面距离来保存服装模型上每个顶点对于模型的相对位置的方法，随着模型的移动，基于相对位置变化最小的思想计算顶点应在的位置，从而达到服装随着模型运动的效果。
【专利附图】
【附图说明】
[0016]图1是虚拟穿衣系统的流程图；
[0017]图2是本发明服装与人体模型的三维匹配方法的流程图；
[0018]图3是本发明的服装绑定算法将顶点绑定到三角形的示意图；
[0019]图4是根据本发明将服装与人体模型进行匹配的系列效果图；
[0020]图5是根据本发明得到的三维着装人物动画的系列效果截图。
【具体实施方式】
[0021]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0022]本发明的目的是将服装模型绑定到匹配的人体模型上。三角形所在平面的任意点都能表示为顶点的加权平均值，这个权就叫做重心坐标。对于模型网格上的一个三角形和服装网格上的一个顶点，顶点的位置可以用投影点的重心坐标和点到三角形平面的距离来表示。一旦三角形的位置发生移动，根据重心坐标和距离信息，就可以求出新的顶点位置，使得三角形和顶点的相对位置保持不变。基于如此的思想，本发明将服装网格的每一个顶点绑定到模型网格的若干三角形上，这样就能计算随着模型移动的服装的位置。
[0023]本发明方法从接收两个模型一人体和服装开始，要做的工作主要分四步:选择绑定的三角形，初始化对应信息，分配权重以及更新顶点坐标，接下来基于这四部分工作对于本发明方法进行详细的说明。
[0024]图2是本发明服装与人体模型的三维匹配方法的流程图，如图2所示，所述方法包括以下步骤:[0025]步骤I，接收人体和服装模型；
[0026]步骤2，为服装模型上的每一个顶点确定要绑定的人体模型中的三角形面片；
[0027]通常，一个人体模型由成千上万个三角形面片构成，只将顶点绑定到一个三角形面片上必然保证不了真实感，所以本发明采取将顶点绑定到多个三角形面片上的策略，图3A为将顶点P绑定到一个三角形面片上的原理示意图，图3B为将顶点P绑定到多个三角形面片上的原理示意图。
[0028]如何选择绑定三角形面片的数目呢？绑定的面片数目太多会使服装看起来僵硬，绑定的数目太少则会不平滑，所以选择一个合适的值对绑定结果有重要的影响。本发明中，绑定的最大三角形面片数η根据人体模型的尺寸和精细程度来决定，由用户结合想要的效果，从外部输入一个大致估算的η值，以及一个最大距离值D。选择前η个距离顶点最近的三角形面片，其中满足距离区间[0，D]的三角形面片即选定为最终进行绑定的三角形面片。
[0029]在本发明一实施例中，采取一种空间划分的方法由近及远的搜索绑定三角形，从而加速三角形面片的搜索过程，具体做法如下:输入最大绑定三角形面片数目η ;选择合适的步长，将人体模型和服装模型所在的三维空间划分为大小相等的立方体，那么，某一顶点P必然落在其中一个小立方体里；首先从与顶点P位于同一个立方体的三角形开始，计算三角形到顶点P之间的距离，然后向其相邻立方体一层一层扩展，选择离顶点P最近的前η个三角形；检查这η个三角形与顶点P之间的距离是否在规定的距离区间内，若在，则选定为最终要绑定的三角形；若η个三角形到顶点P之间的距离均不在所述距离区间内，则只绑定距离顶点P最近的一个三角形。
[0030]步骤3，先假设将服装模型中的每一个顶点只绑定到一个三角面片上，基于两者的初始位置，计算并存储顶点相对于该三角形面片之间的相对位置信息，包括投影点重心坐标、顶点到三角形面片的距离以及三角形面片的初始面积A0 ；
[0031]首先来介绍一下三角形重心坐标的概念。对于一个三角形Τ，它的三个顶点用 表示。三角形平面上任何一个点都可以写成三角形三顶点的加权和的形式r =
λ 1*r1+λ 2*r2+λ 3*r3，其中，(入1，入2，λ 3)称为点r的重心坐标，满足λ i+λ 2+λ 3 = I，如
果点r在三角形内部，则满足XiX), i = 1，2，3。
[0032]如何利用三角形重心坐标将平面外的一个点P绑定到一个三角形呢？本发明引入一个四元组O1, λ 2，λ 3，d),其中λ 17 λ 2，λ 3表示P点在三角形平面内的投影点P’的重心坐标，d为点P到三角形平面的距离。点P就可以由三角形顶点和这个四元组来确定，如图3A所示:
[0033]P = λ ^r1+ λ 2*r2+ λ 3*r3+d*n,
[0034]其中，η为三角形平面的正法向。
[0035]这样，三维空间中的所有点都可以由三角形顶点和四元组来表示。那么对于一个顶点P和一个要绑定的三角形τ，如何求解响应的四元组呢？
[0036]首先比较容易求解的是顶点P到三角形平面的距离d，根据相关数学定理，d等于P与平面内任一点的连线在法线方向的投影长度，进而就能得到点P在平面上的投影P’ =p_d*n。
[0037]接下来如何求解投影点P’的重心坐标呢？设投影点P’的笛卡尔坐标为(X，y, z)，三角形T的三个顶点为a (X1, Y1, Z1), r2(x2, y2, z2), r3(x3, y3, z3),投影点p’的重心坐标用(λ 1，λ 2，λ 3)表不，贝1J有:
[0038]ρ，= λ 而+λ 2r2+λ 3r3,
[0039]进而
[0040]X = λ JX1+ λ 2χ2+ λ 3χ3,
[0041]y = λ iYi+λ 22y+λ 3y3o
[0042]将λ 3 = 1-A1-A2代入上式,得到
[0043]X= X1XjX2Xj(1-X1-X2)X3,
[0044]y= λ ιΥι+λ 2y2+(?-λ j-λ 2)y30
[0045]上式可以变换成
[0046]λ j (X1-X3) + λ 2 (X2-X3) +χ3-χ = O,
[0047]λ j (Y1-Y3) + λ 2 (y2-y3) +y3_y = O。
[0048]此线性变换也可以被写成
[0049]Τ.λ = r~r3
[0050]其中
【权利要求】
1.一种服装与人体模型的三维匹配方法，其特征在于，该方法包括以下步骤: 步骤I，接收人体和服装模型； 步骤2，为服装模型上的每一个顶点确定要绑定的人体模型中的三角形面片； 步骤3，基于服装模型的初始位置，对于服装模型中的每一个顶点，计算并存储其相对于要绑定的三角形面片之间的相对位置信息； 步骤4，根据顶点到平面的距离，确定每一个绑定的三角形面片的权重； 步骤5，在所述服装和人体模型发生位移后，根据所述步骤3获得的相对位置信息和所述步骤4计算得到的三角形面片权重，更新所述服装模型中各顶点的坐标，完成服装与人体模型的三维匹配。
2.根据权利要求1所述的方法，其特征在于，与所述服装模型上的每一个顶点绑定的三角形面片的数量为多个。
3.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括以下步骤: 输入最大绑定三角形面片数目η ； 选择步长，将人体模型和服装模型所在的三维空间划分为大小相等的立方体，其中，某一顶点P落在其中一个小立方体里； 从与顶点P位于同一个立方体的三角形开始，计算三角形到顶点P之间的距离，然后向其相邻立方体一层一层扩展，选择离顶点P最近的前η个三角形； 判断这η个三角形与顶点P之间的距离是否在规定的距离区间内，若在，则选定为最终要绑定的三角形；若η个三角形到顶点P之间的距离均不在所述距离区间内，则只绑定距离顶点P最近的一个三角形。
4.根据权利要求1所述的方法，其特征在于，所述相对位置信息至少包括投影点重心坐标、顶点到三角形面片的距离以及三角形面片的初始面积。
5.根据权利要求1所述的方法，其特征在于，顶点P由三角形顶点和一个四元组来确定:
P =入 ^r1+ 入 2^r2+ 入 3^r3+d氺π， 其中，三角形的三个顶点，A1, λ2，入3为P点在三角形平面内的投影点ρ’的重心坐标，d为点P到三角形平面的距离，η为三角形平面的正法向。
6.根据权利要求4所述的方法，其特征在于，顶点P到三角形平面的距离d等于P与平面内任一点的连线在法线方向的投影长度。
7.根据权利要求4所述的方法，其特征在于，P点在三角形平面内的投影点p’的重心坐标为:
8.根据权利要求1所述的方法，其特征在于，所述三角形面片的权重为相应顶点到平面的距离的归一化后的倒数。
9.根据权利要求1所述的方法，其特征在于，在更新顶点坐标位置的过程中，所述服装模型的拓扑结构保持不变。
10.根据权利要求1所述的方法，其特征在于，更新后的顶点P的坐标为根据η个绑定三角形计算得出的顶点P的坐标乘以权重之后的加和，其中，根据第i个绑定三角形计算得出的顶点P的坐标为:
ρ=λ ^r1+ λ 2*r2+ λ 3*r3+ (A/A0) *d*n, 其中，三角 形的三个顶点，A1, λ2，入3为ρ点在三角形平面内的投影点ρ’的重心坐标，d为点P到三角形平面的距离，η为三角形平面的正法向，A为形变后的三角形的面积，A0为三角形的初始面积。
【文档编号】G06T7/00GK104008557SQ201410283079
【公开日】2014年8月27日 申请日期:2014年6月23日 优先权日:2014年6月23日
【发明者】叶军涛, 闫一帆, 张晓鹏 申请人:中国科学院自动化研究所