三维虚拟试妆方法和装置制造方法
【专利摘要】为解决虚拟试妆问题，发明人提供了一种三维虚拟试妆方法，包括如下步骤：获取原始人像、标准模型与标准模型的细节网格模型，所述标准模型的细节网格模型根据所述标准模型的各特征点信息构建，并与所述特征点一一对应且位置一致；根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理，得到人像模型及其细节网格模型；获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理。发明人还提供了对应的三维虚拟试妆装置。所述的三维虚拟试妆方法和装置效果真实感较高、能够提供一定深度信息、且不致在蒙皮动画过程中导致贴图变形。
【专利说明】三维虚拟试妆方法和装置
【技术领域】
[0001]本发明涉及计算机图像处理领域，特别涉及一种三维虚拟试妆的方法和装置。
【背景技术】
[0002]化妆是女性日常生活中不可或缺的重要环节，因此如何选择适合自己的化妆品逐渐成为女性群体关注的热点问题。近年来，随着计算机仿真的发展，利用图像处理技术进行虚拟化妆的方法开始出现在人们的视野中，这一试妆新方法相比于传统的实际试妆大大提高了用户的体验，节省了时间和资源的消耗，具有广泛的应用前景。
[0003]现有技术中的一种非接触模拟式虚拟试妆方法通过分析采集的图像，根据人脸的特征点来检测试妆人员的面部图像，选取合适的包含人脸的图像作为试妆图像，然后根据实际操作基于虚拟化妆的处理参数对试妆图像进行图像处理来实现虚拟着妆；另一用于虚拟化妆的方法从化妆模板中提取化妆区域的信息来生成关于脸部模型的参考位置信息，然后利用上述信息来设置应用化妆的区域，最后将化妆模板应用在预定的区域上实现虚拟化妆。还有一种基于人脸特征分析的虚拟试妆方法，基于利用人脸正面照片作为输入进行五官位置、形状特征的分析，然后将化妆效果叠加到原始正面照片中来实现虚拟化妆的过程。
[0004]然而，现有技术中的虚拟试妆方法均为传统二维虚拟化妆技术应用于三维场景中，存在如下几个问题:
[0005]1，三维模型中采用UV贴图进行表面纹理的映射，由于模型中如眉毛、眼影、睫毛、美瞳等细节在贴图中所占比例较小，因此往往会丢失大量细节信息，造成映射后细节纹理的真实感较低。
[0006]2，基于二维图像的虚拟化妆难以实现等同于三维化妆的仿真效果，由于模型在三维场景中具有深度信息，因此当对三维头部模型进行旋转时，通过侧面应能够观察到化妆后的侧面效果，如眉毛、睦毛等。
[0007]3，在实际应用中，三维场景中的人脸模型通常需要执行一些面部动画，如微笑、眨眼等，传统的贴图映射方法在进行蒙皮动画时会由于图片的拉伸、收缩等操作将导致贴图的变形。
【发明内容】
[0008]为此，需要提供一种真实感较高、能够提供一定深度信息、不致在蒙皮动画过程中导致贴图变形的三维虚拟试妆方法和装置。
[0009]为实现上述目的，发明人提供了一种三维虚拟试妆方法，包括如下步骤:
[0010]获取原始人像、标准模型与标准模型的细节网格模型，所述标准模型的细节网格模型根据所述标准模型的各特征点信息构建，并与所述特征点一一对应且位置一致；
[0011]根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理，得到人像模型及其细节网格模型；
[0012]获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理。
[0013]进一步地，所述的三维虚拟试妆方法中，在步骤“获取原始人像、标准模型与标准模型的细节网格模型”后还包括步骤:
[0014]对标准模型与其细节网格模型中的对应骨骼点做同等权重的绑定处理。
[0015]进一步地，所述的三维虚拟试妆方法中，在步骤“获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理”之前还包括步骤:
[0016]获取所述人像模型及其细节网格模型的贴图；
[0017]获取色彩浓度指令，并根据所述色彩浓度指令调控所述细节网格模型的贴图的透明度；
[0018]混合所述细节网格模型的贴图与所述人像模型的贴图。
[0019]进一步地，所述的三维虚拟试妆方法中，步骤“根据所述色彩浓度指令调控所述细节网格模型的贴图的透明度”具体包括:
[0020]调控所述细节网格模型的贴图中RGBA图像的Alpha通道数值。
[0021 ] 进一步地，所述的三维虚拟试妆方法中，所述步骤“根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理”具体包括:
[0022]待渲染对象不少于两个时，根据待渲染对象的内外层次关系确定渲染顺序；或
[0023]根据待渲染对象的透明性质确定渲染顺序。
[0024]进一步地，所述的三维虚拟试妆方法中，步骤“根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理”具体包括:
[0025]将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面；
[0026]将屏幕空间中的特征点平移至原始人像上对应特征点的位置；
[0027]将经平移后的细节网格模型上的特征点转换回模型空间。
[0028]进一步地，所述的三维虚拟试妆方法中，步骤“将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面”具体包括:
[0029]利用模型矩阵Model将所述细节网格模型上的特征点从模型空间坐标系转换到世界坐标系；
[0030]利用观察矩阵View进一步将所述特征点从世界坐标系转换到视觉坐标系；
[0031]利用投影矩阵Project1n进一步将所述特征点通过正交投影投射于屏幕平面；并且
[0032]步骤“将经平移后的细节网格模型上的特征点转换回模型空间”所使用的变换矩阵为(Model*View*Project1n)-1。
[0033]发明人还提供了一种三维虚拟试妆装置，包括输入单元、特征点对齐单元和渲染单元；
[0034]所述输入单元用于获取原始人像、标准模型与标准模型的细节网格模型，所述标准模型的细节网格模型根据所述标准模型的各特征点信息构建，并与所述特征点一一对应且位置一致；
[0035]所述特征点对齐单元用于根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理，得到人像模型及其细节网格模型；
[0036]所述渲染单元用于获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理。
[0037]进一步地，所述的三维虚拟试妆装置中，还包括骨骼绑定单元，用于对标准模型与其细节网格模型中的对应骨骼点做同等权重的绑定处理。
[0038]进一步地，所述的三维虚拟试妆装置中，还包括色彩浓度调控单元，所述色彩浓度调控单元用于:
[0039]获取所述人像模型及其细节网格模型的贴图；
[0040]获取色彩浓度指令，并根据所述色彩浓度指令调控所述细节网格模型的贴图的透明度；
[0041]混合所述细节网格模型的贴图与所述人像模型的贴图。
[0042]进一步地，所述的三维虚拟试妆装置中，所述色彩浓度调控单元调控所述细节网格模型的贴图的透明度具体包括:
[0043]调控所述细节网格模型的贴图中RGBA图像的Alpha通道数值。
[0044]进一步地，所述的三维虚拟试妆装置中，所述渲染单元根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理时，待渲染对象不少于两个时，根据待渲染对象的内外层次关系确定值染顺序；或
[0045]根据待渲染对象的透明性质确定渲染顺序。
[0046]进一步地，所述的三维虚拟试妆装置中，所述特征点对齐单元根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理具体包括:
[0047]将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面；
[0048]将屏幕空间中的特征点平移至原始人像上对应特征点的位置；
[0049]将经平移后的细节网格模型上的特征点转换回模型空间。
[0050]进一步地，所述的三维虚拟试妆装置中，所述特征点对齐单元将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面具体包括:
[0051]利用模型矩阵Model将所述细节网格模型上的特征点从模型空间坐标系转换到世界坐标系；
[0052]利用观察矩阵View进一步将所述特征点从世界坐标系转换到视觉坐标系；
[0053]利用投影矩阵Project1n进一步将所述特征点通过正交投影投射于屏幕平面；并且
[0054]所述特征点对齐单元将经平移后的细节网格模型上的特征点转换回模型空间所使用的变换矩阵为(Model*View*Project1n)人
[0055]区别于现有技术，上述技术方案通过在三维空间中建立拟合人脸的模型以及细节模型上进行虚拟化妆，可以根据用户的需要从各个方向观察面部的化妆效果；并且基于三维空间中建立的面部各细节网格模型，可以展现出更加精细的化妆效果，且各面部细节之间的贴图更换和效果的调整都是独立进行的，运行的效率更高。此外，在三维空间中，由于人脸模型及面部细节模型采用相同的骨骼点权重绑定，因此通过蒙皮动画可以展现真实的面部动作，从而使化妆后的人脸模型能够实现表情动作的展现。
【专利附图】
【附图说明】
[0056]图1为本发明一实施方式所述三维虚拟试妆方法的流程图；
[0057]图2为本发明一实施方式所述三维虚拟试妆装置的结构示意图。
[0058]附图标记说明:
[0059]1-输入单元
[0060]2-特征点对齐单元
[0061]3-渲染单元
[0062]4-骨骼绑定单元
[0063]5-色彩浓度调控单元
【具体实施方式】
[0064]为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
[0065]请参阅图1，为本发明一实施方式所述三维虚拟试妆方法的流程图；所述方法包括如下步骤:
[0066]S1、获取原始人像、标准模型与标准模型的细节网格模型；
[0067]其中，所述标准模型的细节网格模型根据所述标准模型的各特征点信息构建，并与所述特征点一一对应且位置一致。
[0068]具体而言，原始人像通常即为用户输入的属于用户个人的平面照片。标准模型为三维头部模型。在某些优选的实施方式中，所述标准模型为与所述原始人像人种匹配的标准模型。也就是说，首先根据不同人种的特征信息进行分析，建立起不同的标准模型，例如，对于亚洲人(黄种人)而言，通过收集大量亚洲人的人脸，对其头型、轮廓形状、五官等信息进行综合分析并提取特征建立亚洲人头部标准模型。其他人种的标准模型同理。然后，根据原始人像的人种确定标准模型的种类，用于后续的拟合。
[0069]所述细节网格模型是基于标准模型的特征点信息建立的。特征点这一概念，主要指的是人脸定位和识别技术中，用于标定出人脸脸型、眉毛、眼睛、鼻子、嘴巴等对相貌有突出特征意义的点，称为特征点。基于不同的人脸标定技术研究结果，有不同的特征点模型可供选用，本实施方式采用的是按照人脸常识划分出7个有意义的特征(人脸外部轮廓、左右眉、左右眼、鼻子、嘴)的特征点系统。在其他实施方式中，还可以采用现有技术中的其他的特征点标定方法。细节网格模型与标准模型的特征点具有一一对应关系，例如在建立面部眉毛的网格细节模型时，首先需要提取出标准人脸模型中眉毛部位的特征点信息，在其相同的位置上构建出相同形状、大小的眉毛的细节网格模型。根据相似的方法可以构建出面部其他细节部位的网格模型，如根据眼睛轮廓的特征点信息构建睫毛的细节网格模型，根据眉毛下轮廓和眼睛上轮廓特征点信息构建眼影的细节网格模型，根据下颚部轮廓与鼻部轮廓特征点确定面部腮红位置，从而建立腮红的细节网格模型。
[0070]S2、对标准模型与其细节网格模型中的对应骨骼点做同等权重的绑定处理。
[0071]本步骤的处理是基于这样的意图:在进行三维动画的展现时，为了保证模型在进行蒙皮动画时不出现扭曲变形等情况，需要在骨骼点上绑定一定的权重值。由于细节网格模型是标准模型的拓展，因此为了使细节网格模型在蒙皮动画进行时保持与标准模型的运动一致性，需要在细节网格模型上对标准模型中相对应的骨骼点进行同等权重的绑定。骨骼点则是指特征点中那些在网格形变中将会对人脸轮廓和五官产生较大影响的点，获取骨骼关键点的方法通常是对人脸网格模型进行形变实验，分析各特征点对网格形变的影响，符合预设形变量条件的被确定为骨骼点。
[0072]S3、根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理，得到人像模型及其细节网格模型；
[0073]具体地，本步骤又包括如下分步骤:
[0074]S31、将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面；
[0075]S32、将屏幕空间中的特征点平移至原始人像上对应特征点的位置；
[0076]S33、将经平移后的细节网格模型上的特征点转换回模型空间。
[0077]其中，步骤S31所述“将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面”又具体包括:
[0078]利用模型矩阵Model将所述细节网格模型上的特征点从模型空间坐标系转换到世界坐标系；
[0079]利用观察矩阵View进一步将所述特征点从世界坐标系转换到视觉坐标系；
[0080]利用投影矩阵Project1n进一步将所述特征点通过正交投影投射于屏幕平面；并且
[0081]步骤S33所述“将经平移后的细节网格模型上的特征点转换回模型空间”所使用的变换矩阵为(ModeI*View*Project1n)-1。
[0082]本步骤所述的特征点对齐，主要是在实际建模过程中，根据用户提供的照片(即原始人像)进行个性化的头部建模，以使模型更贴合用户本人实际情形，能个性化地拟合出用户的人脸特征。
[0083]S4、调控贴图色彩浓度；
[0084]具体地，本步骤还包括如下分步骤:
[0085]S41、获取所述人像模型及其细节网格模型的贴图；
[0086]S42、获取色彩浓度指令，并根据所述色彩浓度指令调控所述细节网格模型的贴图的透明度；具体方式为，调控所述细节网格模型的贴图中RGBA图像的Alpha通道数值。
[0087]S43、混合所述细节网格模型的贴图与所述人像模型的贴图。
[0088]本步骤中，为了更好地模拟浓妆与淡妆的效果，实现虚拟试妆过程中彩妆色彩浓度的实时可调，需要将细节网格模型的贴图与人像模型的贴图进行一定程度的混合，所采取的方案为利用RGBA图像的Alpha通道来调整细节网格模型贴图的透明度，使其呈现不同浓度的色彩，再通过与底层贴图的混合来实现真实的化妆效果。
[0089]S5、获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理。
[0090]具体地，在本步骤中，当待渲染对象不少于两个时，根据待渲染对象的内外层次关系确定渲染顺序；或根据待渲染对象的透明性质确定渲染顺序。
[0091]由于进行多个细节网格模型的渲染时，基于不同的化妆效果，部分细节网格模型可能与人像模型重合(如眼影、唇彩、腮红等)，而部分则可能拼接在人像模型上(如睫毛、眉毛等)。渲染顺序可能影响某些细节网格模型的显示效果。所以，为了使化妆细节能够清晰真实地展现，本实施方式限定了网格模型的渲染顺序所要遵循的原则，一是从里到外进行渲染，即先进行内层对象的渲染，再进行外层对象的渲染，例如在渲染腮红的细节网格模型时，先进行人像模型的渲染，再进行腮红细节网格模型的渲染；而对于美瞳、睫毛的细节网格模型同时存在时，先进行人像模型的渲染，然后进行美瞳细节网格模型的渲染，最后渲染睫毛的细节网格模型。原则之二则是根据待渲染对象的透明与否确定渲染顺序，即先渲染不透明的对象，再渲染透明的对象。
[0092]上述技术方案通过在三维空间中建立拟合人脸的模型以及细节模型上进行虚拟化妆，可以根据用户的需要从各个方向观察面部的化妆效果；并且基于三维空间中建立的面部各细节网格模型，可以展现出更加精细的化妆效果，且各面部细节之间的贴图更换和效果的调整都是独立进行的，运行的效率更高。此外，在三维空间中，由于人脸模型及面部细节模型采用相同的骨骼权重绑定，因此通过蒙皮动画可以展现真实的面部动作，从而使化妆后的人脸模型能够实现表情动作的展现。
[0093]请参阅图2，为本发明一实施方式所述三维虚拟试妆装置的结构示意图，所述装置包括输入单元1、特征点对齐单元2和渲染单元3 ；
[0094]所述输入单元I用于获取原始人像、标准模型与标准模型的细节网格模型，所述标准模型的细节网格模型根据所述标准模型的各特征点信息构建，并与所述特征点一一对应且位置一致。
[0095]具体而言，原始人像通常即为用户输入的属于用户个人的平面照片。标准模型为三维头部模型。在某些优选的实施方式中，所述标准模型为与所述原始人像人种匹配的标准模型。也就是说，首先根据不同人种的特征信息进行分析，建立起不同的标准模型，例如，对于亚洲人(黄种人)而言，通过收集大量亚洲人的人脸，对其头型、轮廓形状、五官等信息进行综合分析并提取特征建立亚洲人头部标准模型。其他人种的标准模型同理。然后，根据原始人像的人种确定标准模型的种类，用于后续的拟合。
[0096]所述细节网格模型是基于标准模型的特征点信息建立的。特征点这一概念，主要指的是人脸定位和识别技术中，用于标定出人脸脸型、眉毛、眼睛、鼻子、嘴巴等对相貌有突出特征意义的点，称为特征点。基于不同的人脸标定技术研究结果，有不同的特征点模型可供选用，本实施方式采用的是按照人脸常识划分出7个有意义的特征(人脸外部轮廓、左右眉、左右眼、鼻子、嘴)的特征点系统。在其他实施方式中，还可以采用现有技术中的其他的特征点标定方法。细节网格模型与标准模型的特征点具有一一对应关系，例如在建立面部眉毛的网格细节模型时，首先需要提取出标准人脸模型中眉毛部位的特征点信息，在其相同的位置上构建出相同形状、大小的眉毛的细节网格模型。根据相似的方法可以构建出面部其他细节部位的网格模型，如根据眼睛轮廓的特征点信息构建睫毛的细节网格模型，根据眉毛下轮廓和眼睛上轮廓特征点信息构建眼影的细节网格模型，根据下颚部轮廓与鼻部轮廓特征点确定面部腮红位置，从而建立腮红的细节网格模型。
[0097]所述特征点对齐单元2用于根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理，得到人像模型及其细节网格模型；
[0098]进一步地，所述特征点对齐单元2根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理具体包括:
[0099]将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面；
[0100]将屏幕空间中的特征点平移至原始人像上对应特征点的位置；
[0101]将经平移后的细节网格模型上的特征点转换回模型空间。
[0102]进一步地，所述特征点对齐单元2将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面具体包括:
[0103]利用模型矩阵Model将所述细节网格模型上的特征点从模型空间坐标系转换到世界坐标系；
[0104]利用观察矩阵View进一步将所述特征点从世界坐标系转换到视觉坐标系；
[0105]利用投影矩阵Project1n进一步将所述特征点通过正交投影投射于屏幕平面；并且
[0106]所述特征点对齐单元2将经平移后的细节网格模型上的特征点转换回模型空间所使用的变换矩阵为(Model*View*Project1n) ^10
[0107]特征点对齐单元2所做的特征点对齐处理，主要是在实际建模过程中，根据用户提供的照片(即原始人像)进行个性化的头部建模，以使模型更贴合用户本人实际情形，能个性化地拟合出用户的人脸特征。
[0108]所述渲染单元3用于获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理。
[0109]进一步地，所述渲染单元3根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理时，待渲染对象不少于两个时，根据待渲染对象的内外层次关系确定渲染顺序；或根据待渲染对象的透明性质确定渲染顺序。
[0110]由于进行多个细节网格模型的渲染时，基于不同的化妆效果，部分细节网格模型可能与人像模型重合(如眼影、唇彩、腮红等)，而部分则可能拼接在人像模型上(如睫毛、眉毛等)。渲染顺序可能影响某些细节网格模型的显示效果。所以，为了使化妆细节能够清晰真实地展现，本实施方式限定了网格模型的渲染顺序所要遵循的原则，一是从里到外进行渲染，即先进行内层对象的渲染，再进行外层对象的渲染，例如在渲染腮红的细节网格模型时，先进行人像模型的渲染，再进行腮红细节网格模型的渲染；而对于美瞳、睫毛的细节网格模型同时存在时，先进行人像模型的渲染，然后进行美瞳细节网格模型的渲染，最后渲染睫毛的细节网格模型。原则之二则是根据待渲染对象的透明与否确定渲染顺序，即先渲染不透明的对象，再渲染透明的对象。
[0111]优选地，所述的三维虚拟试妆装置中，还包括骨骼绑定单元4，用于对标准模型与其细节网格模型中的对应骨骼点做同等权重的绑定处理。骨骼绑定单元4所实现的功能是基于这样的意图:在进行三维动画的展现时，为了保证模型在进行蒙皮动画时不出现扭曲变形等情况，需要在骨骼上绑定一定的权重值。由于细节网格模型是标准模型的拓展，因此为了使细节网格模型在蒙皮动画进行时保持与标准模型的运动一致性，需要在细节网格模型上对标准模型中相对应的骨骼点进行同等权重的绑定。骨骼点是指特征点中那些在网格形变中将会对人脸轮廓和五官产生较大影响的点，获取骨骼关键点的方法通常是对人脸网格模型进行形变实验，分析各特征点对网格形变的影响，符合预设形变量条件的被确定为骨骼点。
[0112]优选地，所述的三维虚拟试妆装置中，还包括色彩浓度调控单元5，所述色彩浓度调控单元5用于:
[0113]获取所述人像模型及其细节网格模型的贴图；
[0114]获取色彩浓度指令，并根据所述色彩浓度指令调控所述细节网格模型的贴图的透明度；
[0115]混合所述细节网格模型的贴图与所述人像模型的贴图。
[0116]进一步地，所述色彩浓度调控单元5调控所述细节网格模型的贴图的透明度具体包括:调控所述细节网格模型的贴图中RGBA图像的Alpha通道数值。
[0117]色彩浓度调控单元5所实现的功能主要是为了更好地模拟浓妆与淡妆的效果，实现虚拟试妆过程中彩妆色彩浓度的实时可调，因此，需要将细节网格模型的贴图与人像模型的贴图进行一定程度的混合，所采取的方案为利用RGBA图像的Alpha通道来调整细节网格模型贴图的透明度，使其呈现不同浓度的色彩，再通过与底层贴图的混合来实现真实的化妆效果。在其他实施方式中，亦可采用其他现有技术中实现调整贴图混合透明度的技术方案。
[0118]上述技术方案通过在三维空间中建立拟合人脸的模型以及细节模型上进行虚拟化妆，可以根据用户的需要从各个方向观察面部的化妆效果；并且基于三维空间中建立的面部各细节网格模型，可以展现出更加精细的化妆效果，且各面部细节之间的贴图更换和效果的调整都是独立进行的，运行的效率更高。此外，在三维空间中，由于人脸模型及面部细节模型采用相同的骨骼权重绑定，因此通过蒙皮动画可以展现真实的面部动作，从而使化妆后的人脸模型能够实现表情动作的展现。
[0119]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此夕卜，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
[0120]本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于:RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
[0121]上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0122]这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0123]这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0124]尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的【技术领域】，均同理包括在本发明的专利保护范围之内。
【权利要求】
1.一种三维虚拟试妆方法，包括如下步骤: 获取原始人像、标准模型与标准模型的细节网格模型，所述标准模型的细节网格模型根据所述标准模型的各特征点信息构建，并与所述特征点一一对应且位置一致； 根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理，得到人像模型及其细节网格模型； 获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理。
2.如权利要求1所述的三维虚拟试妆方法中，在步骤“获取原始人像、标准模型与标准模型的细节网格模型”后还包括步骤: 对标准模型与其细节网格模型中的对应骨骼点做同等权重的绑定处理。
3.如权利要求1或2所述的三维虚拟试妆方法中，在步骤“获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理”之前还包括步骤: 获取所述人像模型及其细节网格模型的贴图； 获取色彩浓度指令，并根据所述色彩浓度指令调控所述细节网格模型的贴图的透明度； 混合所述细节网格模型的贴图与所述人像模型的贴图。
4.如权利要求3所述的三维虚拟试妆方法中，步骤“根据所述色彩浓度指令调控所述细节网格模型的贴图的透明度”具体包括: 调控所述细节网格模型的贴图中如8八图像的通道数值。
5.如权利要求1或2所述的三维虚拟试妆方法中，所述步骤“根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理”具体包括: 待渲染对象不少于两个时，根据待渲染对象的内外层次关系确定渲染顺序；或 根据待渲染对象的透明性质确定渲染顺序。
6.如权利要求1或2所述的三维虚拟试妆方法中，步骤“根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理”具体包括: 将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面； 将屏幕空间中的特征点平移至原始人像上对应特征点的位置； 将经平移后的细节网格模型上的特征点转换回模型空间。
7.如权利要求6所述的三维虚拟试妆方法中，步骤“将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面”具体包括: 利用模型矩阵10如1将所述细节网格模型上的特征点从模型空间坐标系转换到世界坐标系； 利用观察矩阵VI⑶进一步将所述特征点从世界坐标系转换到视觉坐标系； 利用投影矩阵？1~0知巧1011进一步将所述特征点通过正交投影投射于屏幕平面；并且步骤“将经平移后的细节网格模型上的特征点转换回模型空间”所使用的变换矩阵为(10(161^16^^1-0^601:1011) ―1。
8.—种三维虚拟试妆装置，包括输入单元、特征点对齐单元和渲染单元； 所述输入单元用于获取原始人像、标准模型与标准模型的细节网格模型，所述标准模型的细节网格模型根据所述标准模型的各特征点信息构建，并与所述特征点一一对应且位置一致； 所述特征点对齐单元用于根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理，得到人像模型及其细节网格模型； 所述渲染单元用于获取渲染指令，并根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理。
9.如权利要求8所述的三维虚拟试妆装置中，还包括骨骼绑定单元，用于对标准模型与其细节网格模型中的对应骨骼点做同等权重的绑定处理。
10.如权利要求8或9所述的三维虚拟试妆装置中，还包括色彩浓度调控单元，所述色彩浓度调控单元用于: 获取所述人像模型及其细节网格模型的贴图； 获取色彩浓度指令，并根据所述色彩浓度指令调控所述细节网格模型的贴图的透明度； 混合所述细节网格模型的贴图与所述人像模型的贴图。
11.如权利要求10所述的三维虚拟试妆装置中，所述色彩浓度调控单元调控所述细节网格模型的贴图的透明度具体包括: 调控所述细节网格模型的贴图中如8八图像的八1迪3通道数值。
12.如权利要求8或9所述的三维虚拟试妆装置中，所述渲染单元根据所述渲染指令对所述人像模型或其细节网格模型做渲染处理时，待渲染对象不少于两个时，根据待渲染对象的内外层次关系确定值染顺序；或 根据待渲染对象的透明性质确定渲染顺序。
13.如权利要求8或9所述的三维虚拟试妆装置中，所述特征点对齐单元根据原始人像的特征点信息对标准模型的特征点以及标准模型的细节网格模型作对齐修正处理具体包括: 将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面； 将屏幕空间中的特征点平移至原始人像上对应特征点的位置； 将经平移后的细节网格模型上的特征点转换回模型空间。
14.如权利要求13所述的三维虚拟试妆装置中，所述特征点对齐单元将所述细节网格模型上的特征点从模型空间转换并投影至屏幕平面具体包括: 利用模型矩阵10如1将所述细节网格模型上的特征点从模型空间坐标系转换到世界坐标系； 利用观察矩阵VI⑶进一步将所述特征点从世界坐标系转换到视觉坐标系； 利用投影矩阵？1~0知巧1011进一步将所述特征点通过正交投影投射于屏幕平面；并且 所述特征点对齐单元将经平移后的细节网格模型上的特征点转换回模型空间所使用的变换矩阵为(10(161^16砂？1~0知⑶丨。!!)—1。
【文档编号】G06T15/10GK104463938SQ201410689673
【公开日】2015年3月25日 申请日期:2014年11月25日 优先权日:2014年11月25日
【发明者】吴拥民, 叶仲雯, 许凯杰, 何汉鑫, 苏珠明, 李春树, 陈吉, 刘德建, 陈宏展 申请人:福建天晴数码有限公司