本技术涉及图像处理技术领域，具体涉及一种虚拟试妆方法及装置。
背景技术：
随着美妆电商网络的崛起和人们对美妆产品越来越大的需求，美妆市场成为了一个持续增长的市场。但是人们在线上购买美妆产品的时候无法试戴美妆产品的效果；平时也会化有精致的妆容，如此即便是在线下人们去试戴美妆产品的时候也是极不方便的。借助于图像识别、ar技术和对化妆品使用效果的精确模拟，可以快速模拟出使用化妆品的效果。使得消费者在快速、直观的体验到化妆品的实际使用效果，优化用户的体验。
技术实现要素：
本发明的目的在于解决现有技术中在线上购买美妆产品的时候无法试戴美妆产品的效果，且平时虚拟化妆极为不方便，提供一种虚拟试妆方法及装置。
本发明解决其技术问题所采用的技术方案是：
一方面，提供一种虚拟试妆方法，包括：
获取面部图像；
将所述面部图像发送至第一摄像机，通过所述第一摄像机进行视频流渲染；
提取所述面部图像中的特征点，依据所述特征点构建三维模型；
将所述三维模型转换为二维模型，将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型；
将所述试妆资源模型及所述三维模型发送至第二摄像机，通过所述第二摄像机进行透视渲染；
将所述第一摄像机所渲染的图像及所述第二摄像机所渲染的图像进行叠加，从而完成虚拟试妆。
在本发明所述的虚拟试妆方法中，所述提取所述面部图像中的特征点，依据所述特征点构建三维模型，包括：
对所述面部图像进行识别以提取所述面部图像中的特征点；
实时获取所述面部图像中头部所处的位置及姿态；
依据所述特征点构建三维模型。
在本发明所述的虚拟试妆方法中，所述将所述三维模型转换为二维模型，将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型，包括：
确定所述特征点的2d纹理的坐标点；
依据所述坐标点对所述三维模型进行uv展开以转换为二维模型；
接收试妆信息；
依据所述试妆信息将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型。
在本发明所述的虚拟试妆方法中，所述将所述试妆资源模型及所述三维模型发送至第二摄像机，通过所述第二摄像机进行透视渲染，包括：
将实时获取的头部所处的位置及姿态、所述试妆资源模型及所述三维模型发送至所述第二摄像机；
将所述试妆资源模型匹配至所述三维模型中，并依据实时获取的头部所处的位置及姿态对所述试妆资源模型进行调整；
通过所述第二摄像机对所述试妆资源模型进行透视渲染。
在本发明所述的虚拟试妆方法中，所述依据所述试妆信息将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型，包括：
依据所述化妆信息确定所需获取的化妆品的资源信息；
提取所述资源信息中的图像及其所处的2d纹理的坐标；
依据所述图像及其所处的2d纹理的坐标在所述二维模型中绘制试妆效果，并依据所述试妆效果生成试妆资源模型。
另一方面，提供一种虚拟试妆装置，其中存储有多条指令，所述指令适于由处理器加载并执行，包括：
获取面部图像；
将所述面部图像发送至第一摄像机，通过所述第一摄像机进行视频流渲染；
提取所述面部图像中的特征点，依据所述特征点构建三维模型；
将所述三维模型转换为二维模型，将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型；
将所述试妆资源模型及所述三维模型发送至第二摄像机，通过所述第二摄像机进行透视渲染；
将所述第一摄像机所渲染的图像及所述第二摄像机所渲染的图像进行叠加，从而完成虚拟试妆。
在本发明所述的虚拟试妆装置中，所述提取所述面部图像中的特征点，依据所述特征点构建三维模型，包括：
对所述面部图像进行识别以提取所述面部图像中的特征点；
实时获取所述面部图像中头部所处的位置及姿态；
依据所述特征点构建三维模型。
在本发明所述的虚拟试妆装置中，所述将所述三维模型转换为二维模型，将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型，包括：
确定所述特征点的2d纹理的坐标点；
依据所述坐标点对所述三维模型进行uv展开以转换为二维模型；
接收试妆信息；
依据所述试妆信息将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型。
在本发明所述的虚拟试妆装置中，所述将所述试妆资源模型及所述三维模型发送至第二摄像机，通过所述第二摄像机进行透视渲染，包括：
将实时获取的头部所处的位置及姿态、所述试妆资源模型及所述三维模型发送至所述第二摄像机；
将所述试妆资源模型匹配至所述三维模型中，并依据实时获取的头部所处的位置及姿态对所述试妆资源模型进行调整；
通过所述第二摄像机对所述试妆资源模型进行透视渲染。
在本发明所述的虚拟试妆装置中，所述依据所述试妆信息将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型，包括：
依据所述化妆信息确定所需获取的化妆品的资源信息；
提取所述资源信息中的图像及其所处的2d纹理的坐标；
依据所述图像及其所处的2d纹理的坐标在所述二维模型中绘制试妆效果，并依据所述试妆效果生成试妆资源模型。
上述公开的一种虚拟试妆方法及装置具有以下有益效果：通过实时的图像展示方式，真实反映妆容试妆效果，可以与妆容之间的对比，快速挑选合适的妆容用品，成本低廉，减少试用装的使用，方便卫生，减少店铺库存。
附图说明
图1为本发明一实施例提供的一种虚拟试妆方法的流程图；
图2为本发明另一实施例提供的一种虚拟试妆方法的具体流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供了一套快速、精确模拟用户试妆的解决方案。该方案使用目前普遍使用的移动设备的普通摄像头做出面部图像采集设备，通过快速的面部识别、三维面部模型重构、uv展开和精确的化妆品物理属性和上装效果模拟，使得人们无论在线上网店还是线下实体店都可以快速体验美妆产品的具体效果。一方面可以优化消费者的购物体验，另一面也降低了产品消耗中的损耗和库存问题。
参见图1，图1为本发明一实施例提供的一种虚拟试妆方法的流程图，该虚拟试妆方法可通过计算机程序实现，搭配摄像头采集图像，通过显示器显示实时的试妆效果，具体包括以下步骤s1-s5：
s1、获取面部图像；例如，通过摄像头获取在线图像。具体的，用户用移动端设备打开相应的试妆软件应用，打开摄像头，实时视频显示清晰的用户面部特征。
s2、将所述面部图像发送至第一摄像机，通过所述第一摄像机进行视频流渲染。优选的，第一摄像机优选为正交摄像机。
s3、提取所述面部图像中的特征点，依据所述特征点构建三维模型；参见图2，图2为本发明另一实施例提供的一种虚拟试妆方法的具体流程图，步骤s3包括步骤s31-s33：
s31、对所述面部图像进行识别以提取所述面部图像中的特征点；运用面部识别算法识别用户的面部特征并进行分析，标记各个脸部特征关键点。优选的，面部的特征点包括嘴巴、眼睛、眉毛等。
s32、实时获取所述面部图像中头部所处的位置及姿态。即用户在使用的过程中，使用摄像头获取用户面部图像的视频流，通过面部图形分析获取三维头部的位置和姿态并重构出用户的面部三维模型。
s33、依据所述特征点构建三维模型。例如：使用摄像头获取用户面部的数据流，使用主动外观模型法，对摄像头捕获的面部图像进行分析，提取用户的面部的关键特征点，快速构建用户面部的三维面部模型。
s4、将所述三维模型转换为二维模型，将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型；参见图2，步骤s4包括步骤s41-s44：
s41、确定所述特征点的2d纹理的坐标点。
s42、依据所述坐标点对所述三维模型进行uv展开以转换为二维模型；对构建的三维面部模型根据用户面部的关键特征点进行uv展开。
s43、接收试妆信息；即接收用户的操作指令，例如，试妆信息包括口红的类型及颜色的选择。用户可以根据自己的实际需要需要自己所需的试妆类型及效果。
s44、依据所述试妆信息将化妆品的资源信息匹配于所述二维模型以生成试妆资源模型。步骤s44包括步骤s441-s443：
s441、依据所述化妆信息确定所需获取的化妆品的资源信息；例如，试妆信息包括口红的类型及颜色的选择，则获取口红对应的资源信息，及所选择的类型及颜色对应的图像及坐标等。
s442、提取所述资源信息中的图像及其所处的2d纹理的坐标；如此，即可通过2d纹理的坐标匹配至特征点的坐标点。例如，口红的2d纹理的坐标对应到嘴巴的一至多个坐标点，眼线、睫毛的2d纹理的坐标对应到眼睛的一至多个坐标点。
s443、依据所述图像及其所处的2d纹理的坐标在所述二维模型中绘制试妆效果，并依据所述试妆效果生成试妆资源模型。将网络加载的妆容模型通过缩放、旋转等处理方式与人脸特征进行匹配，合成实时的妆容虚拟试妆的三维效果。例如：针对美妆试戴的口红、眉毛、睫毛、眼线、粉底、眼影等彩妆的试戴效果，使用photoshop根据模型展开的uv图上面部特征区域绘制出相应的效果，并作为模型的纹理图片保存。
s5、将所述试妆资源模型及所述三维模型发送至第二摄像机，通过所述第二摄像机进行透视渲染；步骤s5包括步骤s51-s53：
s51、将实时获取的头部所处的位置及姿态、所述试妆资源模型及所述三维模型发送至所述第二摄像机；例如，将三维妆容效果显示在移动端设备内。
s52、将所述试妆资源模型匹配至所述三维模型中，并依据实时获取的头部所处的位置及姿态对所述试妆资源模型进行调整；
s53、通过所述第二摄像机对所述试妆资源模型进行透视渲染。第一摄像机与第二摄像机可以采用两个不同的实体摄像机，也可以采用同一部摄像机，通过软件将其分离为两部份图像进行处理。优选的，第二摄像机优选为透视摄像机。
s6、将所述第一摄像机所渲染的图像及所述第二摄像机所渲染的图像进行叠加，从而完成虚拟试妆。例如：将实时的视频流数据、三维头部姿态位置数据和三维面部模型数据传入3d渲染引擎，使用两个摄像机对3d场景进行渲染。使用一个正交摄像机负责视频流的渲染，使用一个透视摄像机负责三维面部模型的渲染。将这两个摄像机的渲染画面进行叠加就完成了三维实时美妆试戴。
本发明还提供一种虚拟试妆装置，其中存储有多条指令，所述指令适于由处理器加载并执行，从而实现上述方法。
如此，通过上述的虚拟试妆方法及装置，用户可以在几秒内试妆各种整体妆容和单品化妆品包括口红、眼影、眼线、眼睫毛、眉毛、美瞳等；该技术可以提供较为方便的妆容之间的对比，可以快速挑选合适的妆容用品；而且，该技术提供实时三维的展示方式，真实反映妆容试妆效果；达到成本低廉，减少试用装的使用，方便卫生，减少店铺库存的效果。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。