可自动虚拟上妆的智能镜系统的制作方法

本发明涉及人机交互及虚拟化妆技术领域，更具体地涉及一种可自动虚拟上妆的智能镜系统。

背景技术：

随着社会物质生活水平的日益提高，越来越多的人开始关注自己的精神面貌，尤其是女性群体，使得镜子成为人们居家生活的必需物品。且为了改善面貌、提升气质，各类化妆品也成为她们必不可少的日用品。但人们不满足于某个单一妆容，而是希望能有更多的妆容体验，且有时化的妆容并不适合某个场合，又需要重新化妆，既浪费化妆品原料，也因一开始没有选择到适合自己的妆容而浪费精力，因此人们渴望照镜子时可通过触屏操作快速切换不同的妆容、看到其化妆效果而选择适合自己的妆容。

而目前，一种能在镜子上显示广告画面的镜面媒体越来越受人们重视，其媒介载体在关闭状态下是一面镜子，开启后镜子上可轮番播放一幅或者多幅各种尺寸的电子显示画面，既不影响镜子本身功能，又能很好的传播资讯信息。

鉴于此，为了更好地满足人们对照镜子的同时可快速看到化妆效果而选择适合自己的妆容的需求，可将镜面媒体与虚拟化妆技术融合起来，提供一种可自动虚拟上妆的智能镜系统以解决上述缺陷。

技术实现要素：

本发明所要解决的技术问题是提供一种使得人们照镜子的同时可快速看到化妆效果而选择适合自己的妆容的可自动虚拟上妆的智能镜系统。

为解决上述技术问题，本发明提供一种可自动虚拟上妆的智能镜系统，该系统包括一智能化妆镜子系统及一虚拟上妆子系统；所述虚拟上妆子系统与所述智能化妆镜子系统进行通信。

其中，所述智能化妆镜子系统包括有：摄像头，用于摄取使用者的人脸图像信息；输入装置，用于使用者与所述虚拟上妆子系统进行交互以使得使用者选择其所需的妆容模型；显示装置，用于显示妆容模型及合成后的虚拟化妆脸模；第一控制模块，与所述摄像头、输入装置以及显示装置连接，将所述摄像头获取的人脸图像信息发送给所述虚拟上妆子系统，接收来自于该虚拟上妆子系统的妆容模型并发送给所述显示装置进行显示，获取使用者的妆容模型选择信息并发送给虚拟上妆子系统，且将来自该虚拟上妆子系统的合成后的虚拟化妆脸模发送给所述显示装置进行显示。

所述虚拟上妆子系统包括有：存储单元，用于存储多种主题妆容模型以及局部妆容模型，且存储合成后的虚拟化妆脸模；第二控制模块，用于接收来自所述智能化妆镜子系统的人脸图像信息及妆容模型选择信息，且将存储单元所存储的妆容模型发送给所述智能化妆镜子系统进行显示以供使用者选择，并确定所接收的人脸图像信息中人脸的位置和大小，且对所述图像信息进行分析以获取人脸特征信息，根据所获取的人脸特征信息进行建模以获得人脸模型，根据所接收的妆容模型选择信息确定妆容模型，且将该妆容模型和所获得的人脸模型进行合成以获得虚拟化妆脸模，并发送给所述智能化妆镜子系统进行显示。

其进一步技术方案为：第二控制模块包括：通信单元、人脸检测单元、人脸特征提取单元、妆容建模单元以及人脸妆容合成单元。其中，所述通信单元，用于接收来自所述智能化妆镜子系统的人脸图像信息及妆容模型选择信息，且将存储单元所存储的妆容模型发送给所述智能化妆镜子系统进行显示以供使用者选择，并将合成后的虚拟化妆脸模发送给所述智能化妆镜子系统进行显示；所述人脸检测单元，用于确定来自所述智能化妆镜子系统的人脸图像信息中人脸的位置和大小；所述人脸特征提取单元，用于对来自所述人脸检测单元的图像信息进行分析以获取人脸特征信息，根据所获取的人脸特征信息进行建模以获得人脸模型并发送给所述人脸妆容合成单元；所述妆容建模单元，用于根据来自所述智能化妆镜子系统的妆容模型选择信息调取存储单元中的妆容模型，以确定主题妆容模型及其局部妆容模型并发送给所述人脸妆容合成单元；所述人脸妆容合成单元，用于将来自所述妆容建模单元的主题妆容模型及其局部妆容模型和来自所述人脸特征提取单元的人脸模型进行合成，以获得虚拟化妆脸模。

其进一步技术方案为：所述虚拟上妆子系统还包括一人脸跟踪单元，该人脸跟踪单元用于当来自所述智能化妆镜子系统的人脸图像信息中的人脸位置移动时自动对其进行跟踪。

其进一步技术方案为：所述局部妆容模型包括眉毛模型和/或眼妆模型和/或唇妆模型。

其进一步技术方案为：所述智能化妆镜子系统还包括一人体感应单元，所述人体感应单元用于检测是否存在使用者，在所述人体感应单元检测存在使用者时，发送触发控制指令至所述虚拟上妆子系统。

其进一步技术方案为：所述人体感应单元包括红外探测器和/或人体热感传感器。

其进一步技术方案为：所述显示装置包括显示镜面及液晶显示器，所述液晶显示器通过所述显示镜面显示来自所述虚拟上妆子系统的信息。

其进一步技术方案为：所述显示装置还包括普通镜面；所述普通镜面与所述显示镜面共同组成所述显示装置的镜面。

与现有技术相比，本发明的可自动虚拟上妆的智能镜系统将镜面媒体与虚拟化妆技术结合，该系统根据用户触摸智能镜切换不同的妆容或选择不同的妆容组成部分来完成主体妆容，可使得不同妆容在真实人脸上的实时叠加，提高化妆的智能化和使用体验，即通过智能化妆镜子系统获取人脸图像信息，并将所获取的人脸图像信息发送给所述虚拟上妆子系统，该虚拟上妆子系统对所接收的人脸图像信息进行识别、建模以获得人脸模型，且根据使用者的妆容模型选择信息调取存储在该子系统中的妆容模型，并将所调取的妆容模型与所述人脸模型进行叠加合成以获得虚拟化妆脸模，实现照镜子的同时可快速切换不同的妆容、看到化妆效果而选择适合自己的妆容的目的。

附图说明

图1是本发明可自动虚拟上妆的智能镜系统一具体实施例的结构框图。

图2是图1虚拟上妆子系统中第二控制模块的具体结构框图。

具体实施方式

为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。

参照图1，图1为本发明的可自动虚拟上妆的智能镜系统10一具体实施例的结构框图。在附图所示的实施例中，该系统10包括：一智能化妆镜子系统11及一虚拟上妆子系统12；所述虚拟上妆子系统12与所述智能化妆镜子系统11进行通信。

其中，所述智能化妆镜子系统11包括人体感应单元111、第一控制模块112、摄像头113、输入装置114以及显示装置115。其中，所述人体感应单元111，用于检测是否存在使用者；其可采用红外探测器或人体热感传感器，也可采用红外探测器和人体热感传感器的组合。所述输入装置114用于使用者与所述虚拟上妆子系统12进行交互以使得使用者选择其所需的妆容模型，优选地，其采用触控膜，所述触控膜可起到触摸感应的效果，即使用者通过触摸选择显示装置115所显示的来自虚拟上妆子系统12的妆容模型。所述显示装置115，用于显示妆容模型及合成后的虚拟化妆脸模。

所述第一控制模块112，与所述人体感应单元111、摄像头113、输入装置114以及显示装置115连接，在所述人体感应单元111检测到存在使用者时，发送触发控制指令至所述虚拟上妆子系统12以促使该虚拟上妆子系统12工作，同时将所述摄像头113获取的人脸图像信息发送给所述虚拟上妆子系统12，接收来自于该虚拟上妆子系统12的妆容模型并发送给所述显示装置115进行显示，获取使用者的妆容模型选择信息并发送给虚拟上妆子系统12，且将来自该虚拟上妆子系统12的合成后的虚拟化妆脸模发送给所述显示装置115进行显示。在本实施例中，所述第一控制模块112由单片机来实现，而在某些其他实施例中，该第一控制模块112也可由arm、dsp等控制芯片来实现。

在附图所示的实施例中，所述虚拟上妆子系统12包括存储单元121以及第二控制模块122。其中，所述存储单元121，用于存储多种主题妆容模型以及局部妆容模型，且存储合成后的虚拟化妆脸模，本实施例中，该存储单元121选用tf卡来存储妆容模型信息；可理解地，所述存储单元121还可选用非易失性存储器来存储与整个虚拟上妆子系统12运行的相关的应用程序或算法，及存储虚拟上妆子系统12的配置信息和一些临时的用户数据；相应地，所述第二控制模块122可用于执行存储在存储器中的程序。所述第二控制模块122用于接收来自所述智能化妆镜子系统11的人脸图像信息及妆容模型选择信息，且将存储单元121所存储的妆容模型发送给所述智能化妆镜子系统11进行显示以供使用者选择，并确定所接收的人脸图像信息中人脸的位置和大小，且对所述图像信息进行分析以获取人脸特征信息，根据所获取的人脸特征信息进行建模以获得人脸模型，根据所接收的妆容模型选择信息确定妆容模型，且将该妆容模型和所获得的人脸模型进行合成以获得虚拟化妆脸模，并发送给所述智能化妆镜子系统11进行显示。

在某些实施例，例如本实施例中，所述局部妆容模型包括眉毛模型和/或眼妆模型和/或唇妆模型。所述主题妆容模型包括可爱型、职业型等不同类型的整装妆容模型。

参照图2，图2为本发明中虚拟上妆子系统12的第二控制模块122的具体结构框图。在附图所示的实施例中，所述第二控制模块122包括通信单元1221、人脸检测单元1222、人脸特征提取单元1223、妆容建模单元1224以及人脸妆容合成单元1225。其中，所述通信单元1221，用于接收来自所述智能化妆镜子系统11的人脸图像信息及妆容模型选择信息，且将存储单元121所存储的妆容模型发送给所述智能化妆镜子系统11进行显示以供使用者选择，并将合成后的虚拟化妆脸模发送给所述智能化妆镜子系统11。所述人脸检测单元1222，用于确定来自所述智能化妆镜子系统11中摄像头113所获取的人脸图像信息中人脸的位置和大小；本实施例中，所述人脸图像信息包括摄像头113摄取的动态视频帧，所述动态视频桢中包含有眉毛、眼睛、鼻子、嘴巴、耳朵等的坐标信息以及颜色信息等。所述人脸特征提取单元1223，用于对来自所述人脸检测单元1222的图像信息进行分析以获取人脸特征信息，根据所获取的人脸特征信息进行建模以获得人脸模型并发送给所述人脸妆容合成单元1225；所述人脸特征信息包括人脸各点的空间坐标位置及颜色信息，所述人脸各点的空间坐标信息包括眉毛、眼睛、鼻子、嘴巴、耳朵等的空间坐标信息；根据所获取的人脸特征信息进行建模以获得人脸模型是指将所获得的眉毛、眼睛、鼻子、嘴巴、耳朵等的空间坐标信息及颜色信息作为算法中建模函数的输入参数，根据建模函数及这些对应的输入参数可建立人脸模型。所述妆容建模单元1224，用于根据来自所述智能化妆镜子系统11的妆容模型选择信息调取存储单元121中的妆容模型，以确定主题妆容模型及其局部妆容模型并发送给所述人脸妆容合成单元1225。所述人脸妆容合成单元1225，用于将来自所述妆容建模单元1224的主题妆容模型及其局部妆容模型和来自所述人脸特征提取单元1223的人脸模型进行合成，以获得虚拟化妆脸模以发送给所述存储单元121和所述智能化妆镜子系统11，所述存储单元121将所接收的虚拟化妆脸模进行存储，所述智能化妆镜子系统11将所接收的虚拟化妆脸模进行显示。在某些其他实施例中，所述虚拟上妆子系统12还可包括一人脸跟踪单元，该人脸跟踪单元用于当来自所述智能化妆镜子系统11的人脸图像信息中的人脸位置移动时自动对其进行跟踪，即当已被检测到的人脸在摄像头113拍摄范围内移动时自动对其进行跟踪。

本发明的可自动虚拟上妆的智能镜系统10具有电池，且可外接电源，所述电池经过电源管理部分为该系统供电。当有外接电源时电池不供电，当未接电源或停电时由电池供电。

在某些实施例，例如本实施例中，所述显示装置115包括显示镜面及设置于该显示镜面背侧的液晶显示器，所述液晶显示器通过所述显示镜面显示来自所述虚拟上妆子系统12的信息，优选地，在本实施例中，所述显示装置115还包括普通镜面；所述普通镜面与所述显示镜面共同组成所述显示装置的镜面。所述显示镜面包括普通玻璃，其上贴有触控膜以用于触控，背侧涂有特殊镜面反射涂层用于镜面反射，置于其背侧的液晶显示器用于电子显示。可理解地，显示镜面的成本比普通镜面要高，在某些场合，该显示装置115无需将整个镜面均用显示镜面来组成，可以通过普通镜面与显示镜面组合的方式，在满足特定需求的情况下，使得显示装置115既能充分发挥自身的功能优势，又可以节约成本。当外接电源及电池不为该智能镜系统10供电时，该显示镜面可当作普通镜子使用，当有外接电源或电池为该智能镜系统10供电时，其可显示虚拟上妆子系统12发送的信息。

可理解地，本发明的可自动虚拟上妆的智能镜系统10的工作过程如下：

智能化妆镜子系统11中的红外探测器和/或人体热感传感器检测镜前是否存在使用者，若检测到存在使用者则触发摄像头113及虚拟上妆子系统12进行工作，此时摄像头113进行摄像，虚拟上妆子系统12将存储在该子系统中的妆容模型发送给智能化妆镜子系统11进行显示以供使用者选择；且所述智能化妆镜子系统11将所述摄像头113获取的图像信息发送给所述虚拟上妆子系统12，该虚拟上妆子系统12中的人脸检测单元1222定位所接收的人脸图像信息中人脸的位置和大小后将人脸图像信息发送给所述人脸特征提取单元1223，所述人脸特征提取单元1223对所接收的人脸图像信息进行分析以获取人脸特征信息，所述获取的人脸特征信息包括人脸各点的空间坐标位置(例如眉毛、眼睛、鼻子、嘴巴、耳朵等的空间坐标信息)及颜色信息，将所获得的眉毛、眼睛、鼻子、嘴巴、耳朵等的空间坐标信息及颜色信息作为算法中建模函数的输入参数，根据建模函数及这些对应的输入参数可建立人脸模型；同时智能化妆镜子系统11通过触控膜获取使用者的妆容模型选择信息，并发送给所述虚拟上妆子系统12，所述虚拟上妆子系统12中的妆容建模单元1224根据使用者妆容模型选择信息调取存储在该子系统存储单元121中的妆容模型，再将人脸模型和所调取的用户选择的妆容模型进行合成以获得虚拟化妆脸模，并发送给所述智能化妆镜子系统11进行显示。

综上所述，本发明的可自动虚拟上妆的智能镜系统将镜面媒体与虚拟化妆技术结合，该系统根据用户触摸智能镜切换不同的妆容或选择不同的妆容组成部分来完成主体妆容，可使得不同妆容在真实人脸上的实时叠加，提高化妆的智能化和使用体验，即通过智能化妆镜子系统获取人脸图像信息，并将所获取的人脸图像信息发送给所述虚拟上妆子系统，该虚拟上妆子系统对所接收的人脸图像信息进行识别、建模以获得人脸模型，且根据使用者的妆容模型选择信息调取存储在该子系统中的妆容模型，并将所调取的妆容模型与所述人脸模型进行叠加合成以获得虚拟化妆脸模，实现照镜子的同时可快速切换不同的妆容、看到化妆效果而选择适合自己的妆容的目的。

以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。