控制方法、控制器、智能镜子和计算机可读存储介质与流程

本发明涉及智能镜子领域，特别涉及一种控制方法、控制器、智能镜子和计算机可读存储介质。

背景技术：

当前智能镜子的功能主要是信息显示，如显示天气、短信等信息等。但是目前的智能镜子的使用功能较为局限，用户体验不佳。

技术实现要素：

本发明的实施例提供了一种控制方法、控制器、智能镜子和计算机可读存储介质。

本发明实施方式的控制方法用于控制智能镜子。所述智能镜子包括摄像头，所述控制方法包括：

控制所述摄像头拍摄当前用户；

判断所述当前用户是否为注册用户；

在所述当前用户为注册用户时，控制所述当前用户登录所述智能镜子；和

根据所述当前用户的输入控制所述智能镜子与所述当前用户产生交互并输出交互信息。

本发明实施方式的控制器用于控制智能镜子。所述智能镜子包括摄像头。所述控制器包括控制装置、判断装置、登录装置和交互装置。所述控制装置用于控制所述摄像头拍摄当前用户；所述判断装置用于判断所述当前用户是否为注册用户；所述登录装置用于在所述当前用户为注册用户时，控制所述当前用户登录所述智能镜子；所述交互装置用于根据所述当前用户的输入控制所述智能镜子与所述当前用户产生交互并输出交互信息。

本发明实施方式的智能镜子包括摄像头和上述的控制器，所述控制器与所述摄像头电连接。

本发明实施方式的智能镜子包括一个或多个处理器、存储器以及一个或多个程序。其中所述一个或多个程序被存储在所述存储器中，并且被配置由所述一个或多个处理器执行，所述程序包括用于执行上述的控制方法的指令。

本发明实施方式的计算机可读存储介质包括与能够显示画面的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的控制方法。

本发明实施方式的控制方法、控制器、智能镜子和计算机可读存储介质在用户登录后可以为用户提供包括美妆美颜、卡通形象渲染等在内的多种互动功能。如此，进一步丰富智能镜子的使用功能，满足用户的智能生活的需求，提升用户的使用体验。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的控制方法的流程示意图。

图2是本发明某些实施方式的智能镜子的模块示意图。

图3是本发明某些实施方式的智能镜子的结构示意图。

图4是本发明某些实施方式的控制方法的流程示意图。

图5是本发明某些实施方式的判断装置的模块示意图。

图6是本发明某些实施方式的控制方法的流程示意图。

图7是本发明某些实施方式的控制器的模块示意图。

图8是本发明某些实施方式的控制方法的流程示意图。

图9是本发明某些实施方式的控制方法的流程示意图。

图10是本发明某些实施方式的交互装置的模块示意图。

图11是本发明本发明某些实施方式的控制方法的状态示意图。

图12是本发明某些实施方式的控制方法的流程示意图。

图13是本发明本发明某些实施方式的控制方法的状态示意图。

图14是本发明某些实施方式的控制方法的流程示意图。

图15是本发明本发明某些实施方式的控制方法的状态示意图。

图16是本发明某些实施方式的控制方法的流程示意图。

图17是本发明本发明某些实施方式的控制方法的状态示意图。

图18是本发明某些实施方式的控制方法的流程示意图。

图19是本发明某些实施方式的交互装置的模块示意图。

图20是本发明本发明某些实施方式的控制方法的状态示意图。

图21是本发明某些实施方式的控制方法的流程示意图。

图22是本发明本发明某些实施方式的控制方法的状态示意图。

图23是本发明某些实施方式的控制方法的流程示意图。

图24是本发明本发明某些实施方式的控制方法的状态示意图。

图25是本发明某些实施方式的控制方法的流程示意图。

图26是本发明某些实施方式的交互装置的模块示意图。

图27是本发明本发明某些实施方式的控制方法的状态示意图。

图28是本发明某些实施方式的智能镜子的模块示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至3，本发明实施方式的控制方法用于控制智能镜子100。智能镜子100包括摄像头20。控制方法包括以下步骤：

s12：控制摄像头20拍摄当前用户；

s14：判断当前用户是否为注册用户；

s16：在当前用户为注册用户时，控制当前用户登录智能镜子100；和

s18：根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息。

请再参阅图2，本发明实施方式的控制方法可以由本发明实施方式的控制器10实现。本发明实施方式的控制器10包括控制装置12、判断装置14、登录装置16和交互装置18。步骤s12可以由控制装置12实现，步骤s14可以由判断装置14实现，步骤s16可以由登录装置16实现，步骤s18可以由交互装置18实现。

也即是说，控制装置12用于控制摄像头20拍摄当前用户；判断装置14用于判断当前用户是否为注册用户；登录装置16用于在当前用户为注册用户时，控制当前用户登录智能镜子100；交互装置18用于根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息。

本发明实施方式的控制器10应用于本发明实施方式的智能镜子100。也即是说，本发明实施方式的智能镜子100包括本发明实施方式的控制器10。本发明实施方式的智能镜子100还包括摄像头20。其中，摄像头20和控制器10电连接。

目前大多数智能镜子100只能用于显示天气或短信息，与用户之间的互动功能较少，智能镜子100的使用功能较为局限，用户的使用体验较差。

本发明实施方式的控制方法在用户成功登录后可以为用户提供多种娱乐互动及指导功能，如美妆美颜、卡通形象渲染等。

具体地，使用智能镜子100的当前用户需要成功登录智能镜子100才能行使对智能镜子100的多种娱乐互动及指导功能的使用权。也即是说，当且仅当当前用户为注册用户时才能使用智能镜子100的娱乐互动及指导功能。如此，可以保护注册用户的个人资料和隐私，提升智能镜子100使用的信息安全性。此外，每个注册用户可以设置不同的智能镜子100的使用风格，如此，注册用户登录智能镜子100后智能镜子100会显示与当前的注册用户相应的使用风格，进一步提升用户的使用体验。

当前用户成功登录智能镜子100后，智能镜子100会显示交互功能的使用界面。当前用户点击使用界面中的内容即可实现与智能镜子100的交互。

综上所述，本发明实施方式的控制方法、控制器10及智能镜子100在用户成功登录后可以为用户提供多种互动功能。如此，进一步丰富智能镜子100的使用功能，满足用户的智能生活的需求，提升用户的使用体验。

请一并参阅图2和图4，在某些实施方式中，智能镜子100包括注册库。注册库包括所有注册用户的注册人脸区域的注册特征信息。步骤s14判断当前用户是否为注册用户包括：

s141：处理摄像头20拍摄的当前用户的第一图像以获取当前用户的待测人脸区域；

s142：处理待测人脸区域以获取待测人脸区域的待测特征点；

s143：处理待测特征点以提取待测人脸区域的特征信息；

s144：将待测特征信息与注册特征信息进行比对以得到比对结果；

s145：在比对结果大于预定阈值时确认当前用户为注册用户。

请参阅图5，在某些实施方式中，判断装置14包括第一处理单元141、第二处理单元142、第三处理单元143、比对单元144和第一确认单元145。步骤s141可以由第一处理单元141实现，步骤s142可以由第二处理单元142实现，步骤s143可以由第三处理单元143实现，步骤s144可以由比对单元144实现，步骤s145可以由第一确认单元145实现。

也即是说，第一处理单元141用于处理摄像头20拍摄的当前用户的第一图像以获取当前用户的待测人脸区域；第二处理单元142用于处理待测人脸区域以获取待测人脸区域的待测特征点；第三处理单元143用于处理待测特征点以提取待测人脸区域的特征信息；比对单元144用于将待测特征信息与注册特征信息进行比对以得到比对结果；第一确认单元145用于在比对结果大于预定阈值时确认当前用户为注册用户。

具体地，待测特征点包括待测人脸区域的眼睛、鼻子、嘴巴、脸部轮廓线等特征点。注册特征信息或待测特征信息包括注册用户或当前用户的脸部的特征信息，如眼睛、鼻子、嘴巴等的相对位置和距离，眼睛、鼻子、嘴巴的视点、大小等。将当前用户的待测特征信息与注册用户的注册特征信息进行比对，在比对结果大于预定阈值时说明当前用户与注册用户的人脸的匹配度较高，从而可以判断当前用户为注册用户。确认当前用户为注册用户后，当前用户成功登录智能镜子100。

如此，智能镜子100仅为注册用户提供丰富的使用功能，保证了注册用户的信息安全。

在某些实施方式中，注册用户可以自行设定智能镜子100的使用风格，如显示界面的颜色、背景图案等。如此，在当前用户成功登录智能镜子100之后，智能镜子100可以显示当前用户喜欢的使用风格，进一步提升用户体验。

在本发明的实施方式中，当前用户的登录验证是通过人脸识别进行验证。在其他实施例中，当前用户的登录验证也可以通过语音识别、指纹识别、虹膜识别等方式进行验证。

请一并参阅图2和图6，在某些实施方式中，本发明实施方式的控制方法还包括：

s111：控制摄像头20拍摄注册用户；和

s112：根据注册用户的输入建立注册用户的个人记录档案。

请参阅图7，在某些实施方式中，控制器10还包括建立装置11。步骤s111可以由控制装置12实现，步骤s112可以由建立装置11实现。

也即是说，控制装置12还用于控制摄像头20拍摄注册用户；建立装置12用于根据注册用户的输入建立注册用户的个人记录档案。

具体地，摄像头20拍摄注册用户后，智能镜子100对拍摄后的注册用户的图像进行处理以获取注册用户的注册特征点，并将注册特征点存储在注册库中以用于后续的识别匹配登录。注册用户可以在智能镜子100上进行编辑输入以建立自己的个人记录档案。个人记录档案包括注册用户的昵称、头像、个性签名等。注册用户还可以制定自己的卡通形象并存储在个人记录档案中。在确认当前用户为注册用户即当前用户成功登录智能镜子100后，智能镜子100会显示当前用户的个人记录档案中的全部信息或显示当前用户的个人记录档案中的部分信息。

需要说明的是，当前用户与智能镜子100产生交互后，当前用户可以选择保存输出的交互信息。此时，保存的交互信息也会存储在个人记录档案中。用户可通过个人记录档案查看自己的保存的交互信息和/或历史交互内容等。如此，可以进一步提升用户的使用体验。

请一并参阅图2和图8，在某些实施方式中，本发明实施方式的控制方法包括：

s171：控制摄像头20拍摄当前用户的第二图像；和

s172：控制智能镜子100显示第二图像。

请再参阅图2，在某些实施方式中，步骤s171和步骤s172可以由控制装置12实现。

也即是说，控制装置12还用于控制摄像头20拍摄当前用户的第二图像，以及控制智能镜子100显示第二图像。

如此，摄像头20拍摄的第一图像用于人脸识别的登录验证。摄像头20拍摄的第二图像用于当前用户与智能镜子100的交互。

请参阅图9，在某些实施方式中，交互包括对第二图像进行萌颜处理。智能镜子包括萌颜素材库。步骤s18根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息包括：

s1811：处理第二图像以获取当前用户的萌颜人脸区域；

s1812：处理萌颜人脸区域以获取萌颜人脸区域的萌颜特征点；

s1813：根据当前用户输入确定萌颜素材；和

s1814：根据萌颜特征点将萌颜素材与第二图像进行匹配融合处理以得到萌颜图像。

请一并参阅图5和图10，在某些实施方式中，交互装置18包括第二确认单元181和第四处理单元182。步骤s1811可以由第一处理单元141实现，步骤s1812可以由第二处理单元142实现，步骤s1813可以由第二确认单元181实现，步骤s1814可以由第四处理单元182实现。

也即是说，第一处理单元141还用于处理第二图像以获取当前用户的萌颜人脸区域；第二处理单元142还用于处理萌颜人脸区域以获取萌颜人脸区域的萌颜特征点；第二确认单元181用于根据当前用户输入确定萌颜素材；第四处理单元182用于根据萌颜特征点将萌颜素材与第二图像进行匹配融合处理以得到萌颜图像。

请参阅图11，具体地，萌颜特征点包括眼睛、鼻子、嘴巴、耳朵、头发等特征点。萌颜处理是在当前用户的萌颜人脸区域上，依据检测得到的萌颜特征点进行装饰物效果的叠加，如在脸部叠加可爱的表情、头部叠加发卡等虚拟装饰、头部叠加动物耳朵、鼻子位置叠加动物鼻子、脸颊位置叠加动物胡须等。萌颜素材可由用户自行指定。在得到萌颜图像后，智能镜子100通过采取动态逐帧显示萌颜图像的方式，形成趣味性强的动画特效。

请参阅图12，在某些实施方式中，交互包括对第二图像进行美颜处理。步骤s18根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息包括：

s1821：处理第二图像以获取当前用户的美颜人脸区域；

s1822：处理美颜人脸区域以获取美颜人脸区域的美颜特征点；和

s1823：根据当前用户的输入和美颜特征点对第二图像进行美颜处理以得到美颜图像。

请再参阅图5和图10，在某些实施方式中，交互装置18包括第四处理单元182。步骤s1821可以由第一处理单元141实现，步骤s1822可以由第二处理单元142实现，步骤s183可以由第四处理单元182实现。

也即是说，第一处理单元141还用于处理第二图像以获取当前用户的美颜人脸区域；第二处理单元142还用于处理美颜人脸区域以获取美颜人脸区域的美颜特征点；第四处理单元182用于根据当前用户的输入和美颜特征点对第二图像进行美颜处理以得到美颜图像。

美颜处理包括美白滤镜、红润滤镜、瘦脸模块和大眼模块中的一种或几种。美颜特征点包括脸部、眼睛等。用户通过点选美颜处理的操作选项可实现对第二图像的美颜处理。例如，如图13所示，用户点选美白滤镜后，第四处理单元182会对第二图像中的美颜人脸区域进行脸部的美白处理。如此，用户可以自主选择美颜功能以对第二图像进行美颜处理，处理后的美颜图像会显示在智能镜子100上。用户可以观看到智能镜子100中显示的自身的个人形象，提升用户的观感体验。

进一步地，智能镜子20以动态帧形式逐帧显示美颜图像。也即是说，摄像头20会实时拍摄当前用户以获取当前用户的美颜特征点，并对实时拍摄得到的图像进行美颜处理。如此，即使当前用户处于运动状态，如头部旋转一定角度等，智能镜子100中也会实时显示当前用户美颜后的图像。

请参阅图14，在某些实施方式中，交互包括对第二图像进行虚拟试妆处理。智能镜子包括妆容素材库。步骤s18根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息包括：

s1831：处理第二图像以获取当前用户的试妆人脸区域；

s1832：处理试妆人脸区域以获取试妆人脸区域的试妆特征点；

s1833：根据当前用户的输入确定妆容素材；和

s1834：根据试妆特征点将妆容素材与第二图像进行匹配融合处理以得到虚拟试妆图像。

请再参阅图5和图10，在某些实施方式中，交互装置18包括第二确认单元181和第四处理单元182。步骤s1831可以由第一处理单元141实现，步骤s1832可以由第二处理单元142实现，步骤s1833可以由第二确认单元181实现，步骤s1834可以由第四处理单元184实现。

也即是说，第一处理单元141还用于处理第二图像以获取当前用户的试妆人脸区域；第二处理单元142还用于处理试妆人脸区域以获取试妆人脸区域的试妆特征点；第二确认单元181用于根据当前用户的输入确定妆容素材；第四处理单元182用于根据试妆特征点将妆容素材与第二图像进行匹配融合处理以得到虚拟试妆图像。

妆容素材包括眼影素材、眼线素材、腮红素材、唇彩素材和眉毛素材中的一种或几种。试妆特征点包括眼睛、鼻子、眉毛、脸颊等特征点。当前用户在智能镜子100的操作界面点选相应的妆容素材后，第四处理单元182即根据已确定的试妆特征点将当前用户点选的妆容素材与第二图像进行匹配融合处理。智能镜子100会显示匹配融合处理后的虚拟试妆图像。例如，如图15所示，当前用户点击眼影素材及唇彩素材后，智能镜子100会显示经处理后的虚拟试妆图像。实际使用中，当前用户在进行化妆时可以参考智能镜子100中显示的虚拟试妆图像来确定自己喜欢的妆容。如此，用户与智能镜子100的互动增强，用户的使用体验得到提升。

进一步地，智能镜子100以动态帧形式逐帧显示虚拟试妆图像。即使当前用户处于运动状态，智能镜子100仍旧能够持续显示出虚拟试妆处理后的虚拟试妆图像。

请参阅图16，在某些实施方式中，交互包括对第二图像进行2d面具渲染处理。智能镜子100包括2d面具素材库。步骤s18根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息包括：

s1841：处理第二图像以获取当前用户的2d面具渲染人脸区域；

s1842：处理2d面具渲染人脸区域以获取2d面具渲染人脸区域的2d面具渲染特征点；

s1843：根据当前用户的输入确定2d面具素材；和

s1844：根据2d面具渲染特征点将2d面具素材与第二图像进行匹配融合处理以得到2d面具渲染图像。

请再参阅图5和图10，在某些实施方式中，交互装置18包括第二确认单元181和第四处理单元182。步骤s1841可以由第一处理单元141实现，步骤s1842可以由第二处理单元142实现，步骤s1843可以由第二确认单元181实现，步骤s1844可以由第四处理单元182实现。

也即是说，第一处理单元141还用于处理第二图像以获取当前用户的2d面具渲染人脸区域；第二处理单元142还用于处理2d面具渲染人脸区域以获取2d面具渲染人脸区域的2d面具渲染特征点；第二确认单元181用于根据当前用户的输入确定2d面具素材；第四确认单元182用于根据2d面具渲染特征点将2d面具素材与第二图像进行匹配融合处理以得到2d面具渲染图像。

具体地，2d面具渲染特征点主要包括眼睛、鼻子、嘴巴。2d面具素材包括经典白色面具、京剧脸谱、动物脸谱、卡通形象脸谱等。当前用户点选2d面具素材后，第四处理单元182即将2d面具素材与第二图像进行匹配融合处理。智能镜子100会显示匹配融合处理后的2d面具渲染图像。如图17所示，用户点击白色面具的2d面具素材，智能镜子100显示处理后的2d面具渲染图像。如此，用户可以直观感受自己戴上面具后的效果。增加智能镜子100的使用的趣味性。

进一步地，智能镜子100以动态帧形式逐帧显示2d面具渲染图像。用户头部运动时，2d面具仍旧能与2d面具渲染人脸区域实现匹配。用户可以动态地进行渲染效果的观看。智能镜子100可以为用户提供真实地戴上面具在照镜子的使用感受。

请参阅图18，在某些实施方式中，交互包括对第二图像进行3d卡通形象渲染处理。智能镜子100包括3d引擎、通用3d人脸模型和3d卡通形象素材库。步骤s18根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息包括：

s1851：处理第二图像以获取当前用户的3d卡通形象渲染人脸区域；

s1852：处理3d卡通形象渲染人脸区域以获取3d卡通形象渲染人脸区域的3d卡通形象渲染特征点；

s1853：根据通用3d人脸模型和3d卡通形象渲染特征点获取当前用户的3d卡通形象渲染姿态参数；

s1854：根据当前用户的输入确定3d卡通形象素材；和

s1855：控制3d引擎根据第一姿态参数和3d卡通形象素材对第二图像进行3d卡通形象渲染处理。

请一并参阅图5和图19，交互装置18包括获取单元183、第二确认单元181和第四处理单元182。步骤s1851可以由第一处理单元141实现，步骤s1852可以由第二处理单元142实现，步骤s1853可以由获取单元183实现，步骤s1854可以由第二确认单元181实现，步骤s1855可以由第四处理单元182实现。

也即是说，第一获取单元141还用于处理第二图像以获取当前用户的3d卡通形象渲染人脸区域；第二处理单元142还用于处理3d卡通形象渲染人脸区域以获取3d卡通形象渲染人脸区域的3d卡通形象渲染特征点；获取单元183用于根据3d人脸模型和3d卡通形象渲染特征点获取当前用户的3d卡通形象渲染姿态参数；第二确认单元181用于根据当前用户的输入确定3d卡通形象素材；第四处理单元182用于控制3d引擎根据第一姿态参数和3d卡通形象素材对第二图像进行3d卡通形象渲染处理。

具体地，对第二图像进行3d卡通形象渲染处理指的是获取第二图像中的人物的动作，并控制3d卡通形象对该人物的动作进行模仿跟随。3d卡通形象素材库包括多种3d卡通形象素材，如海绵宝宝、叮当猫、功夫熊猫、维尼熊等。3d卡通形象渲染特征点包括3d卡通形象渲染人脸区域的眼睛、鼻子、嘴巴、头部等。第一姿态参数包括头部的偏转角度、眼睛的闭合、嘴巴的动作等。通用3d人脸模型与3d卡通形象渲染特征点的匹配用于将摄像头20拍摄的2d平面图像转换成3d立体姿态参数即第一姿态参数。如此，在当前用户点选3d卡通形象素材后，3d引擎才能根据第一姿态参数和3d卡通素材对第二图像进行3d卡通形象渲染处理，以实现3d卡通形象根据当前用户的头部及面部动作进行角色动作的3d立体展示效果。如图20所示，当前用户选择的3d卡通素材为叮当猫，当用户做张大眼睛并开口大笑的动作，叮当猫同时进行张大眼睛并开口大笑的动作，实现实时模仿跟随。如此，用户与智能镜子100之间互动的趣味性大大提升。

在某些实施方式中，获得的3d卡通形象渲染特征点也可与通用3d人脸模型库中的某一通用3d人脸模型进行匹配以获取3d立体姿态参数。其中，通用3d人脸模型库中存储有不同形状的通用3d人脸。如此，可根据不同用户的头部、脸部、五官等的差异性选取不同的通用3d人脸模型进行匹配，从而提升3d立体姿态参数的准确度以进一步优化3d卡通形象渲染的效果，使3d卡通形象的模仿跟随更精确。

请参阅图21，在某些实施方式中，交互包括对第二图像进行虚拟眼镜渲染处理。智能镜子100包括3d引擎、通用3d人脸模型和虚拟眼镜素材库。步骤s18根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息包括：

s1861：处理第二图像以获取当前用户的虚拟眼镜渲染第二人脸区域；

s1862：处理虚拟眼镜渲染人脸区域以获取虚拟眼镜渲染人脸区域的虚拟眼镜渲染特征点；

s1863：根据通用3d人脸模型和虚拟眼镜渲染特征点获取当前用户的虚拟眼镜渲染姿态参数；

s1864：根据当前用户的输入确定虚拟眼镜素材；和

s1865：控制3d引擎根据第二姿态参数和虚拟眼镜素材对第二图像进行虚拟眼镜渲染处理。

请再参阅图5和图19，在某些实施方式中，交互装置18包括获取单元183、第二确认单元181和第四处理单元182。步骤s1861可以由第一处理单元141实现，步骤s1862可以由第二处理单元142实现，步骤s1863可以由获取单元183实现，步骤s1864可以由第二确认单元181实现，步骤s1865可以由第四处理单元182实现。

也即是说，第一处理单元141还用于处理第二图像以获取当前用户的虚拟眼镜渲染第二人脸区域；第二处理单元142还用于处理虚拟眼镜渲染人脸区域以获取虚拟眼镜渲染人脸区域的虚拟眼镜渲染特征点；获取单元183用于根据通用3d人脸模型和虚拟眼镜渲染特征点获取当前用户的虚拟眼镜渲染姿态参数；第二确认单元181用于根据当前用户的输入确定虚拟眼镜素材；第四处理单元182用于控制3d引擎根据第二姿态参数和虚拟眼镜素材对第二图像进行虚拟眼镜渲染处理。

具体地，对第二图像进行虚拟眼镜渲染处理指的是为第二图像中的人物戴上虚拟眼镜，虚拟眼镜可随第二图像中的人物的头部的动作而动作，实现模仿跟随。虚拟眼镜素材库包括多种不同颜色及造型的虚拟眼镜素材。虚拟眼镜渲染特征点主要包括虚拟眼镜渲染人脸区域的头部及眼睛部分。虚拟眼镜渲染姿态参数包括头部及眼睛的运动情况。通用3d人脸模型与虚拟眼镜渲染特征点的匹配用于将摄像头20拍摄的2d平面图像转换成3d的立体姿态参数即第二姿态参数。如此，在当前用户点选虚拟眼镜素材后，3d引擎才能根据第二姿态参数和虚拟眼镜素材对第二图像进行虚拟眼镜渲染处理。随后当前用户在智能镜子100中看到自己戴上眼镜后的3d立体展示效果。当前用户头部及眼睛运动后，虚拟眼镜也能随头部实时运动，从而实现虚拟眼镜与眼睛部分的精确匹配。如图22所示，用户点选的虚拟眼镜素材为粗框黑色眼镜，智能镜子100显示用户佩戴该粗框黑色眼镜后的图像。用户头部旋转时，该粗框黑色眼镜同样能与用户的眼部精确匹配。如此，用户可参考虚拟眼镜渲染处理后的效果选择合适自己的眼镜的款式进行佩戴，进一步增加智能镜子100的使用功能和实用性。同时也可增加智能镜子100使用的趣味性。

在某些实施方式中，获得的虚拟眼镜渲染特征点也可与通用3d人脸模型库中的某一通用3d人脸模型进行匹配以获取3d的立体姿态参数。其中，通用3d人脸模型库中存储有不同形状的通用3d人脸。如此，可根据不同用户的头部、脸部、五官等的差异性选取不同的通用3d人脸模型进行匹配，从而提升3d立体姿态参数的准确度以进一步优化虚拟眼镜渲染的效果，使虚拟眼镜与用户眼部的匹配更精确。

请参阅图23，在某些实施方式中，交互包括对第二图像进行虚拟发型渲染处理，智能镜子100包括3d引擎、通用3d人脸模型和虚拟发型素材库。步骤s18根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息包括：

s1871：处理第二图像以获取当前用户的虚拟发型渲染人脸区域；

s1872：处理虚拟发型渲染人脸区域以获取虚拟发型渲染人脸区域的虚拟发型渲染特征点；

s1873：根据3d人脸模型和虚拟发型渲染特征点获取当前用户的第三姿态参数；

s1874：根据当前用户的输入确定虚拟发型素材；和

s1875：控制3d引擎根据第三姿态参数和虚拟发型素材对第二图像进行虚拟发型渲染处理。

请再参阅图5和图19，在某些实施方式中，交互装置18包括获取单元183、第二确认单元181和第四处理单元182。步骤s1871可以由第一处理单元141实现，步骤s1872可以由第二处理单元142实现，步骤s1873可以由获取单元183实现，步骤s1874可以由第二确认单元181实现，步骤s1875可以由第四处理单元182实现。

也即是说，第一处理单元141还用于处理第二图像以获取当前用户的虚拟发型渲染人脸区域；第二处理单元142还用于处理虚拟发型渲染人脸区域以获取虚拟发型渲染人脸区域的虚拟发型渲染特征点；获取单元184用于根据3d人脸模型和虚拟发型渲染特征点获取当前用户的第三姿态参数；第二确认单元181用于根据当前用户的输入确定虚拟发型素材；第四处理单元182用于控制3d引擎根据第三姿态参数和虚拟发型素材对第二图像进行虚拟发型渲染处理。

具体地，对第二图像进行虚拟发型渲染处理指的是对第二图像中的人物进行虚拟发型佩戴，虚拟发型可跟随人物头部的动作而动作。虚拟发型素材库包括多种不同造型及颜色的虚拟发型素材。虚拟发型渲染特征点主要包括当前用户的头部部分。虚拟发型渲染姿态参数包括头部的运动情况。通用3d人脸模型与虚拟发型渲染特征点的匹配用于将摄像头20拍摄的2d平面图像转换成3d的立体姿态参数即第三姿态参数。如此，在当前用户点选虚拟发型素材后，3d引擎才能根据第三姿态参数和虚拟发型素材对第二图像进行虚拟发型渲染处理。随后当前用户可在智能镜子100中看到试戴虚拟发型的3d立体展示效果。当前用户头部运动后，虚拟发型也能随头部实时运动，从而实现虚拟发型与头部的精确匹配。如图24所示，当前用户点选的虚拟发型素材为短发，智能镜子100显示用户戴上该款短发后的图像。用户头部旋转时，该款短发同样能与用户的头部精确匹配。如此，用户可参考虚拟发型渲染处理后的效果选择合适自己的发型风格，同时增加了智能镜子100的实用性和使用的趣味性。

在某些实施方式中，获得的虚拟发型渲染特征点也可与通用3d人脸模型库中的某一通用3d人脸模型进行匹配以获取3d的立体姿态参数。其中，通用3d人脸模型库中存储有不同形状的通用3d人脸。如此，可根据不同用户的头部、脸部、五官等的差异性选取不同的通用3d人脸模型进行匹配，从而提升3d立体姿态参数的准确度以进一步优化虚拟发型渲染的效果，使虚拟发型与用户头部的匹配更精确。

请参阅图25，在某些实施方式中，交互还包括对当前用户提供日常生活护理指导。步骤s18根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息包括：

s188：根据用户的输入为当前用户提供日常生活护理指导。

请参阅图26，在某些实施方式中，交互装置18还包括指导单元185。步骤s188可以由指导单元185实现。

也即是说，指导单元185用于根据用户的输入为当前用户提供日常生活护理指导。

具体地，日常生活护理指导包括教导用户如何正确刷牙、正确洗脸、进行脸部按摩等。如图27所示，当用户点选刷牙的日常生活护理指导内容时，智能镜子100会以视频或图片的形式进行刷牙的日常生活护理指导内容的显示。如此，增加了智能镜子100的实用性。

需要说明的是，上述实施例中，萌颜处理、虚拟试妆、2d面具渲染处理、3d卡通形象渲染处理、虚拟眼镜渲染处理、虚拟发型渲染处理中的第二确认单元181是一样的。也即是说，第二确认单元可以执行步骤s1813、步骤s1833、步骤s1843、步骤s1854、步骤s1865、和/或步骤s1874的内容。萌颜处理、美颜处理、虚拟试妆、2d面具渲染处理、3d卡通形象渲染处理、虚拟眼镜渲染处理、虚拟发型渲染处理中的第四处理单元182是一样的。也即是说，第四处理单元182可以执行步骤s1814、步骤s1823、步骤s1834、步骤s1844、步骤s1855、步骤s1865和/或步骤s1875的内容。

此外，本发明实施方式的控制方法、控制器10和智能镜子100可同时或先后执行萌颜处理、虚拟试妆、2d面具渲染处理、3d卡通形象渲染处理、虚拟眼镜渲染处理或虚拟发型渲染处理中的一种或几种。例如，控制器10可同时对第二图像进行萌颜处理、美颜处理、3d卡通形象渲染处理。控制器10也可对第二图像进行以美颜处理、虚拟试妆、虚拟眼镜渲染处理、虚拟发型渲染处理为先后顺序的图像处理。在某些实施方式中，各个图像处理方式的处理顺序可随意更换。

请参阅图28，本发明实施方式的智能镜子100包括一个或多个处理器30、存储器40以及一个或多个程序41。其中，一个或多个程序41被存储在存储器40中，并且被配置由一个或多个处理器30执行。程序41包括用于执行上述任一实施方式的控制方法的指令。

例如，程序41包括用于执行以下步骤的指令：

s12：控制摄像头20拍摄当前用户；

s14：判断当前用户是否为注册用户；

s16：在当前用户为注册用户时，控制当前用户登录智能镜子100；和

s18：根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息。

本发明实施方式的计算机可读存储介质包括与能够显示画面的电子装置结合使用的计算机程序。计算机程序可被处理器执行以完成上述任一实时方式所述的控制方法。

例如，处理器可用于执行以下步骤：

s12：控制摄像头20拍摄当前用户；

s14：判断当前用户是否为注册用户；

s16：在当前用户为注册用户时，控制当前用户登录智能镜子100；和

s18：根据当前用户的输入控制智能镜子100与当前用户产生交互并输出交互信息。

综上所述，本发明实施方式的控制方法、控制器10、智能镜子100和计算机可读存储介质可为注册用户提供包括萌颜处理、美颜处理、虚拟试妆、2d面具渲染处理、3d卡通形象渲染处理、虚拟眼镜渲染处理、虚拟发型渲染处理、日常生活护理指导等多种互动功能。如此，智能镜子100的使用功能增加，实用性更高，智能镜子100使用的趣味性及用户的使用体验也得到提升。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。