智能化妆镜及其智能化妆方法与流程

1.本发明涉及化妆用设备技术领域，尤其涉及一种智能化妆镜，还涉及该智能化妆镜使用的智能化妆方法。


背景技术：

2.随着科技的不断发展和进步，越来越多的智能产品被开发并应用到人们的工作、生活中来，智能化妆镜便是其中一种，它是由镜显玻璃、摄像头、数据处理器等结构组成，能够通过采集用户的面部数据并模拟化妆后的效果，使用方便快捷，减少了大量的试装时间，提高了化妆效率，受到了广大用户的喜爱。但目前市面上销售的智能化妆镜技术尚不成熟，普遍是通过采集用户静态面部影像后，先在后台生成化妆效果，然后投放在与镜面分体或直接覆盖/替代镜面的显示器上的，因此客户只可单一地选择观看显示器上所呈现的影像，或直接关闭显示器使其恢复镜面功能或状态，而无法实时有效地以混合虚拟与现实的方式，在整个化妆过程中进行实时全程观察，以获得准确的妆容对比以及化妆过程的指导。


技术实现要素：

3.本发明所要解决的技术问题是提供一种能够有效地以混合虚拟与现实的方式，在整个化妆过程中实时全程观察，以获得准确的妆容对比以及化妆过程指导的智能化妆镜。
4.为解决上述技术问题，本发明的技术方案是：智能化妆镜，包括：
5.现实镜像层，为具有反射率和透光率的镜面，通过反射呈现用户的面部现实影像；
6.虚拟显像层，为设置在所述现实镜像层后部的电子显示设备，用于显示用户化妆过程的妆容虚拟影像，所述妆容虚拟影像透过所述现实镜像层呈现给用户；
7.影像采集模块，布置于所述现实镜像层的周边和/或所述现实镜像层的后部，用于实时采集用户的面部特征影像数据；
8.中央处理器，连接有供用户选择的妆容数据库；所述中央处理器设有将所述影像采集模块的数据进行处理并获得用户面部3d虚拟模型的用户面部3d虚拟模型生成模块，所述中央处理器还设有将用户选定的妆容方案与所述用户面部3d虚拟模型调整匹配生成用户妆容虚拟影像的妆容虚拟影像模块；所述中央处理器设有通过所述影像采集模块实时获取用户在所述现实镜像层上的所述用户的面部现实影像的实时位置模块，所述中央处理器将所述用户妆容虚拟影像通过所述虚拟显像层显示至所述用户的面部现实影像的实时位置上，实现所述用户妆容虚拟影像叠加在所述用户的面部现实影像上构成用户视觉画面；
9.所述中央处理器设有根据用户指令调整所述虚拟显像层和/或调整所述用户妆容虚拟影像明亮度的明亮度调整模块；所述中央处理器的输出端还设有照明模块，所述照明模块布置于所述现实镜像层的周边和/或所述现实镜像层的后部，用于给用户面部补光，实现调整所述现实镜像层反射的所述用户的面部现实影像的明亮度；所述明亮度调整模块和所述照明模块配合实现所述用户的面部现实影像和所述用户妆容虚拟影像的亮度比例调整，获得用户肉眼所观看到的化妆指导画面，所述化妆指导画面是由完全透射光、透射光主
导、透射光与反射光混合、反射光主导或完全反射光构成的所述用户视觉画面；
10.所述中央处理器的输入端还设有命令输入模块、语音交互模块、网络连接模块和数据存储模块。
11.作为优选的技术方案，所述现实镜像层设置为镜显玻璃、单面镜、同时具有透光性和反光性的玻璃层或同时具有透光性和反光性的亚克力层。
12.作为优选的技术方案，所述电子显示设备为显像屏幕、显像涂层、显像膜或投影设备。
13.作为优选的技术方案，所述影像采集模块设置为角度可调节式光学摄像头、红外线摄像头、测距仪、毫米波雷达和/或激光扫描器。
14.作为优选的技术方案，所述中央处理器信号连接有远程服务器，所述妆容数据库设置在所述中央处理器上和/或所述远程服务器上。
15.作为优选的技术方案，所述数据存储模块设置为与所述中央处理器连接的本地存储器和/或与所述远程服务器连接的远程存储器。
16.作为优选的技术方案，所述妆容虚拟影像模块生产的所述用户妆容虚拟影像包括化妆效果虚拟影像、分步骤化妆虚拟影像和分区域化妆虚拟影像。
17.作为优选的技术方案，所述命令输入模块包括触摸输入、按键输入、语音输入、手势输入、眼球追踪输入和/或智能手机app输入。
18.作为优选的技术方案，所述中央处理器还包括化妆效果比对评价模块。
19.本发明还涉及该智能化妆镜的智能化妆方法，包括以下步骤：
20.sp1、用户身份信息采集
21.用户首次使用时，所述中央处理器通过所述命令输入模块、所述语音交互模块和/或所述网络连接模块，以问答的方式采集用户的性别、年龄、喜好信息并进行存储，建立用户身份档案；
22.sp2、用户面部信息库建档
23.sp
2-1
、利用所述中央处理器控制所述照明模块以不同角度、亮度和/或颜色照射用户的面部，并通过所述影像采集模块采集用户的面部特征影像数据并传输至所述中央处理器，结合所述照明模块光线反射的数据并利用所述用户面部3d虚拟模型生成模块生成所述用户面部3d虚拟模型，并存储于所述中央处理器内；
24.sp
2-2
、所述中央处理器根据所述影像采集模块采集到的用户的面部特征影像数据，分析用户的皮肤状态，判断用户当前皮肤所处的年龄段，并与sp1步骤建立的用户身份档案中用户的实际年龄进行对比，将对比结果、所述用户面部3d虚拟模型与所述用户身份档案一并存储，获得用户面部信息库；
25.sp3、推送妆容方案与试妆
26.sp
3-1
、所述中央处理器根据所述用户面部信息库中的信息，为客户推送所述妆容方案并投放至所述电子显示设备进行显示，以供用户查看和选择；
27.sp
3-2
、用户通过所述命令输入模块、所述语音交互模块和/或所述网络连接模块查阅所述电子显示设备显示的所述妆容方案并选择；
28.sp
3-3
、所述中央处理器接收到用户选择的所述妆容方案指令，将所述妆容方案利用所述妆容虚拟影像模块与所述用户面部3d虚拟模型进行调整匹配生成贴合用户面部结
构的化妆效果虚拟影像，所述中央处理器将所述化妆效果虚拟影像输送至所述电子显示设备进行显示，以供用户预览；
29.sp
3-4
、用户预览所述用户妆容虚拟影像后获知化妆效果，对化妆效果满意的可作为选定妆容方案，开始实施化妆；
30.sp
3-5
、用户在该过程中与其他用户所分享内容的交互将会被列入到分析用户喜好的数据库中，从而更精准推送用户心仪妆容；
31.sp4、分步化妆与指导
32.sp
4-1
、所述中央处理器将所述选定妆容方案按照化妆步骤进行拆解形成分步骤化妆虚拟影像，并将所述分步骤化妆虚拟影像投放到所述电子显示设备上进行显示，用户根据所述分步骤化妆虚拟影像实施妆容过程；
33.sp
4-2
、所述中央处理器通过所述实时位置模块和所述影像采集模块配合，获取用户在所述现实镜像层上的所述用户的面部现实影像的实时位置，所述中央处理器将所述分步骤化妆虚拟影像通过所述电子显示设备实时显示至所述用户的面部现实影像的实时位置上，获得将所述分步骤化妆虚拟影像与所述用户的面部现实影像实时叠加构成的所述用户视觉画面，所述中央处理器通过所述电子显示设备实时显示所述用户视觉画面，用户通过所述用户视觉画面获知实时化妆效果，并按步骤实施化妆；
34.sp
4-3
、在用户实施化妆过程时，所述中央处理器通过所述影像采集模块实时追踪用户眼球，并动态分析用户视觉焦点区域；用户可通过所述中央处理器和所述照明模块选择性地调整视觉焦点区域内，所述现实镜像层反射的所述用户的面部现实影像的明亮度，通过所述中央处理器和所述明亮度调整模块选择性地调整视觉焦点区域内所述电子显示设备和/或调整所述分步骤化妆虚拟影像的明亮度形成分区域化妆虚拟影像，实现视觉焦点区域内局部所述用户的面部现实影像和所述分区域化妆虚拟影像的亮度比例调整，获得用户肉眼所观看到的化妆指导画面；
35.sp
4-4
、在用户实施化妆过程中，所述影像采集模块实时采集用户面部颜色变化及当前妆容影像数据并传送至所述中央处理器，所述中央处理器根据当前妆容影像数据所述分步骤化妆虚拟影像进行实时对比，分析化妆差异，对用户进行在线提示与指导；
36.sp
4-5
、用户每完成一步骤的妆容，用户通过所述命令输入模块、所述语音交互模块和/或所述网络连接模块发送指令，进入下一步骤的妆容操作；
37.sp
4-6
、化妆完毕，所述影像采集模块采集用户化妆后的面部特征影像数据存储在所述中央处理器内，并在所述中央处理器内形成化妆后的所述用户的面部现实影像，所述化妆效果比对评价模块将化妆后的所述用户的面部现实影像与所述化妆效果虚拟影像进行对比，并根据对比结果生产化妆对比评价，并连同用户的化妆过程一并存储到所述用户面部信息库中。
38.由于采用了上述技术方案，本发明具有以下有益效果：通过中央处理器与影像采集模块、照明模块的配合，精准地采集用户的面部信息，并为用户建立妆容档案；先通过用户的面部影像，判断用户的皮肤状态，为用户推荐多种妆容方案以供用户选择；用户选定妆容方案后，依次按照中央处理器内的拆解步骤完成化妆并与化妆效果虚拟影像实时比对，获得在线指导，使用户的化妆效果尽量接近虚拟显像层展示的化妆效果，以提高用户的化妆效率，节约用户的化妆时间。
附图说明
39.以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。
40.其中：
41.图1是本发明实施例中央处理器外围部件的简易连接框图；
42.图2是本发明实施例的工作流程图。
具体实施方式
43.下面结合附图和实施例，进一步阐述本发明。在下面的详细描述中，只通过说明的方式描述了本发明的某些示范性实施例。毋庸置疑，本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。
44.如图1所示，智能化妆镜，包括现实镜像层、虚拟显像层、中央处理器、影像采集模块和照明模块等，可以实现妆容方案选择、在化妆前获得化妆效果、在化妆过程中获得化妆指导等，以提高用户的化妆效率，节约用户的化妆时间。其中，所述现实镜像层为具有反射率和透光率的镜面，通过反射呈现用户的面部现实影像，可以设置为镜显玻璃、单面镜、任何同时具有透光性和反光性的玻璃层、任何同时具有透光性和反光性的亚克力层、任何同时具有透光性和反光性的任何材质等构成。两者均具有现实影像成像功能，仅透光性能与反射性能稍有区别，具体如下表所示：
45.名称透光率反射率单面镜10％90％镜显玻璃30％70％
46.所述虚拟显像层为设置在所述现实镜像层后部的电子显示设备，用于显示用户化妆过程的妆容虚拟影像，所述妆容虚拟影像透过所述现实镜像层呈现给用户，所述电子显示设备可以设置为显像屏幕、显像涂层、显像膜或投影设备。如设置为所述显像屏幕，由lcd屏幕、背光、展示色彩的lvds/rgb、电容触摸等构成，为本技术领域普通技术人员所熟知的内容，在此不再详细描述。所述影像采集模块布置于所述现实镜像层的周边和/或所述现实镜像层的后部，用于实时采集用户的面部特征影像数据，可以设置为角度可调节式光学摄像头、红外线摄像头、测距仪、毫米波雷达、激光扫描器和/或等其他可提供成像或景深信息的采集设备，设置数量可以根据具体使用情况而定。所述中央处理器连接有供用户选择的妆容数据库，所述中央处理器信号连接有远程服务器，所述妆容数据库设置在所述中央处理器上和/或所述远程服务器上，实现远所述程服务器内所述妆容数据库的共享使用。所述中央处理器上设有电源连接模块，所述电源连接模块用于为所述中央处理器提供工作电压，一般其工作电压为12v直流电压。
47.所述中央处理器设有将所述影像采集模块的数据进行处理并获得用户面部3d虚拟模型的用户面部3d虚拟模型生成模块，所述中央处理器还设有将用户选定的妆容方案与所述用户面部3d虚拟模型调整匹配生成用户妆容虚拟影像的妆容虚拟影像模块。在本实施例的整个使用过程中，所述妆容虚拟影像模块生产的所述用户妆容虚拟影像包括化妆效果虚拟影像、分步骤化妆虚拟影像和分区域化妆虚拟影像。在化妆前，用户先进行妆容方案选择，此时所述妆容虚拟影像模块将用户选定的妆容方案与所述用户面部3d虚拟模型进行调
整匹配，生成所述化妆效果虚拟影像，以供用户预览化妆效果；在化妆过程中，所述妆容虚拟影像模块将用户选定的妆容方案与所述用户面部3d虚拟模型进行调整匹配，生成所述分步骤化妆虚拟影像，便于用户预览每步对应的化妆效果；另外在化妆过程中，所述妆容虚拟影像模块将用户选定的妆容方案与所述用户面部3d虚拟模型进行调整匹配，生成所述分区域化妆虚拟影像，以便于用户实时获知化妆情况，并根据指导进行及时调整或修改。
48.所述中央处理器设有通过所述影像采集模块实时获取用户在所述现实镜像层上的所述用户的面部现实影像的实时位置模块，所述中央处理器将所述用户妆容虚拟影像通过所述虚拟显像层显示至所述用户的面部现实影像的实时位置上，实现所述用户妆容虚拟影像叠加在所述用户的面部现实影像上构成用户视觉画面。在化妆过程中，通过所述实时位置模块和所述影像采集模块的配合，保证所述分步骤化妆虚拟影像和所述分区域化妆虚拟影像能够实时与所述用户的面部现实影像准确叠加，以便于化妆的顺利进行。
49.所述中央处理器设有根据用户指令调整所述虚拟显像层和/或调整所述用户妆容虚拟影像明亮度的明亮度调整模块；所述中央处理器的输出端还设有照明模块，所述照明模块设置为补光灯，具体布置于所述现实镜像层的周边和/或所述现实镜像层的后部，用于给用户面部补光，实现调整所述现实镜像层反射的所述用户的面部现实影像的明亮度；所述明亮度调整模块和所述照明模块配合实现所述用户的面部现实影像和所述用户妆容虚拟影像的亮度比例调整，获得用户肉眼所观看到的化妆指导画面，所述化妆指导画面是由完全透射光、透射光主导、透射光与反射光混合、反射光主导或完全反射光构成的所述用户视觉画面，即所述化妆指导画面的透射光和反射光比例为0:100-100:0无限种搭配方式。
50.所述中央处理器的输入端还设有命令输入模块、语音交互模块、网络连接模块和数据存储模块。其中，所述命令输入模块包括触摸输入、按键输入、语音输入、手势输入、眼球追踪输入和/或智能手机app输入，即按键、遥控、app等。其中所述眼球追踪输入是通过追踪用户的眼球聚焦区域来确定用户的光标位置，多用于vr技术中，即在所述虚拟显像层上显示虚拟按键。在使用时，用户在所述实镜像层前盯着虚拟按键超过设定的时间如5秒，所述中央处理器就会判定为用户在实施按键操作，所述中央处理器便控制响应相应的指令，使用户可以解放双手专门实施化妆，使用更加方便。
51.所述数据存储模块设置为与所述中央处理器连接的本地存储器(如tf卡村塾)，和/或与所述远程服务器连接的远程存储器(如4g的sim卡)。所述语音交互模块包括用于收音的麦克风和用于放音的喇叭，通过audio codec音讯解码器、12s与所述中央处理器连接。所述网络连接模块包括基于wifi、5g等技术的无线通信接口，所述中央处理器还连接有基于usb接口的有线通信接口，通过上述无线通信接口或线通信接口实现外部设备以及网络连接。所述补光灯、各摄像头及相应的sensor可以通过mipi与所述中央处理器连接，同时所述中央处理器通过mipi来控制所述补光灯。所述中央处理器还包括化妆效果比对评价模块，用于反馈化妆结果以及意见。
52.本实施例中，所述妆容数据库包括预存于所述中央处理器内的若干妆容方案、用户自主录入的妆容方案和/或调用同领域平台分享的妆容方案，且各妆容方案的拆解化妆步骤中均对应设有超级链接，以供用户选用。通过所述超级链接能够可以获知相应妆容方案中所使用的化妆品的名称、型号以及购买链接等，以帮助用户快速了解相关信息，以便于用户选择购买，避免用户自行查找而浪费过多的时间和精力。
53.如图2所示，本实施例还涉及该智能化妆镜的智能化妆方法，包括以下步骤：
54.sp1、用户身份信息采集
55.用户首次使用时，所述中央处理器通过所述命令输入模块、所述语音交互模块和/或所述网络连接模块，以问答的方式采集用户的性别、年龄、喜好、所在地、环境等信息并进行存储，建立用户身份档案。
56.sp2、用户面部信息库建档
57.sp
2-1
、利用所述中央处理器控制所述照明模块以不同角度、亮度和/或颜色照射用户的面部，并通过所述影像采集模块采集用户的面部特征影像数据并传输至所述中央处理器，即通过所述角度可调节式光学摄像头或所述红外线摄像头等采集用户面部影像，结合所述照明模块光线反射的数据并利用所述用户面部3d虚拟模型生成模块生成所述用户面部3d虚拟模型，并存储于所述中央处理器内。
58.sp
2-2
、所述中央处理器根据所述影像采集模块采集到的用户的面部特征影像数据，分析用户的皮肤状态，判断用户当前皮肤所处的年龄段，并与sp1步骤建立的用户身份档案中用户的实际年龄进行对比，将对比结果、所述用户面部3d虚拟模型与所述用户身份档案一并存储，获得用户面部信息库。
59.sp3、推送妆容方案与试妆
60.sp
3-1
、所述中央处理器根据所述用户面部信息库中的信息，主要通过用户肤色、区域环境、喜好等维度综合大数据进行筛选，为客户推送所述妆容方案并投放至所述电子显示设备进行显示，以供用户查看和选择。所述中央处理器投放或推送化妆方案可由运营方预设，也可由用户自主录入，或通过平台其他用户分享等构成。
61.sp
3-2
、用户通过所述命令输入模块、所述语音交互模块和/或所述网络连接模块(如智能手机上安装匹配使用的app)查阅所述电子显示设备显示的所述妆容方案并选择一个或多个心仪的妆容方案，进行试妆选择。
62.sp
3-3
、所述中央处理器接收到用户选择的所述妆容方案指令，将所述妆容方案利用所述妆容虚拟影像模块与所述用户面部3d虚拟模型进行调整匹配生成贴合用户面部结构的化妆效果虚拟影像，所述中央处理器将所述化妆效果虚拟影像输送至所述电子显示设备进行显示，以供用户预览。
63.sp
3-4
、用户预览所述用户妆容虚拟影像后获知化妆效果，对化妆效果满意的可作为选定妆容方案，开始实施化妆。
64.sp
3-5
、用户在该过程中与其他用户所分享内容的交互将会被列入到分析用户喜好的数据库中，从而更精准推送用户心仪妆容。
65.sp4、分步化妆与指导
66.sp
4-1
、所述中央处理器将所述选定妆容方案按照化妆步骤进行拆解形成分步骤化妆虚拟影像，并将所述分步骤化妆虚拟影像投放到所述电子显示设备上进行显示，用户根据所述分步骤化妆虚拟影像实施妆容过程。即所述妆容方案由组成该妆容的所有化妆拆解步骤和/或整体录入，效果可由真实操作(如运用此产品，由专业摄影配置或其他达标摄影场景内)或软件特效分步制作并录入。
67.sp
4-2
、所述中央处理器通过所述实时位置模块和所述影像采集模块配合，获取用户在所述现实镜像层上的所述用户的面部现实影像的实时位置，所述中央处理器将所述分
步骤化妆虚拟影像通过所述电子显示设备实时显示至所述用户的面部现实影像的实时位置上，获得将所述分步骤化妆虚拟影像与所述用户的面部现实影像实时叠加构成的所述用户视觉画面，所述中央处理器通过所述电子显示设备实时显示所述用户视觉画面，用户通过所述用户视觉画面获知实时化妆效果，并按步骤实施化妆。
68.sp
4-3
、在用户实施化妆过程时，所述中央处理器通过所述影像采集模块实时追踪用户眼球，并动态分析用户视觉焦点区域；用户可通过所述中央处理器和所述照明模块选择性地调整视觉焦点区域内，所述现实镜像层反射的所述用户的面部现实影像的明亮度，通过所述中央处理器和所述明亮度调整模块选择性地调整视觉焦点区域内所述电子显示设备和/或调整所述分步骤化妆虚拟影像的明亮度形成分区域化妆虚拟影像，实现视觉焦点区域内局部所述用户的面部现实影像和所述分区域化妆虚拟影像的亮度比例调整，获得用户肉眼所观看到的化妆指导画面。
69.sp
4-4
、在用户实施化妆过程中，所述影像采集模块实时采集用户面部颜色变化及当前妆容影像数据并传送至所述中央处理器，所述中央处理器根据当前妆容影像数据所述分步骤化妆虚拟影像进行实时对比，分析化妆差异，对用户进行在线提示与指导。
70.sp
4-5
、用户每完成一步骤的妆容，用户通过所述命令输入模块、所述语音交互模块和/或所述网络连接模块发送指令，即通过按键、遥控、app等，进入下一步骤的妆容操作。
71.sp
4-6
、化妆完毕，所述影像采集模块采集用户化妆后的面部特征影像数据存储在所述中央处理器内，并在所述中央处理器内形成化妆后的所述用户的面部现实影像，所述化妆效果比对评价模块将化妆后的所述用户的面部现实影像与所述化妆效果虚拟影像进行对比，并根据对比结果生产化妆对比评价，并连同用户的化妆过程一并存储到所述用户面部信息库中。
72.本实施例还包括以下步骤：sp5、用户完成妆容后，包括运营方预设的、用户自主录入的或通过平台其他用户分享的妆容方案，可通过所述影像采集模块进行拍照截屏，并分享到用户平台上，以供其他用户分享或试用。
73.sp6、在所述虚拟显像层显示的各层化妆拆解步骤中，用户或平台方可同时录入被使用化妆品信息，均对应显示有所用化妆产品名称、型号以及对应的购买链接或在线试用链接。所述中央处理器可通过分析用户的喜好，进行精准推送，用户在选定心仪妆容的同时可同步了解到内部产品信息，且可通过购买链接进行购买或通过在线试用链接进行试用。
74.本发明通过中央处理器与影像采集模块、照明模块的配合，精准地采集用户的面部信息，并为用户建立妆容档案；先通过用户的面部影像，判断用户的皮肤状态，为用户推荐多种妆容方案以供用户选择；用户选定妆容方案后，依次按照中央处理器内的拆解步骤完成化妆并与化妆效果虚拟影像实时比对，获得在线指导，使用户的化妆效果尽量接近虚拟显像层展示的化妆效果，以提高用户的化妆效率，节约用户的化妆时间。
75.本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。