一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法与流程

本发明涉及美妆护肤镜领域，更具体地说是一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法。

背景技术：

1、在现代社会，美妆护肤已经成为人们生活中重要的一部分。然而由于每个人的面部特征和肤质不同，一套化妆和护肤方案并不适用于所有人。因此，为了满足用户的个性化需求，发展一种能够为用户提供个性化指导和推荐的美妆技术尤为重要。

2、现有的美妆护肤镜功能单一，智能化功能极少，难以满足用户的诸多需求。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供一种基于人工智能识别和增强现实技术ar的美妆护肤镜。

2、本发明技术方案如下：

3、一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，包括硬件和美妆护肤方法两部分；所述硬件部分包括智能的镜面触摸屏、用于获取图像的前置摄像头、用于处理模型算法的中央处理器、以及存储数据和软件应用的云服务器；所述中央处理器分别连接镜面触摸屏和前置摄像头，并通过网络连接云服务器，详见图1。

4、所述美妆护肤方法部分提出了一种基于人工智能识别、增强现实技术和数据挖掘的化妆和美容护肤的综合方法，本发明的软件部分提出了一种基于人工智能识别技术、增强现实技术ar的化妆方法，以及用数据挖掘技术根据不同用户的肤质和商品数据，精准推荐合适的美妆护肤品的方法。

5、用于实现上妆的个性化指导和美容护肤产品推荐；方法如下：

6、通过人脸和五官识别技术，准确标识出人脸五官与面颊等部位；在镜面人脸图像上，增强现实技术可以在标识出的人脸五官等部位实时展示化妆的每个步骤，包括唇妆、眼妆、画眉等，以及不同妆系的上妆分步展示，如日常清淡妆、晚会妆、欧美妆等；并通过视觉模型算法评估皮肤的老化程度、色素沉着以及干燥缺水程度；同时本研究还基于数据挖掘技术，通过采集分析电商的美容护肤产品数据，最后在云服务器端建立美肤数据库和护肤数据库，用来进行美妆产品和护肤产品的针对性商品推荐，详见图2。

7、整体方法流程为：检测人脸识别--五官特征识别，然后分别进入步骤一和步骤二，

8、步骤一：用ar增强现实技术，在标识的人脸五官与面颊等部位实现实时的化妆步骤展示；

9、步骤二：用tensorflow多分类模型判断面部肌肤的水分、皱纹、色素等情况；

10、步骤三：建立护肤产品数据库和美妆产品数据库，通过数据采集等方式按照各种成分、功效进行美妆品、护肤品的推荐，并记录皮肤变化曲线。

11、所述人脸识别与五官识别的具体方法为：

12、利用opencv自带函数识别出人脸后，用dlib、opencv和python组成的面部标志预测器自动标识如用户的眉毛、眼睛、嘴唇、鼻子和脸颊等面部区域。

13、首先将面部标志(x,y)坐标映射到特定的面部区域。通过已标记的数据集ibug300-w训练形状预测器获得68个点映射，在dlib中生成了68个(x,y)坐标，将这些坐标映射到特定的面部结构。通过python索引访问每个面部区域，并使用imutils库中的face_utils模块的facial_landmarks_idxs字典来编码这些映射。最后通过循环每个检测到的人脸roi，确定每个面部区域的面部标志，并将这些标志绘制在图像上，详见图3。

14、还包括：利用增强现实技术实时展示化妆的每个步骤，具体如下：

15、通过增强现实技术(ar)，在视频图像检测的人脸五官等部位上实时展示化妆的每个步骤，包括唇妆、眼妆、画眉等。此外通过增强现实技术，还能展示多种不同妆系的上妆分步展示，如日常清淡妆、晚会妆、欧美妆等，并且设置可调节的化妆时长。用户可以根据自己的喜好和需求，选择合适的妆容。

16、还包括：采用人工智能视觉识别技术评估用户的肤质状态，包括老化程度、色素沉着以及干燥程度，具体如下：

17、肌肤的老化程度、色素沉着以及干燥程度，是皮肤分析的三大重要特征。本发明使用tensorflow建立多分类模型，实现皮肤分析。主要包括数据集构建、深度学习模型设计和训练模型三个关键步骤。在数据集构建阶段，通过收集大量的皮肤图像，将其进行标注和数据预处理，分别对图像的老化程度、色素沉着和干燥缺水程度进行多分类多标签标记评级。在深度学习模型设计阶段，选择适用于图像分类任务的卷积神经网络(cnn)，对老化程度、色素沉着和干燥缺水程度的肌肤特性，建立多分类模型。并使用vggnet或resnet等作为基础模型提取皮肤特征。通过对cnn模型级联、调整和参数优化，获取皮肤分析的三大特征。使用标记后的图像数据集在模型训练阶段，进行多分类预测训练，并利用反向传播算法优化模型参数，使其能够学习到合适的特征表示和判定规则，判断出皮肤的老化程度、色素沉着和干燥缺水程度。如图4所示。

18、还包括在云端服务器搭建数据系统，实现美妆护肤产品的精准推荐，具体如下：

19、为了实现产品的个性化推荐，在云端服务器搭建数据系统，通过采集电商的美妆与护肤品数据，进行自然语言处理和图形色彩识别，建立美肤数据库和护肤数据库。利用美妆护肤镜系统，获取的用户的肤色和肌肤特征，针对性地推荐适合的美妆产品和护肤产品，通过镜面的触摸屏触达客户。如图5所示。

20、本发明的技术效果和优点：

21、本研究提出了一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，旨在为用户提供个性化化妆指导和产品推荐。研究表明，本发明可以准确识别用户的面部特征，并评估肤质的状态。此外，增强现实技术能够有效地展示化妆步骤和不同妆系的上妆分步展示。最重要的是，个性化产品推荐系统能够根据用户的肤质需求和喜好，精准推荐合适的美妆产品和护肤产品。

技术特征：

1.一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，其特征在于：包括硬件和美妆护肤方法两部分；所述硬件部分包括智能的镜面触摸屏、用于获取图像的前置摄像头、用于处理模型算法的中央处理器、以及存储数据和软件应用的云服务器；所述中央处理器分别连接镜面触摸屏和前置摄像头，并通过网络连接云服务器；

2.根据权利要求1所述的一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，其特征在于：整体方法流程为：检测人脸识别--五官特征识别，然后分别进入步骤一和步骤二，

3.根据权利要求1所述的一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，其特征在于：所述人脸识别与五官识别的具体方法为：

4.根据权利要求1所述的一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，其特征在于：还包括：利用增强现实技术实时展示化妆的每个步骤，具体如下：

5.根据权利要求1所述的一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，其特征在于：还包括：采用人工智能视觉识别技术评估用户的肤质状态，包括老化程度、色素沉着以及干燥程度，具体如下：

6.根据权利要求1所述的一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，其特征在于：还包括在云端服务器搭建数据系统，实现美妆护肤产品的精准推荐，具体如下：

技术总结
本发明公开了一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法，包括硬件和美妆护肤方法两部分；所述硬件部分包括智能的镜面触摸屏、用于获取图像的前置摄像头、用于处理模型算法的中央处理器、以及存储数据和软件应用的云服务器；所述中央处理器分别连接镜面触摸屏和前置摄像头，并通过网络连接云服务器。所述美妆护肤方法部分提出了一种基于人工智能识别技术、增强现实技术AR的化妆方法，以及用数据挖掘技术根据不同用户的肤质，精准推荐合适的美妆护肤品的方法。

技术研发人员：王蕊
受保护的技术使用者：王蕊
技术研发日：
技术公布日：2024/1/16