一种试戴口罩的虚拟智能显现系统

1.本发明涉及一种试戴口罩的虚拟智能显现系统，特别是涉及一种试戴口罩的虚拟智能显现系统。


背景技术：

2.口罩是防疫防护的重要手段之一。随着疫情的出现，口罩也更多出现在各家各户。过去，口罩只有单一的蓝色款式，现在逐渐浮现出同样具有防护功能的印花口罩，口罩的装饰作用开始显现。如同衣服一样，不同颜色、花纹、款式的口罩在不同的消费者身上会显示出不同的效果。传统口罩消费业由于口罩本身的无菌需求使得消费者无法进行试戴。如何轻松试戴，选择更适合自己的口罩款式仍然是口罩消费业的难题。
3.口罩在具有本身的防疫功能之外，逐渐显现出装饰作用，被越来越多的人当成小饰品。形形色色的口罩中选取适合自己的一款最快的办法就是都试戴一遍，最终通过对比完成挑选。但是口罩的无接触销售是一道不可逾越的关卡，而将所有样式口罩都买下并试戴，又造成了财力的浪费。基于上述现状，本技术发明人经过长时间研究，提出了本发明提供的智能口罩虚拟试戴系统。


技术实现要素：

4.本发明的目的在于提供一种试戴口罩的虚拟智能显现系统，该系统利用人脸识别模型进行人脸定位，进行口罩图片的贴合，实时更新位置，并对口罩图片进行缩放。对手势姿势进行监测，系统及时作出反应，来进行手势切换口罩款式指令，也可通过具体按键进行切换。利用试戴过程中用户表情判断是否喜欢，形成用户洗好数据，形成大数据模型，用来对不同类型的用户进行个性化推荐，从而使消费过程更加智能、合理、快速。
5.本发明的目的是通过以下技术方案实现的：一种试戴口罩的虚拟智能显现系统，所述系统包括大数据推荐模型，用于对不同类型用户进行个性化推荐；手势识别模块，捕捉用户手势，对试戴过程中的口罩类型进行切换，增加智能体验；表情识别模块，在试戴过程中对用户表情识别，了解用户喜好，训练大数据推荐模型；大数据推荐模型根据表情识别模块以及用户的选择实时更新模型；大数据推荐模型根据用户信息对口罩试戴顺序进行重新排序，将喜好几率大的几款口罩进行置顶；手势识别模型进行阈值调整，防止试戴画面内其他因素的干扰。
6.所述的一种试戴口罩的虚拟智能显现系统，所述系统的运行方式如下：提供口罩类型数据库，将拥有的口罩款式图片文件预先录入，并且留增加文件路径；利用人脸识别模块对人脸信息获取、定位并传入试戴系统；将口罩图片与人脸图像进行合成，返回实时图像；人脸信息实时更新，对每一帧的人脸进行定位，获取合成所需要的定位点和口罩尺寸；对不断左右或者前后移动的用户，不断对虚拟口罩进行缩放以及角度旋转，选出适合自己的口罩类型。
7.本发明的优点与效果是：
本发明为了弥补口罩消费过程中不能进行试戴而产生的系统。装饰类口罩作为一种新型的消费品，装饰是其不可磨灭的作用。该系统能利用人脸识别模型进行人脸定位，进行口罩图片的贴合，实时更新位置，并对口罩图片进行缩放。对手势姿势进行监测，系统及时作出反应，来进行手势切换口罩款式指令，也可通过具体按键进行切换。利用试戴过程中用户表情判断是否喜欢，形成用户洗好数据，形成大数据模型，用来对不同类型的用户进行个性化推荐，从而使消费过程更加智能、合理、快速。
附图说明
8.图1为本发明试戴系统流程图；图2 为本发明面部识别步骤示意图；图3为本发明口罩试戴步骤示意图；图4为本发明人脸特征点分布图；图5为本发明表情识别分类图；图6为本发明手部识别特征点图。
具体实施方式
9.下面结合附图所示实施例对本发明进行详细说明。
10.本发明于口罩虚拟试戴系统，所属口罩虚拟试戴系统包括口罩虚拟试戴装置、口罩类型数据库、用户喜好数据库，所述系统运行方法包括：所述口罩虚拟试戴装置获取包含用户整个脸部的视频流；从所述视频流中，利用人脸识别模型，提取所需的面部特征点，获得特征点坐标；将从所述口罩类型数据库中取出由所述用户喜好数据库推荐的口罩图像；根据所述人脸识别模型获得的人脸信息，缩放口罩图像，使得缩放后的口罩图像适配人脸图像；利用图像处理技术，将所述口罩图像定位于人脸图像并进行显示；所述口罩虚拟试戴装置利用表情识别模型判断用户是否喜欢，将所述装置获取的人脸信息与喜好数据送至所述用户喜好数据库，进行模型训练；所述口罩虚拟试戴装置可以利用手势识别模型或者人机交互进行口罩类型的切换，直至完成试戴，并将所有数据保存到所述用户喜好数据库中。
11.具体步骤：（1）用户选择开始试戴，启动摄像头模块；（2）利用摄像头获取含有人脸图像和手部图像的视频流，手部图像非必需；步骤s101中，人脸图像可以通过像素较高的摄像头获取，然后将获取到的视频信息传输出去。摄像头可以安装与显示器上，即观看显示器时，摄像头拍摄人脸正面信息。为了顺利进行图像识别与处理，摄像头获取的人脸在显示图像中占比应不小于1/25。较佳的，人脸位于显示图像中间，占比不低于1/16，且正向朝向。
12.所述摄像头也可为异地摄像头，该摄像头将所获得视频流进行上传发送给云端的虚拟试戴装置，即用户可以将实现录制好的视频发送进行处理。使得用户可以不用到装置前或者给不在身边的他人进行口罩的虚拟试戴。
13.（3）人脸识别模块对视频流进行分析，得到以摄像头画面为基准的坐标系中所需人脸特征点的坐标值，同时，对之后的每一帧画面中人脸特征点的坐标进行不断更新。一般的，在面部五官、颧骨以及下颌位置都有特征点；步骤s102，人脸识别模块对视频流进行逐帧处理，利用训练好的模型进行人脸定位，并提取人脸特征信息，以显示图像为基准，建立坐标系，定位特征点坐标。将所有坐标储存为python字典，字典中特征点对应该特征点的相对坐标位置，并在步骤s103将面部特征点信息传入之后模块。
14.（4）根据大数据推荐模型给出的数据，对口罩试戴顺序进行重新排列，将喜爱几率大的口罩款式提前；预先为口罩类型数据库的每一个口罩进行编号，并且为以后新增口罩款式预留文件路径，将人类特征点信息作为数据输入，根据预训练模型以及之后试戴过程中取得的数据训练后模型给出用户喜爱口罩记录排行输出，按照预测数据对每一个用户进行个性化的排序，提高试戴效率。
15.（5）步骤s201，根据人脸识别模块获得的人脸特征信息，我们选取双瞳位置为两个特征点，根据两点的相对坐标的y值（垂直方向）的差异大小来描述用户面部是否倾斜，并利用两点坐标计算出与水平方向的角度，将角度信息输出；步骤s202，将口罩类型数据库的口罩款式进行尺寸重新定义，以符合用户脸部尺寸，同时根据不断更新的特征点坐标，不断对口罩进行缩放，由于用户之间的面部尺寸差异以及距离摄像头远近、角度等变化，使得在视频中显示的人脸面部大小不一，试戴系统根据人脸识别模块识别出的面部尺寸信息，对口罩大小进行实时的更新替换。即使用户不断的左右晃动、前后移动，也能保证虚拟口罩在用户脸上的试戴。
16.步骤s203，将缩放合适的口罩图片与人类进行贴合，利用数据字典中的坐标字典进行定位，并以计算好的角度进行微调，保证贴合。
17.（6）利用手势识别模块捕获手势或者通过人机交互界面按钮进行发出切换口罩样式的指令；该系统同时配备手势识别模块和与用户人机交互界面的按钮，对手部关节点进行定位，利用手部各特征点坐标信息。其中当手势识别模块识别到下一个或上一个的手势时，对试戴系统发出指令。同时为了防止背景画面中其他人的手势无意间的影响，对手势识别系统的阈值进行修正，避免其他因素的影响。
18.（7）利用表情识别模块，对用户试戴口罩后的反应判断用户的喜恶，并将数据保存至用户喜好数据库模块，对智能推荐模型进行训练，增加模型的训练集规模；表情识别功能利用表情识别模型进行分辨，对用户试戴口罩后的表情进行捕捉，对视频流中的每一帧画面进行分析，表情识别总共分为7个标签，惊讶和中性的标签值视为0，高兴视为1，悲伤、愤怒、恐惧和厌恶为
‑
1，将这一帧的人脸数据和口罩类型作为训练集，存入用户喜好数据库模块。对每一种人脸数据对于该种口罩类型进行评估，训练大数据模型。可以得到不同用户对于不同口罩的喜爱程度，预测标签值越高说明越有可能喜欢该种口罩。这一部分训练集是我们完善大数据推荐模型的关键，利用不断更新的数据使我们的智能模型拥有更大的准确性。
19.（8）用户选择试戴完成；试戴结束。