一种基于人脸识别与肤质检测的家居智能镜子的制作方法

本发明涉及人工智能领域，具体地，涉及一种基于人脸识别与肤质检测的家居智能镜子。

背景技术：

近年来，随着人工智能逐渐成为学术界研究的热点，作为人工智能在生物识别领域的分支，人脸识别在近几年得到了快速发展。同时，皮肤在医学检测、日常护理方面逐渐受到人们的广泛关注。但目前无论是人脸识别设备和肤质检测仪都存在价格昂贵、体积大、整体性较差的缺点，大大限制了其推广与应用。

众所周知，镜子在我们生活中无处不在，几乎每个人的家里都可以见到镜子。然而目前镜子的功能单一，并且通常会占据相当大的空间。考虑到人们通常有照镜子的习惯，如果能超越传统镜子的简单功用，在镜子上整合人脸识别和肤质检测的功能，让镜子显示用户需要看到的功能和内容来完成镜子从传统生活到物联网生活的角色转变，实现镜子的智能家居化和整体设备小型化，将会进一步提升人们的生活品质。

技术实现要素：

本发明的目的是公开一种基于人脸识别与肤质检测的家居智能镜子，所述智能镜子赋予了镜子全新的定义，使得镜子不再是具有单一功能的物品，提高了镜子的实用性。

本发明包括固定壳体、显示界面、摄像头、温度传感器、控制装置；温度传感器和控制装置设置在固定壳体内部，固定壳体为呈矩形，作为镜子其他部分的载体，提供物理结构支撑；所述的显示界面包括显示屏和一块单向透光的原子镜，原子镜设置在固定壳体外，作为固定壳体的一个矩形外侧壁，显示屏设置在固定壳体内，与控制装置相连，且与原子镜相邻设置；显示界面利用原子镜单向透光的原理，通过显示屏和原子镜的叠加，将信息显示在原子镜上；通过对显示屏的控制，使得前面原子镜处于普通镜子状态亦或是智能状态下，智能状态时显示天气、时间、人脸肤质健康状况信息。

所述的控制装置，用于处理、计算、分析摄像头和温度传感器采集到的信息。

进一步的，所述的控制装置，包括树莓派、信息显示模块、人脸识别模块、肤质检测模块和电源模块。

所述的信息显示模块，用于显示树莓派处理得到的结果信息，内容包括：天气、时间、人脸肤质健康状况及相关建议；

所述的树莓派，用于处理人脸识别模块、肤质检测模块的信息；

所述的人脸识别模块，通过摄像头读取到的人脸信息唤醒屏幕，增加用户体验；

所述的肤质检测模块，对摄像头读取到的人脸信息进行分析、处理，返回用户肤质评价情况及相应的护理建议；

所述的电源模块，为智能镜子的各个模块供电。

进一步的，所述的肤质检测模块，包括图像采集模块、人脸图像处理模块、人脸肤质指标提取模块、人脸肤质评价指标体系模型模块。

所述的图像采集模块，通过智能镜子的摄像头采集信息；

所述的人脸图像处理模块，对图片进行处理，得到人脸的数字化信息；包括各向异性滤波模块、二值化图像模块、边缘检测模块、灰度共生矩阵。

所述的各向异性滤波模块，用于对图像进行平滑处理，具体地，在图像的预处理阶段，使用perona和malik提出的各向异性滤波代替高斯滤波，旨在减少图像噪声，而又不去除图像内容中的重要部分。

所述的二值化图像模块，用于对色素和油份特征处理，具体地，根据摄像头采集的高清图片，利用hsv颜色空间对图像的s空间和v空间进行二值化，将图像的亮度信息从图片的颜色中分离，进而对明暗区域进行划分，再采用最大类间方差法将图像中的背景和前景区分开。通过以上两种方法，可将颜色鲜艳的图像转化为相应的二值化黑白图像，以便后续对于皮肤表层的图像进行色素和油份分析。

所述的边缘检测模块，用于提取毛孔图像，具体地，通过图像灰度值的数据，运用canny算子找到图像中灰度变化剧烈的像素区域，这样的区域有极大的几率是毛孔的边缘区域，这样便能提取毛孔相应的区域面积信息与分布信息。

所述的灰度共生矩阵，用于提取图像纹理信息，具体地，皮肤的粗糙程度主要由对皮肤图像纹理特征进行分析，本方案采用灰度共生矩阵对相距为δ＝(δx，δy)的两个灰度像素出现的联合概率分布进行分析，表现出两个像素点(x1，y1)、(x2，y2)的灰度相关性。即使存在变化频繁的纹理，也能够定量的反应出图像的纹理特征。

所述的人脸肤质指标提取模块，用于提取人脸肤质的关键指标，具体包括颜色特征和纹理特征，颜色特征又包含油份指标和色素指标，纹理特征包含粗糙程度，进行处理；

所述的人脸肤质评价指标体系模型模块，肤质检测模块根据人脸肤质指标提取模块提取的颜色特征、纹理特征和粗糙程度，结合现有人脸肤质评价指标体系得出评价结果。

进一步的，所述的肤质指标提取模块，包括油份和色素指标提取模块、粗糙程度指标提取模块。

所述的油份和色素指标提取模块，通过简单的逻辑运算，以亮色代表油份、暗色代表色素。分别由其占人脸的面积比例，计算出的数值，对应相应的指标范围，确定颜色特征的指标。

所述的粗糙程度指标提取模块，将图像进行二值化后的数据，进行形态学膨胀处理。由于膨胀后，会扩大纹理像素的区域，因而可以得到多份的观察数据。如若形态学膨胀2次，则拥有2幅纹理图像数据，与图像库中对应膨胀次数的图像进行比对。使用角二阶矩(asm)、熵(ent)、对比度(con)进行加权分析，再考虑canny算子提取的毛孔大小综合分析，最终得出人脸粗糙程度等级。

进一步的，所述的人脸肤质评价指标体系模型模块，采用基于遗传算法改进的bp神经网络进行综合评价分类，ga-bp神经网络对于bp神经网络存在的初值的权值和阈值的随机性进行调整，旨在优化bp神经网络中的权值和阈值，通过“遗传试错”的原则确定权值和阈值，进一步的，具体包括：图像样本模块、提取肤质指标模块、ga算子确定阈值与权值模块、bp神经网络分类评级模块、最优评价等级确定模块。

处理步骤为：首先获取大量的图像样本，运用上述方法进行图像处理，提取相应的肤质指标，通过ga算子计算bp神经网络的权值与阈值，利用bp神经网络进行分类。再将分类标准作为初始标准，再对图样样本重复之前的操作，直到每个评价等级中的均方误差(mse)和均值(mean)都小于一定的统计评价值时，确定最优的评价等级方案，根据评价等级方案制定皮肤保养的方案，通过显示界面给用户反馈。

本发明的优点和有益效果为：

本发明以物联网为理念，以人脸识别和肤质检测为两大核心功能，改善了传统镜子功能单一的缺点，增加了镜子的实用性，提高了用户的便利性，实现镜子的智能家居化。

本发明采用树莓派，是一款基于linux的单片机计算机，用于处理人脸识别模块、肤质检测模块的信息。利用树莓派的低能耗、移动便携性、具有多种gpio接口等特性，在保障镜子的工作性能时，还能减小镜子的重量与体积，大大提高了智能镜子的实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1(a)为本发明实施例中模块结构示意图；

图1(b)为本发明结构示意图；

图1(c)为本发明结构剖视图；

图2为本发明实施例中一种智能镜子界面及交互示意图；

图3为本发明实施例中一种智能镜子的肤质检测模块的框架流程图；

图4为本发明实施例中肤质检测模块中的肤质评价体系的框架流程图。

具体实施方式

下面结合附图并实施例，对本发明做一详细的描述。

如图1(a)-1(c)所示，本发明提供的一种基于人脸识别与肤质检测的智能镜子，包括固定壳体4、显示界面、摄像头1、温度传感器、控制装置5；温度传感器和控制装置5设置在固定壳体4内部，固定壳体4为呈矩形，作为镜子其他部分的载体，提供物理结构支撑；所述的显示界面包括显示屏3和一块单向透光的原子镜2，原子镜2设置在固定壳体4外，作为固定壳体4的一个矩形外侧壁，显示屏3设置在固定壳体4内，与控制装置相连，且与原子镜2相邻设置；显示界面利用原子镜单向透光的原理，通过显示屏3和原子镜2的叠加，将信息显示在原子镜2上；通过对显示屏的控制，使得前面原子镜处于普通镜子状态亦或是智能状态下，智能状态时显示天气、时间、人脸肤质健康状况信息。

本发明实施例中的一种智能镜子显示界面用于人脸和信息的显示，如图2所示。采用单面透光的原子镜作为材料，在原子镜的后面安装一块与树莓派相连接的屏幕，通过对屏幕的控制，使得前面原子镜处于普通镜子状态亦或是“镜子”状态下。当摄像头捕捉到人像时，唤醒屏幕，使屏幕的内容能在镜子上显示。屏幕的内容包括：天气、时间、人脸肤质健康状况及相关建议。

为了使镜子不被太多的信息所覆盖，导致本末倒置，本发明在镜子界面上，在镜子的界面设计方面，希望镜子不需要被太多的信息所覆盖，导致本末倒置。所以拟在“镜子”上采用时钟板块，和天气板块。对于时钟板块和天气板块，采用html、css、javascript进行开发。在api接口的设计上，目前两个板块使用openweathermap.org和icalcalender。通过这两个api接口能够传输当天的天气等讯息同肤质检测得出的人脸肤质健康状态作为3个独立的板块显示在镜子上。

本发明的控制装置，包括树莓派、信息显示模块、人脸识别模块、肤质检测模块、电源模块。其中，人脸识别，使用opencv作为主要的开发软件。具体的步骤：step1：搜集相应的训练样本(包含人脸信息)作为消极图像；step2：批量读取人脸图像转化为灰度图像进行训练，提取消极图像中对应的人脸特征信息；step3：将训练结果的人脸特征信息作为特征参数，存储在特征空间中；step4：将摄像头捕捉的图像进行特征提取，将特征与训练集中的特征参数进行对比，从而进行人脸检测。

在上述的实施方案中，提取出的人脸特征信息都存储在对应的库当中。在实时的人脸检测阶段，我们只需要调用相应的库进行特征识别，就能完成人脸识别的模块。在opencv中，使用python中的simplecv库的函数findhaarfeatures来实现。当摄像头捕捉到图像时，将该幅图像保存在树莓派中进行处理，调用findharrfeatures函数，进行人像捕捉。若不存在人像的特征将不会唤醒“镜子”。倘若捕捉到人像特征，则会唤醒“镜子”，容易满足实时处理的要求。并通过跳帧技术和多核处理，提高图像的帧数，改善识别框的延迟效应。

在图像处理阶段，考虑帧数过低的原因后采用跳帧技术，即无需每一帧的画面都进行相应的检测，而是每隔几帧识别一次，并使用树莓派的多核进程来完成图像识别。

人脸肤质检测，通过图像采集模块、人脸图像处理模块、人脸肤质指标提取模块、人脸肤质评价指标模型实现对人脸的肤质检测。由于肤质检测需要较为细致的图像内容，需要高像素摄像头(500w像素以上)进行图像采集。最大限度的保证图像内容的完整性和可操作性。在得到人脸图像后，在图像的预处理阶段，使用perona和malik提出的各向异性滤波代替高斯滤波，旨在减少图像噪声，而又不去除图像内容中的重要部分。由于图像的所在的环境因素复杂，可能存在光照紊乱、复杂环境等问题，因而要对图像进行相应的处理，突出所要分析的内容，二值化通常作为图像前期处理中的关键一步。

根据摄像头采集的高清图片，利用hsv颜色空间对图像的s空间和v空间进行二值化，将图像的亮度信息从图片的颜色中分离，进而对明暗区域进行划分，再采用最大类间方差法将图像中的背景和前景区分开。通过以上两种方法，可将颜色鲜艳的图像转化为相应的二值化黑白图像，以便后续对于皮肤表层的图像进行色素和油份分析，算法步骤：step1:读取图像中的rgb图像；step2:转化为hsv颜色空间；step3:对颜色空间s空间和v空间进行二值化运算；step4:对于提取的s和v进行逻辑运算，标记相应的数值对图像进行处理。

通过图像灰度值的数据，运用canny算子找到图像中灰度变化剧烈的像素区域，这样的区域有极大的几率是毛孔的边缘区域，这样便能提取毛孔相应的区域面积信息与分布信息。皮肤的粗糙程度主要由对皮肤图像纹理特征进行分析，采用灰度共生矩阵对相距为δ＝(δx，δy)的两个灰度像素出现的联合概率分布进行分析，表现出两个像素点(x1，y1)、(x2，y2)的灰度相关性。即使存在变化频繁的纹理，也能够定量的反应出图像的纹理特征。

由上一部分分析可知，将平滑后的图像转化为hsv空间后，其中s表示饱和度、v表示亮度。s越接近1表示颜色越饱和，v越接近1表示颜色越亮。通过简单的逻辑运算，亮色代表油份、暗色代表色素。分别由其占人脸的面积比例，计算出的数值，对应相应的指标范围，确定颜色特征的指标。

由于人脸的纹理脉络短时间内不会发生较大的改变，往往随着时间的变化，体现在纹理脉络粗细变化上。于是本方案将图像进行二值化后的数据，进行形态学膨胀处理。由于膨胀后，会扩大纹理像素的区域，因而可以得到多份的观察数据。如若形态学膨胀2次，则拥有2幅纹理图像数据，与图像库中对应膨胀次数的图像进行比对。使用角二阶矩(asm)、熵(ent)、对比度(con)进行加权分析，再考虑canny算子提取的毛孔大小综合分析，最终得出人脸粗糙程度等级。

人脸肤质评价模型采用基于遗传算法改进的bp神经网络(ga-bp神经网络)进行综合评价分类，ga-bp神经网络对于bp神经网络存在的初值的权值和阈值的随机性进行调整，旨在优化bp神经网络中的权值和阈值，通过“遗传试错”的原则确定权值和阈值。

如图4所示，首先获取大量的图像样本，运用上述方法进行图像处理，提取相应的肤质指标，通过ga算子计算bp神经网络的权值与阈值，利用bp神经网络进行分类。再将分类标准作为初始标准，再对图样样本重复之前的操作，直到每个评价等级中的均方误差(mse)和均值(mean)都小于一定的统计评价值时，确定最优的评价等级方案。

此后以最优方案为参考，对于输入图像的指标进行提取、比对，最终得出相应的肤质健康状况，并对用户给出护理建议与防护措施。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。