人脸痘痘定位识别方法与流程

本发明涉及人脸美容技术领域，尤其涉及一种人脸痘痘定位识别方法。

背景技术：

在医学美容行业，痘痘是最主要的皮肤问题，问题人群几乎涵盖了整个年龄段。而医学上痘痘分类比较复杂，包括：粉刺型，丘疹型，脓包型，痘印型等，不同类型发病原因及治疗方法差异较大。现阶段痘痘位置和类型的识别主要依靠人工判断，没有严格的客观分类依据，分类识别准确性依赖于从业人员的专业水平。现有专利依赖于传统图像处理方法，准确性不高，只能识别痘痘位置，无法给出分类信息。

鉴于此，有必要提供一种人脸痘痘定位识别方法以既识别痘痘的位置，又识别痘痘的类型。

技术实现要素：

本发明所要解决的技术问题是提供一种人脸痘痘定位识别方法以既识别痘痘的位置，又识别痘痘的类型。

为解决上述技术问题，本发明采用如下所述的技术方案：一种人脸痘痘定位识别方法，包括：

图像采集：采集待识别图像；

图像预处理：获取所述待识别图像中的人脸区域，并根据其生成人脸图像，记录人脸图像于所述待识别图像中的位置，对所述人脸图像进行图像增强处理，获取增强人脸图像，并根据其进行缩放至预设尺寸，获得规格人脸图像；

痘痘定位识别：将所述规格人脸图像输入至痘痘深度学习模型，提取图像特征，输出定位识别结果，获得人脸痘痘定位识别信息，根据所述人脸痘痘定位识别信息，结合人脸图像于所述待识别图像中的位置，于待识别图像中标注各痘痘，其中，所述人脸痘痘定位识别信息包括各痘痘的位置、类型及置信度，所述预设尺寸与所述痘痘深度学习模型的输入尺寸相等。

其进一步技术方案为：所述图像采集的步骤前还包括：模型获取：搭建并训练痘痘待训练网络，获取痘痘深度学习模型。

其进一步技术方案为：所述模型获取的步骤具体包括：

收集获取痘痘样本人脸图像数据集，所述痘痘样本人脸图像数据集包括若干组根据不同的痘痘人脸图像获得的对应的痘痘训练样本，每一组所述痘痘训练样本包括对应的痘痘人脸图像中每个痘痘的位置及类型；

利用pytorch深度学习框架搭建痘痘待训练网络；

根据所述痘痘样本人脸图像数据集训练所述痘痘待训练网络，获得痘痘深度学习模型。

其进一步技术方案为：所述痘痘深度学习模型基于darknet网络，包括第一神经网络及第二神经网络，所述第一神经网络与第二神经网络连接，以使第二神经网络获取第一神经网络的输出特征作为输入。

其进一步技术方案为：所述第一神经网络包括依序连接的五个残差模块，分别为第一残差模块、第二残差模块、第三残差模块、第四残差模块及第五残差模块，其中，所述第一残差模块包括有一个残差单元，所述第二残差模块包括有两个残差单元，所述第三残差模块包括有八个残差单元，所述第四残差模块包括有八个残差单元，所述第五残差模块包括有四个残差单元；

所述第一神经网络包括三个卷积特征输出端，分别输出第一卷积特征、第二卷积特征及第三卷积特征，所述第一卷积特征为第三残差模块的输出特征，所述第二卷积特征为第四残差模块的输出特征，所述第三卷积特征为第五残差模块的输出特征；

所述第二神经网络包括三路预测输出路径，分别为第一预测输出路径、第二预测输出路径及第三预测输出路径，所述第一预测输出路径的输入来自于所述第三卷积特征，所述第二预测输出路径的输入来自于所述第一预测输出路径的一个中间结果及所述第二卷积特征，所述第三预测输出路径的输入来自于所述第二预测输出路径的一个中间结果及所述第一卷积特征。

其进一步技术方案为：所述图像预处理的步骤中的获取所述待识别图像中的人脸区域，并根据其生成人脸图像的步骤具体为：

通过dlib数据库对待识别图像进行人脸区域检测，获取所述待识别图像中的人脸区域；

截取所述待识别图像中的人脸区域，生成人脸图像。

其进一步技术方案为：所述图像预处理的步骤中的对所述人脸图像进行图像增强处理，获取增强人脸图像，并根据其进行缩放至预设尺寸，获得规格人脸图像的步骤具体为：

采用高斯滤波算法去除所述人脸图像中的噪点；

采用低通滤波算法去除所述人脸图像中的高频噪点，获得增强人脸图像；

对所述增强人脸图像进行缩放处理，将其缩放至预设尺寸，获得规格人脸图像。

其进一步技术方案为：所述痘痘定位识别的步骤后还具体包括：

痘痘图像获取：根据所述人脸痘痘定位识别信息的痘痘位置于所述规格人脸图像中截取对应区域，获得痘痘图像；

痘痘图像显示：对所述痘痘图像进行三维立体成像显示。

其进一步技术方案为：所述痘痘图像显示的步骤具体为：

对所述痘痘图像进行灰度化处理，获得灰度图像；

根据痘痘图像的像素构建向量，每一向量包括像素的坐标、该像素的rgb三通道的数值及该像素于灰度图像中对应的灰度值；

将所有向量按照每相邻的三个像素对应的向量为一组的规则组合形成若干三维图元，利用opengl对所述三维图元进行渲染，获得痘痘三维立体图像；

输出并显示所述痘痘三维立体图像。

其进一步技术方案为：所述图像采集的步骤中采用头部固定拍摄系统进行待识别图像的采集，所述头部固定拍摄系统包括头部固定装置及拍摄设备，所述头部固定装置包括面罩壳体及底座，所述面罩壳体通过支撑柱安装于底座上，所述面罩壳体用于罩住用户的脸部，其上安装有所述拍摄设备以拍摄罩于面罩壳体上的用户的脸部的图像而采集待识别图像，所述面罩壳体的上端部设置有用于供用户的额头紧贴放置的额头支架，所述面罩壳体的下端部设置有用于供用户的下巴放置的下巴支架，以固定用户的头部而使面罩壳体罩于用户的脸部上。

本发明的有益技术效果在于：本发明人脸痘痘定位识别方法通过对待识别图像进行预处理，获取人脸图像，记录其于待识别图像中的位置，并对其进行图像增强处理，提高图像清晰度，减少噪点，有利于痘痘深度学习模型更好地提取图像特征，提升识别痘痘位置和类型的准确性，通过将增强人脸图像进行缩放至预设尺寸以与痘痘深度学习模型的输入尺寸一致，从而减少计算量，加快痘痘识别速度，提升模型识别精度，通过痘痘深度学习模型以对规格人脸图像进行处理，既能识别痘痘的位置，又能识别痘痘的类型，根据获得的人脸痘痘定位识别信息结合人脸图像于待识别图像中的位置，于待识别图像中标注各痘痘，以便更直观地获取各痘痘的信息。

附图说明

图1是本发明人脸痘痘定位识别方法的流程示意图；

图2是本发明人脸痘痘定位识别方法的图像预处理步骤的具体流程示意图；

图3是本发明人脸痘痘定位识别方法的图像预处理步骤的子流程示意图；

图4是本发明人脸痘痘定位识别方法一具体实施例的流程示意图；

图5是图4所示人脸痘痘定位识别方法的模型获取步骤的具体流程示意图；

图6是本发明人脸痘痘定位识别方法另一具体实施例的流程示意图；

图7是图6所示人脸痘痘定位识别方法的子流程示意图；

图8是本发明人脸痘痘定位识别方法的第一神经网络的网络架构图；

图9是本发明人脸痘痘定位识别方法的痘痘深度学习模型的网络框架示意图；

图10是应用本发明人脸痘痘定位识别方法的头部固定拍摄系统的结构示意图。

具体实施方式

为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。

参照图1，本发明人脸痘痘定位识别方法用于识别痘痘的位置及类型，包括：

步骤s11、图像采集：采集待识别图像。

步骤s12、图像预处理：获取所述待识别图像中的人脸区域，并根据其生成人脸图像，记录人脸图像于所述待识别图像中的位置，对所述人脸图像进行图像增强处理，获取增强人脸图像，并根据其进行缩放至预设尺寸，获得规格人脸图像。根据人脸区域获取其于待识别图像中的位置，从而获得人脸图像于所述待识别图像中的位置。

步骤s13、痘痘定位识别：将所述规格人脸图像输入至痘痘深度学习模型，提取图像特征，输出定位识别结果，获得人脸痘痘定位识别信息，根据所述人脸痘痘定位识别信息，结合人脸图像于所述待识别图像中的位置，于待识别图像中标注各痘痘，其中，所述人脸痘痘定位识别信息包括各痘痘的位置、类型及置信度，所述预设尺寸与所述痘痘深度学习模型的输入尺寸相等。痘痘的位置是指痘痘于规格人脸图像中的具体位置，具体可为痘痘的最小外接矩形于规格人脸图像中对应的对角坐标，优选地，可为该最小外接矩形的左上角点的坐标及该最小外接矩形的右下角点的坐标，痘痘的类型包括粉刺型、丘疹型、脓包型及痘印型，置信度为该痘痘的可信程度分数。根据所述人脸痘痘定位识别信息的各痘痘的位置，结合人脸图像于所述待识别图像中的位置，将痘痘于规格人脸图像中的位置转换为痘痘于待识别图像中的位置，以对痘痘进行标注。标注包括对痘痘的类型及置信度进行标示。所述预设尺寸与所述痘痘深度学习模型的输入尺寸相等可以提升模型识别的精度，且减少计算量，加快定位识别痘痘的速度。

所述人脸痘痘定位识别方法通过对待识别图像进行预处理，获取人脸图像，记录其于待识别图像中的位置，并对其进行图像增强处理，提高图像清晰度，减少噪点，有利于痘痘深度学习模型更好地提取图像特征，提升识别痘痘位置和类型的准确性，通过将增强人脸图像进行缩放至预设尺寸以与痘痘深度学习模型的输入尺寸一致，从而减少计算量，加快痘痘识别速度，提升模型识别精度，通过痘痘深度学习模型以对规格人脸图像进行处理，既能识别痘痘的位置，又能识别痘痘的类型，根据获得的人脸痘痘定位识别信息结合人脸图像于待识别图像中的位置，于待识别图像中标注各痘痘，以便更直观地获取各痘痘的信息。

结合图2，优选地，在该实施例中，所述步骤s12具体为：

步骤s121、通过dlib数据库对待识别图像进行人脸区域检测，获取所述待识别图像中的人脸区域。

步骤s122、截取所述待识别图像中的人脸区域，生成人脸图像。

步骤s123、记录人脸图像于所述待识别图像中的位置。

步骤s124、对所述人脸图像进行图像增强处理，获取增强人脸图像，并根据其进行缩放至预设尺寸，获得规格人脸图像。

结合图3，优选地，所述步骤s124具体为：

步骤s1241、采用高斯滤波算法去除所述人脸图像中的噪点。

步骤s1242、采用低通滤波算法去除所述人脸图像中的高频噪点，获得增强人脸图像。通过滤波去除人脸图像中的噪点，可有效提高图像的清晰度，有利于痘痘深度学习模型更好地提取图像特征，提升识别痘痘位置和类型的准确性。

步骤s1243、对所述增强人脸图像进行缩放处理，将其缩放至预设尺寸，获得规格人脸图像。

参照图4和图5，具体地，在该实施例中，所述步骤s11前还包括：

步骤s10、模型获取：搭建并训练痘痘待训练网络，获取痘痘深度学习模型。

所述步骤s10具体包括：

步骤s101、收集获取痘痘样本人脸图像数据集，所述痘痘样本人脸图像数据集包括若干组根据不同的痘痘人脸图像获得的对应的痘痘训练样本，每一组所述痘痘训练样本包括对应的痘痘人脸图像中每个痘痘的位置及类型。其中，所述痘痘人脸图像是指带有不同痘痘类型的痘痘的人脸图像，每一组所述痘痘训练样本的信息可由专业医生对相应的痘痘人脸图像进行标注。

步骤s102、利用pytorch深度学习框架搭建痘痘待训练网络。

步骤s103、根据所述痘痘样本人脸图像数据集训练所述痘痘待训练网络，获得痘痘深度学习模型。

参照图6，在一些实施例中，所述步骤s13后还包括：

步骤s14、痘痘图像获取：根据所述人脸痘痘定位识别信息的痘痘位置于所述规格人脸图像中截取对应区域，获得痘痘图像。

步骤s15、痘痘图像显示：对所述痘痘图像进行三维立体成像显示。通过获取痘痘图像的三维立体成像的图，可使用户通过点击于待识别图像中标注的痘痘，获取并显示对应的痘痘图像的三维立体成像的图，以便用户直接于显示屏画面中观察痘痘。

结合图7，所述步骤s15具体为：

步骤s151、对所述痘痘图像进行灰度化处理，获得灰度图像。根据所述痘痘图像的各像素对应的rgb三通道的数值进行灰度化处理，获取各像素对应的灰度值，获得灰度图像。

步骤s152、根据痘痘图像的像素构建向量，每一向量包括像素的坐标、该像素的rgb三通道的数值及该像素于灰度图像中对应的灰度值。

步骤s153、将所有向量按照每相邻的三个像素对应的向量为一组的规则组合形成若干三维图元，利用opengl对所述三维图元进行渲染，获得痘痘三维立体图像。

步骤s154、输出并显示所述痘痘三维立体图像。通过显示所述痘痘三维立体图像以更直观地展示定位识别结果。

参照图8和图9，具体地，所述痘痘深度学习模型基于darknet网络，包括第一神经网络及第二神经网络，所述第一神经网络与第二神经网络连接，以使第二神经网络获取第一神经网络的输出特征作为输入。第一神经网络的特征提取器包括卷积层，其网络架构如图8所示。其中，图8中的type代表第一神经网络中每个层的类型，conv代表卷积层，其为特征提取必要层，可以提高模型网络对图像的局部感知能力；res为残差模块，残差模块由dbl组件和残差单元构成，残差模块可以使模型网络深度相同条件下，拥有更少的网络参数以及更少的计算复杂度；input和output分别代表输入和输出的特征矩阵的尺寸，每一层的输出为其下一层的输入，kernel_size代表卷积层的卷积核的尺寸大小，可以下向量(1)表示：

(a×a×n，d)(1)

其中，a×a表示卷积核尺寸，n代表卷积核个数，d代表卷积操作的步幅，当步幅为2时，卷积核可以成倍的缩小特征矩阵的尺寸，提升神经网络的抽象能力。

由图8可知，第一个卷积层的输入的特征矩阵的尺寸为288×288，则所述痘痘深度学习模型的输入尺寸为288×288，预设尺寸为288×288，第一个卷积层的卷积核尺寸为3×3，卷积核个数为32个，卷积操作的步幅为1，卷积后，第一个卷积层的输出的特征矩阵的尺寸为288×288。有关现有技术中dbl组件的框架结构参见图9中虚线框，dbl组件包括二维卷积单元conv、批量归一化单元bn及非饱和激活函数单元leakyrelu，卷积单元conv是用于提取图像特征的算法单元；批量归一化单元bn用于去除偏移噪声，加速网络收敛，提高训练稳定性；非饱和激活函数单元leakyrelu用于增加模型非线性，拟合任何函数。

具体地，所述第一神经网络的框架结构可参见图9中实线框，包括依序连接的五个残差模块，分别为第一残差模块101、第二残差模块102、第三残差模块103、第四残差模块104及第五残差模块105，其中，所述第一残差模块101包括有一个残差单元，所述第二残差模块102包括有两个残差单元，所述第三残差模块103包括有八个残差单元，所述第四残差模块104包括有八个残差单元，所述第五残差模块105包括有四个残差单元。所述第一神经网络包括三个卷积特征输出端，分别输出第一卷积特征、第二卷积特征及第三卷积特征，所述第一卷积特征为第三残差模块103的输出特征，所述第二卷积特征为第四残差模104的输出特征，所述第三卷积特征为第五残差模块105的输出特征。所述第一神经网络的输入为所述痘痘样本人脸图像数据集。

所述第二神经网络包括三路预测输出路径，分别为第一预测输出路径、第二预测输出路径及第三预测输出路径，所述第一预测输出路径的输入来自于所述第三卷积特征，所述第二预测输出路径的输入来自于所述第一预测输出路径的一个中间结果及所述第二卷积特征，所述第三预测输出路径的输入来自于所述第二预测输出路径的一个中间结果及所述第一卷积特征。通过设置三路预测输出路径，则所述痘痘深度学习模型可获得三种尺寸的输出特征，可更全面可靠地进行识别检测。其中，第一预测输出路径包括依序连接的五层dbl组件106a、dbl组件107a、卷积单元108a及最终预测模块109a，第二预测输出路径包括依序连接的对两路数据特征进行合并的concat单元110b、五层dbl组件106b、dbl组件107b、卷积单元108b及最终预测模块109b，第三预测输出路径包括依序连接的对两路数据特征进行合并的concat单元110c、五层dbl组件106c、dbl组件107c、卷积单元108c及最终预测模块109c，其中，concat单元110b及110c用于张量合并拼接，将中间层和后面的某一层的上采样进行拼接。

根据第二神经网络的三路预测输出路径，可获得三个不同尺寸的特征矩阵，对应三种尺寸的痘痘信息，即各痘痘可获得三种尺寸的数据信息，以更全面可靠地进行痘痘定位识别，避免遗漏，提高识别成功率，小尺寸的特征矩阵具有较大的感受野，可检测到体积较大的痘痘，大尺寸的特征矩阵具有较小的感受野，可检测到体积较小的痘痘。其中，第一预测输出路径的最终预测模块109a的输出的特征矩阵结果的尺寸为9×9×27，第二预测输出路径的最终预测模块109b的输出的特征矩阵结果的尺寸为18×18×27，第三预测输出路径的最终预测模块109c的输出的特征矩阵结果的尺寸为36×36×27，三个特征矩阵结果分别对应三种尺寸的痘痘信息，9×9、18×18及36×36分别代表将所述规格人脸图像划分成为9×9、18×18及36×36网格，27代表每个网格的痘痘信息是一个二十七维向量，而每个网格最多可能有3个痘痘，则二十七维向量包含3个痘痘信息，又27等于3乘以9，则每个痘痘的信息为九维向量，该九维向量可用以下向量(2)表示：

(x0，y0，x1，y1，score，cls0，cls1，cls2，cls3)(2)

其中，x0，y0代表痘痘的最小外接矩形的左上角的点的坐标，x1，y1代表痘痘的最小外接矩形的右下角的点的坐标，score代表痘痘的置信度，cls0，cls1，cls2，cls3代表痘痘的四种类型(粉刺型、丘疹型、脓包型及痘印型)的可能性分数。

在步骤s13中，提取图像特征作为痘痘信息，比对各痘痘的三种尺寸的痘痘信息，保留置信度最高的对应尺寸的痘痘信息作为该痘痘的最终痘痘信息，判断该痘痘的最终痘痘信息对应的置信度是否低于预设值，若是，则该痘痘的信息无效，去掉该痘痘的最终痘痘信息；若否，则该痘痘的信息有效，保留该痘痘的最终痘痘信息。遍历所有有效痘痘的最终痘痘信息，进行nms(非极大值抑制)算法，分别计算任意两个痘痘的重叠面积的交并比，当交并比大于0.5时，则置信度较小的痘痘的最终痘痘信息无效，即排除两个痘痘中置信度小的痘痘。根据痘痘的四种类型的可能性分数，获取可能性分数高的类型作为该痘痘的类型，用数值0、1、2和3分别代表粉刺型、丘疹型、脓包型及痘印型。

参照图10，本发明人脸痘痘定位识别方法可应用于头部固定拍摄系统，所述头部固定拍摄系统可用于进行待识别图像的采集，所述头部固定拍摄系统包括头部固定装置10及拍摄设备4，所述头部固定装置10包括面罩壳体2及底座7，所述面罩壳体2通过支撑柱6安装于底座7上，所述面罩壳体2用于罩住用户的脸部，所述面罩壳体2上安装有所述拍摄设备4以拍摄罩于面罩壳体2上的用户的脸部的图像而采集待识别图像，所述面罩壳体2的上端部设置有用于供用户的额头紧贴放置的额头支架1，所述面罩壳体2的下端部设置有用于供用户的下巴放置的下巴支架3，以固定用户的头部而使面罩壳体2罩于用户的脸部上。具体地，所述拍摄设备4通过支架5安装于所述面罩壳体2上，所述拍摄设备4为带有摄像头及处理控制模块的设备，以拍摄图像并对其进行控制处理操作，所述处理控制模块可将拍摄获得的图像与上位机进行通信传输以供上位机进行人脸痘痘定位识别并接收定位识别结果，当然，在一些实施例中，所述处理控制模块可直接对拍摄获得的图像进行痘痘定位识别获取定位识别结果。优选地，所述拍摄设备4还包括有显示屏，以显示定位识别结果。

综上所述，本发明人脸痘痘定位识别方法通过对待识别图像进行预处理，获取人脸图像，记录其于待识别图像中的位置，并对其进行图像增强处理，提高图像清晰度，减少噪点，有利于痘痘深度学习模型更好地提取图像特征，提升识别痘痘位置和类型的准确性，通过将增强人脸图像进行缩放至预设尺寸以与痘痘深度学习模型的输入尺寸一致，从而减少计算量，加快痘痘识别速度，提升模型识别精度，通过痘痘深度学习模型以对规格人脸图像进行处理，既能识别痘痘的位置，又能识别痘痘的类型，根据获得的人脸痘痘定位识别信息结合人脸图像于待识别图像中的位置，于待识别图像中标注各痘痘，以便更直观地获取各痘痘的信息。

以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。