戴口罩的人脸图像生成方法、识别方法及识别装置与流程

1.本技术涉及图像处理技术领域，更具体地说，是涉及一种戴口罩的人脸图 像生成方法、识别方法及识别装置。


背景技术：

2.在公共场合要求人们佩戴口罩，因为人脸识别用到整个脸部的特征信息， 口罩将遮挡掉面部部分重要特征信息，对人脸识别精度造成很大的影响，降低 识别率。
3.进行训练识别人脸的模型时首先需要获取戴口罩的人脸图像的训练数据集。 常用的方法包括人为地给训练集中的人脸数据添加口罩，使得模型能更好地识 别戴口罩的人脸，或者基于gan等数据生成数据集的方法。基于gan生成数据 的方法首先需要收集大量戴口罩的人脸的数据才能使得gan训练得到较好的效 果，而现在缺乏大量真实戴口罩的人脸的数据，因此此方法影响适用性；而人 为地给训练集中的人脸数据添加口罩这种方法较为简单和直接，人工直接生成 戴口罩人脸图像若未考虑生成口罩的人脸的真实性，包括人脸倾斜度、旋转角 度和口罩角度的匹配程度、人脸和口罩大小的匹配度、人脸和口罩光照不同光 照强度等相关因素，如此容易造成合成的戴口罩的人脸图像的真实性，从而影 响训练出来的人脸识别模型的精确度。


技术实现要素：

4.针对现有技术，本技术解决的技术问题是提供一种生成真实的戴口罩人脸 图像的戴口罩的人脸图像生成方法、识别方法及装置，该戴口罩的人脸图像生 成方法、识别方法及装置综合考虑了匹配合成戴口罩人脸图像时的人脸清晰度 以及人脸与口罩图像光照强度一致性因素。
5.为解决上述技术问题，本技术提供一种戴口罩的人脸图像生成方法，包括：
6.获取n个具有不同材质和颜色的口罩的图像，任一口罩图像记为pi；
7.提取每一口罩图像中的口罩的左上、左下、中上、中下、右上和右下的六 个特征点；
8.获取m个人员的不戴口罩的人脸图像,任一不戴口罩人脸图像记为pj；
9.检测每一人脸图像的关于脸颊左上点、脸颊左下点、鼻子中间点、下巴中 间点、脸颊右上点和脸颊右下点的六个特征点；
10.根据图像pj的人脸的大小和人脸的倾斜度，对任一口罩图像pi的六个特征 点和任一不戴口罩人脸图像pj的六个特征点进行对应点匹配合成戴口罩人脸图 像p
ij
；
11.根据不戴口罩人脸图像pj的光照强度调整戴口罩人脸图像p
ij
中口罩区域 的亮度；
12.其中，提取的口罩图像pi的六个特征点的形成的轮廓与不戴口罩人脸图像 pj的六个特征点形成的轮廓相匹配。
13.在一种可能的实现方式中，根据图像pj的人脸的大小和人脸的倾斜度，对 任一口
罩图像pi的六个特征点和任一不戴口罩人脸图像pj的六个特征点进行对 应点匹配合成戴口罩人脸图像p
ij
的步骤包括：
14.计算不戴口罩人脸图像pj的倾斜角；
15.根据不戴口罩人脸图像pj的倾斜角对口罩图像pi透视变换，以保证口罩图 像pi与不戴口罩人脸图像pj具有相同倾斜角；
16.计算不戴口罩人脸图像pj的六个特征点形成的需口罩人脸区域的大小a；
17.根据大小a对倾斜校正后的口罩图像pi的六个特征点形成的口罩区域进行 缩放；
18.寻找倾斜校正和缩放后的口罩图像pi的六个特征点在不戴口罩人脸图像pj的六个特征点中的对应匹配点，将对应的匹配点进行贴合形成戴口罩人脸图像p
ij
。
19.在一种可能的实现方式中，记不戴口罩人脸图像pi的倾斜角为α,连接不 戴口罩人脸图像pi的鼻子中间点和下巴中间点，计算鼻子中间点和下巴中间点 的连线与图像坐标系的x轴方向的夹角θ，η为：
20.η＝90-θ，θ＝arctan((y2-y1)/(x2-x1))；
21.其中(x1,y1)和(x2,y2)分别为检测的不带口罩人脸图像的鼻子中间点 和下巴中间点两个特征点的坐标。
22.在一种可能的实现方式中，寻找倾斜校正后的口罩图像pi的六个特征点在 不戴口罩人脸图像pj的六个特征点中的对应匹配点为：计算不戴口罩人脸图像 pj的六个特征点与经过倾斜校正和缩放后的口罩图像pi的六个特征点的匹配度 s，当匹配度s值最小值时，则完成倾斜校正和缩放后后的口罩图像pi的六个 特征点在不戴口罩人脸图像pj的六个特征点中的对应匹配点；
[0023][0024]
其中，ω为不戴口罩人脸图像pj的六个特征点的集合，(xk,yk)为集合ω中 的任一特征点；ω
′
为口罩图像pi的六个特征点的集合，(x
′k,y
′k)为集合ω
′
中的任 一特征点；1≤k≤6，∑表示求和。
[0025]
在一种可能的实现方式中，戴口罩人脸图像中属于口罩区域的像素点的像 素值为f1，调整戴口罩人脸图像p
ij
中属于口罩区域像素点的像素值为f2；根据 不戴口罩人脸图像pj的光照强度调整戴口罩人脸图像p
ij
中口罩区域的亮度的 步骤包括：
[0026]
计算不戴口罩人脸图像pj的光照强度β1，
[0027]
计算口罩图像pi的光照强度β2，
[0028]
调整戴口罩人脸图像p
ij
中口罩区域的像素点的像素值：f2＝f1+(β
1-β2)；
[0029]
其中，max(pi(r,g,b))、min(pi(r,g,b))表示图像pi的所有像素点的绿色通道 均值、红色通道均值和蓝色通道均值中的最大值和最小值；max(pj(r,g,b))、min(pj(r,g,b))图像pj的所有像素点的绿色通道均值、红色通道均值和蓝色通 道均值中的最大值和最小值。
[0030]
在一种可能的实现方式中，基于sdm人脸特点检测方法检测脸颊左上点、脸颊 左
下点、鼻子中间点、下巴中间点、脸颊右上点和脸颊右下点的六个特征点； 其中，基于sdm人脸特点检测方法的训练过程中的损失函数为：l＝a1×
loss1+a2×
loss2；
[0031]
其中，loss1为原始sdm人脸特征点检测模型的损失函数，tk为基于sdm人 脸特点检测方法检测的第k个特征点，x
′k为口罩图像pi的六个特征点的第k个 特征点，a1和a2为加权系数且a1+a2＝1。
[0032]
在一种可能的实现方式中，利用人工标注方法提取每一口罩图像的关于左 上、左下、中上、中下、右上和右下的六个特征点，或者利用yolov5深度学习 模型进行每一口罩图像的六个特征点的检测。
[0033]
在所述戴口罩的人脸图像生成方法中，分别提取任一不戴口罩图像的人脸 的六个关键点和任一口罩图像的口罩的六个关键点；再根据不戴口罩人脸图像 pj中的人脸的大小和人脸的倾斜度，对任一口罩图像pi的六个特征点和任一不 戴口罩人脸图像pj的六个特征点进行对应点配合成戴口罩人脸图像p
ij
；并根据 不戴口罩人脸图像pj的光照强度调整戴口罩人脸图像p
ij
中口罩区域的亮度。如 此，进行图像合成时口罩的倾斜度和人脸的倾斜度保持一致从而使得口罩匹配 在人脸合适的位置，并使得合成后戴口罩人脸图像p
ij
的口罩区域的光照强度与 图像p
ij
的人脸区域保持一致从而使得图像p
ij
的人脸区域和口罩区域不会存在 很大亮度差异。故该戴口罩的人脸图像生成方法综合考虑了人脸倾斜度以及人 脸与口罩图像光照强度一致性的因素，生成符合真实情况的戴口罩人脸图像， 即合成的图像p
ij
的结果接近于现实中戴口罩人脸的拍摄结果。
[0034]
本技术还提供一种戴口罩人脸的识别方法，包括：
[0035]
训练集选择和标注：选择不戴口罩的人脸图像和由如权利要求1至7任意 一项权利要求所述的戴口罩的人脸图像生成方法生成的待口罩人脸图像，对不 戴口罩的人脸图像和戴口罩的人脸图像进行代表人脸身份id的标注；
[0036]
训练facenet模型：将训练集的所有图像输入facenet模型中，利用 facenet模型的特征层提取人脸特征向量；针对训练集中不同id标签的图像， 计算两两不同id标签的图像的人脸特征向量之间的欧式距离h1；针对训练集 中的相同id标签的图像，计算两两相同id标签的图像的人脸特征向量之间的 欧式距离h2；构建facenet模型训练的损失函数l＝h2-h1，每一训练过程中通 过损失函数l的值更新facenet模型的特征层的权重系数，直至损失函数l的 值最小；
[0037]
戴口罩人脸识别：输入待识别的戴口罩的人脸图像至训练好的facenet模 型中进行人脸身份id识别；
[0038]
在一种可能的实现方式中，在选择的训练集中，针对n个人员，不同人员 的不带口罩人脸图像的数量相同，不同人员的戴口罩人脸图像的数量相同，且 同一人员的不带口罩和戴口罩人脸图像的数量相同。
[0039]
在所述戴口罩人脸的识别方法中，利用上述戴口罩的人脸图像生成方法生 成训练集中的戴口罩人脸数据，生成的戴口罩人脸图像时综合考虑人脸倾斜度 以及人脸与口罩图像光照强度一致性的因素，生成符合真实情况的戴口罩人脸 图像，即合成的图像p
ij
的结果接近于现实中戴口罩人脸的拍摄结果。真实有效 的训练集数据有利于训练出高识别
精确度的facenet模型，从而提高戴口罩人 脸识别的准确度。
[0040]
本技术还提供一种戴口罩人脸的识别装置，包括：
[0041]
口罩图像获取单元：用于获取n个具有不同材质和颜色的口罩的图像；
[0042]
口罩关键点提取单元：用于提取每一口罩图像中的口罩的左上、左下、中 上、中下、右上和右下的六个特征点；
[0043]
人脸图像获取单元：用于获取m个人员的不戴口罩的人脸图像；
[0044]
人脸关键点提取单元：用于检测每一人脸图像的关于脸颊左上点、脸颊左 下点、鼻子中间点、下巴中间点、脸颊右上点和脸颊右下点的六个特征点；
[0045]
戴口罩人脸合成单元：用于根据图像pj的人脸的大小和人脸的倾斜度，并 对任一口罩图像pi的六个特征点和任一不戴口罩人脸图像pj的六个特征点匹进 行对应点配合成戴口罩人脸图像p
ij
；
[0046]
亮度调节单元：用于根据不戴口罩人脸图像pj的光照强度调整戴口罩人脸 图像p
ij
中口罩区域的亮度；以及，
[0047]
人脸识别单元：用于将所有合成的戴口罩人脸图像加入训练集，并基于 facenet模型进行人脸识别。
[0048]
在所述戴口罩人脸的识别装置中，利用上述戴口罩的人脸图像生成方法生 成训练集中的戴口罩人脸数据，生成的戴口罩人脸图像时综合考虑人脸倾斜度 以及人脸与口罩图像光照强度一致性的因素，生成符合真实情况的戴口罩人脸 图像，即合成的图像p
ij
的结果接近于现实中戴口罩人脸的拍摄结果。真实有效 的训练集数据有利于训练出高识别精确度的facenet模型，从而提高戴口罩人 脸识别的准确度。
附图说明
[0049]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动性的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为本技术实施例一的戴口罩的人脸图像生成方法流程图；
[0051]
图2为本技术实施例一的口罩图像中的口罩的六个特征点的提取结果图；
[0052]
图3为本技术实施例一的不戴口罩人脸图像的六个特征的检测结果图；
[0053]
图4为本技术实施例一的根据任一口罩图像pi的六个特征点和任一不戴口 罩人脸图像pj的六个特征点匹配合成戴口罩人脸图像p
ij
的方法流程图；
[0054]
图5为本技术实施例三的戴口罩人脸的识别装置的结构框图。
具体实施方式
[0055]
为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白， 以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描 述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0056]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可 以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连 接于”另一个元件，它可
以是直接连接到另一个元件或间接连接至该另一个元 件上。
[0057]
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、
ꢀ“
左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指 示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本 申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、 以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0058]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗 示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、
ꢀ“
第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的 描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0059]
现结合附图对本技术实施例提供的戴口罩的人脸图像生成方法、识别方法 及识别装置进行说明。
[0060]
实施例一
[0061]
参照图1，本技术实施例一提供的戴口罩的人脸图像生成方法包括如下步 骤：
[0062]
步骤s100：获取n个具有不同材质和颜色的口罩的图像，任一口罩图像记 为pi。
[0063]
步骤s200：提取每一口罩图像中的口罩的左上、左下、中上、中下、右上 和右下的六个特征点。
[0064]
步骤s300：获取m个人员的不戴口罩的人脸图像,任一不戴口罩人脸图像 记为pj。
[0065]
步骤s400：检测每一人脸图像的关于脸颊左上点、脸颊左下点、鼻子中间 点、下巴中间点、脸颊右上点和脸颊右下点的六个特征点。
[0066]
步骤s500：根据图像pj的人脸的大小和人脸的倾斜度，对任一口罩图像pi的六个特征点和任一不戴口罩人脸图像pj的六个特征点进行对应点匹配合成戴 口罩人脸图像p
ij
。
[0067]
步骤s600：根据不戴口罩人脸图像pj的光照强度调整戴口罩人脸图像p
ij
中口罩区域的亮度。
[0068]
其中，提取的口罩图像pi的六个特征点的形成的轮廓与不戴口罩人脸图像 pj的六个特征点形成的轮廓相匹配。其中，1≤i≤n,1≤j≤m。
[0069]
在步骤s100中，采集任一材质和任一颜色的口罩可生成一口罩图像，获取 的采集好的口罩图像中的口罩形态为携带在人脸上时且从人脸正面视角观察到 的口罩形态。在所述步骤s200中，利用人工标注方法提取每一口罩图像的关于 左上、左下、中上、中下、右上和右下的六个特征点，或者利用yolov5深度学 习模型进行每一口罩图像的六个特征点的检测。记口罩图像左上、左下、中上、 中下、右上和右下的六个特征点分别为k1、k2、k3、k4、k5和k6，提取的任一 口罩图像的六个特征点如图2所示。左上特征点k1和右上特征点k5分别位于 口罩图像中的口罩的上边缘的左侧和右侧，中上特征点k3位于口罩图像中的额 口罩的上边缘的中间位置，左下特征点k2和右下特征点k6分别位于口罩图像 中的口罩的左边缘的中间位置和右边缘的中间位置。
[0070]
在步骤s400中，检测每一不戴口罩人脸图像的六个特征点基于sdm (supvised descent method)人脸特点检测方法检测脸颊左上点、脸颊左下点、 鼻子中间点、下巴中间点、脸颊右上点和脸颊右下点的六个特征点，记脸颊左 上点、脸颊左下点、鼻子中间点、下巴中间点、脸颊右上点和脸颊右下点分别 为r1、r2、r3、r4、r5和r6，检测的人脸的六个特征点r1、r2、r3、r4、r5 和r6如图3所示。
[0071]
现有的sdm模型进行人脸特征点的检测方法在此不再赘述，原始的sdm模 型的损失函数记为loss1，本技术实施例的改进在于原有的sdm模型中引入一个 新的损失函数loss2形成基于sdm(supvised descent method)人脸特点检测 方法的训练过程中的损失函数l：
[0072]
l＝a1×
loss1+a2×
loss2ꢀꢀ
(1)
[0073][0074]
其中，在公式(1)和(2)中，loss1为原始sdm人脸特征点检测模型的损 失函数，tk为基于sdm人脸特点检测方法检测的第k个特征点，x
′k为口罩图像 pi的六个特征点的第k个特征点，a1和a2为加权系数且a1+a2＝1。在实际应用中， a1和a2可按照需求进行调整。
[0075]
其中，
[0076]
在公式(3)中，u为输入的人脸图像，w为sdm训练模型的权值矩阵，f 为sdm训练模型的激活函数，f具体可为可以是sigmoid或tanh，但不限于 此。
[0077]
基于sdm人脸特点检测方法中检测六个特征点的目标函数为argmin (l),函数argmin用于求得l值最小时w值。
[0078]
参照图4，在步骤s500中，根据图像pj的人脸的大小和人脸的倾斜度，对 任一口罩图像pi的六个特征点和任一不戴口罩人脸图像pj的六个特征点进行对 应点匹配合成戴口罩人脸图像p
ij
的步骤包括：
[0079]
步骤s501：计算不戴口罩人脸图像pj的倾斜角。
[0080]
步骤s502：根据不戴口罩人脸图像pj的倾斜角对口罩图像pi透视变换，以 保证口罩图像pi与不戴口罩人脸图像pj具有相同倾斜角。
[0081]
步骤s503：计算不戴口罩人脸图像pj的六个特征点形成的需口罩人脸区域 的大小a。
[0082]
步骤s504：根据大小a对倾斜校正后的口罩图像pi的六个特征点形成的口 罩区域进行缩放。
[0083]
步骤s505：寻找倾斜校正和缩放后的口罩图像pi的六个特征点在不戴口罩 人脸图像pj的六个特征点中的对应匹配点，将对应的匹配点进行贴合形成戴口 罩人脸图像p
ij
。
[0084]
通常，设定图像坐标系的原点位于图像的左上角，若检测的不戴口罩人脸 图像的特征点r3和r4的连接线与图像坐标系的y轴夹角为0度，则表示不戴 口罩人脸图像中人脸未发生倾斜。若r3和r4的连接线与图像坐标系的y轴夹 角大于0度，则表示不戴口罩人脸图像中人脸是倾斜的，此时若要将口罩匹配 在不戴口罩人脸图像的人脸上，需要将口罩也做相应的清晰，这样才能生成接 近真实戴口罩的人脸图像，不然合成的戴口罩人脸图像中口罩并未合成在人脸 的合适位置，造成失真现象。
[0085]
在步骤s501中，记步骤s400检测的特征点r3和r4的坐标分别为(x1,y1) 和(x2，y2),记不戴口罩人脸图像pi的倾斜角为α,连接不戴口罩人脸图像pi的鼻子中间点r3和下巴中间点r4，计算鼻子中间点和下巴中间点的连线与图 像坐标系的x轴方向的夹角θ，η为：η＝90-θ。
[0086]
计算上述θ的步骤包括：
[0087]
连接两个特征点r3和r4；
[0088]
计算r3和r4的连接线与图像坐标系的x轴的夹角θ，θ＝arctan((y2
‑ꢀ
y1)/(x2-x1))。
[0089]
在步骤s505中，寻找倾斜校正后的口罩图像pi的六个特征点在不戴口罩 人脸图像pj的六个特征点中的对应匹配点为：计算不戴口罩人脸图像pj的六个 特征点与经过倾斜校正和缩放后的口罩图像pi的六个特征点的匹配度s，当匹 配度s值最小值时，则完成倾斜校正和缩放后后的口罩图像pi的六个特征点在 不戴口罩人脸图像pj的六个特征点中的对应匹配点；
[0090][0091]
其中，ω为不戴口罩人脸图像pj的六个特征点的集合，(xk,yk)为集合ω中 的任一特征点；ω
′
为口罩图像pi的六个特征点的集合，(x
′k,y
′k)为集合ω
′
中的任 一特征点；1≤k≤6，∑表示求和。
[0092]
由于获取的任一不戴口罩人脸图像pj和口罩图像pi的亮度不一定一样，因 此需要在匹配合成戴口罩人脸图像p
ij
时，需要将待合成的不戴口罩人脸图像pj和口罩图像pi的亮度一致，才能使匹配合成的戴口罩人脸图像p
ij
符合真实合。
[0093]
在步骤s600中，戴口罩人脸图像中属于口罩区域的像素点的像素值为f1， 调整戴口罩人脸图像p
ij
中属于口罩区域像素点的像素值为f2；根据不戴口罩人 脸图像pj的光照强度调整戴口罩人脸图像p
ij
中口罩区域的亮度的步骤包括：
[0094]
计算不戴口罩人脸图像pj的光照强度β1，
[0095]
计算口罩图像pi的光照强度β2，
[0096]
调整戴口罩人脸图像p
ij
中口罩区域的像素点的像素值：f2＝f1+(β
1-β2)；
[0097]
其中，max(pi(r,g,b))、min(pi(r,g,b))表示图像pi的所有像素点的绿色 通道均值、红色通道均值和蓝色通道均值中的最大值和最小值； max(pj(r,g,b))、min(pj(r,g,b))图像pj的所有像素点的绿色通道均值、红 色通道均值和蓝色通道均值中的最大值和最小值。
[0098]
在所述戴口罩的人脸图像生成方法中，分别提取任一不戴口罩图像的人脸 的六个关键点和任一口罩图像的口罩的六个关键点；再根据不戴口罩人脸图像 pj中的人脸的大小和人脸的倾斜度，对任一口罩图像pi的六个特征点和任一不 戴口罩人脸图像pj的六个特征点进行对应点配合成戴口罩人脸图像p
ij
；并根据 不戴口罩人脸图像pj的光照强度调整戴口罩人脸图像p
ij
中口罩区域的亮度。如 此，进行图像合成时口罩的倾斜度和人脸的倾斜度保持一致从而使得口罩匹配 在人脸合适的位置，并使得合成后戴口罩人脸图像p
ij
的口罩区域的光照强度与 图像p
ij
的人脸区域保持一致从而使得图像p
ij
的人脸区域和口罩区域不会存在 很大亮度差异。故该戴口罩的人脸图像生成方法综合考虑了人脸倾斜度以及人 脸与口罩图像光照强度一致性的因素，生成符合真实情况的戴口罩人脸图像， 即合成的图像p
ij
的结果接近于现实中戴口罩人脸的拍摄结果。
[0099]
实施例二
[0100]
本技术实施例二提供的戴口罩人脸的识别方法包括如下步骤：
[0101]
训练集选择和标注：选择不戴口罩的人脸图像和由上述的戴口罩的人脸图 像生成方法生成的待口罩人脸图像，对不戴口罩的人脸图像和戴口罩的人脸图 像进行代表人脸身份id的标注；
[0102]
训练facenet模型：
[0103]
将训练集的所有图像输入facenet模型中，利用facenet模型的特征层提 取人脸特征向量；
[0104]
针对训练集中不同id标签的图像，计算两两不同id标签的图像的人脸特 征向量之间的欧式距离h1；针对训练集中的相同id标签的图像，计算两两相 同id标签的图像的人脸特征向量之间的欧式距离h2；
[0105]
构建facenet模型训练的损失函数l＝h2-h1，每一训练过程中通过损失函 数l的值更新facenet模型的特征层的权重系数，直至损失函数l的值最小；
[0106]
戴口罩人脸识别：输入待识别的戴口罩的人脸图像至训练好的facenet模 型中进行人脸身份id识别。
[0107]
其中，训练集中，针对n个人员，不同人员的不带口罩人脸图像的数量相 同，不同人员的戴口罩人脸图像的数量相同，且同一人员的不带口罩和戴口罩 人脸图像的数量相同，如此有利于训练出识别精确度更高的facenet模型。
[0108]
在上述步骤中，训练集的标注采集人工标注方法。
[0109]
在所述戴口罩人脸的识别方法中，利用上述戴口罩的人脸图像生成方法生 成训练集中的戴口罩人脸数据，生成的戴口罩人脸图像时综合考虑人脸倾斜度 以及人脸与口罩图像光照强度一致性的因素，生成符合真实情况的戴口罩人脸 图像，即合成的图像p
ij
的结果接近于现实中戴口罩人脸的拍摄结果。真实有效 的训练集数据有利于训练出高识别精确度的facenet模型，从而提高戴口罩人 脸识别的准确度。
[0110]
实施例三
[0111]
参照图5，本技术实施例三提供一种戴口罩人脸的识别装置100，本技术实 施例一中方法和实施例二中的方法应用于该戴口罩人脸的识别装置100中。戴 口罩人脸的识别装置100包括口罩图像获取单元10、口罩关键点提取单元20、 人脸图像获取单元30、人脸关键点提取单元40、戴口罩人脸合成单元50、亮 度调节单元60和人脸识别单元70。
[0112]
具体地，口罩图像获取单元10用于获取n个具有不同材质和颜色的口罩 的图像。口罩关键点提取单元20用于提取每一口罩图像中的口罩的左上、左 下、中上、中下、右上和右下的六个特征点。人脸图像获取单元30用于获取m 个人员的不戴口罩的人脸图像。人脸关键点提取单元40用于检测每一人脸图像 的关于脸颊左上点、脸颊左下点、鼻子中间点、下巴中间点、脸颊右上点和脸 颊右下点的六个特征点。戴口罩人脸合成单元50用于根据图像pj的人脸的大 小和人脸的倾斜度，并对任一口罩图像pi的六个特征点和任一不戴口罩人脸图 像pj的六个特征点匹进行对应点配合成戴口罩人脸图像p
ij
。亮度调节单元60 用于根据不戴口罩人脸图像pj的光照强度调整戴口罩人脸图像p
ij
中口罩区域 的亮度。人脸识别单元70用于将所有合成的戴口罩人脸图像加入训练集，并基 于facenet模型进行人脸识别。
[0113]
所述口罩关键点提取单元20实现原理与实施例一的步骤s200相同，人脸 关键点
提取单元40实现原理与实施例一种的步骤s400相同，所述戴口罩人脸 合成单元50实现原理与实施例一的步骤s500相同，所述亮度调节单元60实 现原理与实施例一的步骤s600相同，所述人脸识别单元70实现原理与实施例 二的戴口罩人脸的识别方法相同。此处不再赘述。
[0114]
在所述戴口罩人脸的识别装置中，利用上述戴口罩的人脸图像生成方法生 成训练集中的戴口罩人脸数据，生成的戴口罩人脸图像时综合考虑人脸倾斜度 以及人脸与口罩图像光照强度一致性的因素，生成符合真实情况的戴口罩人脸 图像，即合成的图像p
ij
的结果接近于现实中戴口罩人脸的拍摄结果。真实有效 的训练集数据有利于训练出高识别精确度的facenet模型，从而提高戴口罩人 脸识别的准确度。
[0115]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本申 请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术 的保护范围之内。