人脸识别模型的训练方法和人脸识别方法与流程

1.本技术涉及图像识别技术，特别是一种人脸识别模型的训练方法和人脸识别方法。


背景技术：

2.防疫的需要，大部分地区要求人们出门佩戴口罩，口罩对于现在的人脸识别技术造成一定的障碍。在诸多涉及口罩的人脸识别应用中，由于口罩的存在，影响了人脸识别的准确度。
3.然而为了克服精度问题，需要对大量戴口罩的人脸进行标注，标注效率低。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种人脸识别模型的训练方法和人脸识别方法，以提升标注的效率，降低标注成本。
5.一方面，本技术实施例提供了：
6.一种人脸识别模型的训练方法，包括样本生成步骤和训练步骤；
7.所述样本生成步骤包括：
8.获取第一人脸图像和所述第一人脸图像的第一标注数据，所述第一人脸图像为未佩戴口罩的人脸图像；
9.提取所述第一人脸图像中的多个人脸特征点；
10.确定多个所述人脸特征点中的多个预设特征点所围成的区域，作为口罩区域；
11.向所述口罩区域填充预设图案，得到第二人脸图像；
12.根据所述第一标注数据对所述第二人脸图像进行标注，得到第二标注数据；
13.所述训练步骤包括：
14.根据所述第二人脸图像和第二标注数据对待训练模型进行训练。
15.在一些实施例中，在所述生成步骤中，所述向所述口罩区域填充预设图案，得到第二人脸图像，根据所述第一标注数据对所述第二人脸图像进行标注，得到第二标注数据，具体为：
16.通过向所述口罩区域填充不同的预设图案，得到多个第二人脸图像；
17.根据所述第一标注数据对各所述第二人脸图像进行标注，得到各所述第二人脸图像的第二标注数据。
18.在一些实施例中，所述第二标注数据用于表示第二人脸图像中人脸佩戴口罩、人脸的性别、人脸的身份或者人脸的人种。
19.在一些实施例中，所述提取所述第一人脸图像中的多个人脸特征点，具体为：
20.基于dlib人脸识别库提取所述第一人脸图像中的68个人脸特征点。
21.在一些实施例中，当所述68个人脸特征点中的部分预设特征点缺失时，根据检测到的预设特征点的数量和分布位置确定是否生成第二人脸图像；
22.其中，当所述预设特征点的数量小于第一阈值或者检测到的预设特征点的分布位置不满足预设条件时，不生成所述第二人脸图像；
23.当所述预设特征点的数量大于等于第一阈值且检测到的预设特征点的分布位置满足预设条件时，生成所述第二人脸图像。
24.在一些实施例中，所述预设特征点分布在四个预设区域，其中，四个所述预设区域分别为第一预设区域、第二预设区域、第三预设区域和第四预设区域，所述第一预设区域用于表示右脸区域，所述第二预设区域用于表示下巴区域，所述第三预设区域用于表示左脸区域，所述第四预设区域用于表示鼻子区域。
25.在一些实施例中，所述dlib人脸识别库对应的第三至第六特征点属于所述第一预设区域，所述dlib人脸识别库对应的第七到第十一特征点属于所述第二预设区域，所述dlib人脸识别库对应的所述第十二至第十五特征点属于所述第三预设区域，所述dlib人脸识别库对应的第三十二至第三十六特征点属于所述第四预设区域；
26.所述预设特征点包括所述dlib人脸识别库对应的第六至第十五特征点，以及所述dlib人脸识别库对应的第三十二至第三十六特征点。
27.在一些实施例中，所述预设条件为：属于所述第一预设区域、所述第二预设区域、所述第三预设区域以及所述第四预设区域的预设特征点的数量均大于等于2。
28.在一些实施例中，所述预设图案的数量有多种，多种预设图案由不同的纹理或者不同的颜色组合而成。
29.另一方面，本技术实施例提供了：
30.一种人脸识别方法，其特征在于，包括以下步骤：
31.采用所述的训练方法对人脸识别模型进行训练；
32.利用训练好的人脸识别模型对第三人脸图像进行人脸识别。
33.本技术实施例通过在样本生成步骤中，获取第一人脸图像和所述第一人脸图像的第一标注数据；提取所述第一人脸图像中的多个人脸特征点；确定多个所述人脸特征点中的多个预设特征点所围成的区域，作为口罩区域；向所述口罩区域填充预设图案，得到第二人脸图像；并根据所述第一标注数据对所述第二人脸图像进行标注，得到第二标注数据；从而实现利用现有标注的数据来生成戴口罩人脸的训练数据，这样可以利用现有的人脸识别模型获取大量的用户佩戴口罩的标注数据，成本低，效率高。
附图说明
34.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是根据本发明实施例提供的一种人脸识别模型的训练方法的流程图；
36.图2是根据本发明实施例提供的dlib人脸识别库所识别的人脸特征点的示意图。
具体实施方式
37.为使本技术的目的、技术方案和优点更加清楚，以下将参照本技术实施例中的附
图，通过实施方式清楚、完整地描述本技术的技术方案，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
39.本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
40.本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
41.参照图1，本实施例公开了一种人脸识别模型的训练方法，包括样本生成步骤和训练步骤；
42.步骤s1、样本生成步骤，包括：
43.步骤101、获取第一人脸图像和所述第一人脸图像的第一标注数据，所述第一人脸图像为未佩戴口罩的人脸图像。
44.可以理解的是，本步骤中获取的人脸图像是经过标注的照片，其中标注的内容视训练的模型而定。例如，假定第一人脸图像和对应的第一标注数据用于训练性别识别模型时，第一标注数据用于表示第一人脸图像中的人脸是男性或者女性。假定第一人脸图像和对应的第一标注数据用于训练人的身份识别模型时，第一标注数据可以用于标注人脸的身份。
45.步骤102、提取所述第一人脸图像中的多个人脸特征点。
46.具体地，本实施例可以基于dlib人脸识别库(一种开放使用的人脸识别库)提取所述第一人脸图像中的68个人脸特征点。参照图2，利用dlib人脸识别库可以识别出人脸中68个关键点。利用这些关键点，可以大致描绘出人佩戴口罩的区域。
47.步骤103、确定多个所述人脸特征点中的多个预设特征点所围成的区域，作为口罩区域。
48.在本步骤中，将图2的点1称为第一特征点，点n称为第n特征点。在本实施例中，可以第三至第十五特征点，以及第三十二至三十六特征点作为预设特征点，可以利用这些特征点所围成的区域作为口罩区域。其中，围成口罩区域时，各预设特征点所连接的相邻特征点可以按照特征点之间的距离确定，也可以按照设定的规则设定。例如，第三十二特征点连接的是第三特征点和第三十三特征点。如果当第三特征点丢失的时候，第三十二特征点与第四特征点和第三十三特征点连接。
49.步骤104、向所述口罩区域填充预设图案，得到第二人脸图像。
50.在本实施例中，所述预设图案的数量有多种，多种预设图案由不同的纹理或者不同的颜色组合而成。一般而言，会采用口罩常用的材质的纹理作为预设图案的纹理，颜色可
以采用蓝色、白色、灰色、黑色等口罩的常见颜色作为预设图案的颜色。向口罩区域填充预设图案，从而形成第二人脸图像。
51.步骤105、根据所述第一标注数据对所述第二人脸图像进行标注，得到第二标注数据。
52.在本步骤中，例如，针对性别、人种、身份等识别任务的数据标注，可以采用第一标注数据作为第二标注数据。当然，同时可以为第二标注数据打上佩戴口罩的信息。针对人脸是否佩戴口罩的任务，可以将第二标注数据标注为表示人脸佩戴口罩的信息。例如，第一标注数据用0表示没有佩戴口罩，则可以用1来作为第二标注数据以表示人脸佩戴有口罩。
53.通过本实施例的方式，可以快速获取大量佩戴口罩的人脸标注数据，降低了下游任务的训练样本获取成本。
54.步骤s2、训练步骤，包括：
55.步骤206、根据所述第二人脸图像和第二标注数据对待训练模型进行训练。
56.在本实施例中，待训练的模型可以是识别人种的模型、识别是否佩戴口罩的模型、识别人脸性别的模型等。
57.通过上述实施例可以实现利用现有标注的数据来生成戴口罩人脸的训练数据，这样可以利用现有的人脸识别模型获取大量的用户佩戴口罩的标注数据，成本低，效率高。
58.在一些实施例中，在所述生成步骤中，所述向所述口罩区域填充预设图案，得到第二人脸图像，根据所述第一标注数据对所述第二人脸图像进行标注，得到第二标注数据，具体为：
59.通过向所述口罩区域填充不同的预设图案，得到多个第二人脸图像；
60.根据所述第一标注数据对各所述第二人脸图像进行标注，得到各所述第二人脸图像的第二标注数据。
61.在本实施例中，为了进一步提升样本的产生效率，减少人脸识别模型的调用次数，针对一个第一人脸图像生成多个第二人脸图像及其第二标注数据。
62.在一些实施例中，所述第二标注数据用于表示第二人脸图像中人脸佩戴口罩、人脸的性别、人脸的身份或者人脸的人种。
63.在本实施例中，可以根据待训练模型的功能，采用进行不同的数据标注。
64.在一些实施例中，当所述68个人脸特征点中的部分预设特征点缺失时，根据检测到的预设特征点的数量和分布位置确定是否生成第二人脸图像；
65.其中，当所述预设特征点的数量小于第一阈值或者检测到的预设特征点的分布位置不满足预设条件时，不生成所述第二人脸图像；
66.当所述预设特征点的数量大于等于第一阈值且检测到的预设特征点的分布位置满足预设条件时，生成所述第二人脸图像。
67.其中，所述预设特征点分布在四个预设区域，其中，四个所述预设区域分别为第一预设区域、第二预设区域、第三预设区域和第四预设区域，所述第一预设区域用于表示右脸区域，所述第二预设区域用于表示下巴区域，所述第三预设区域用于表示左脸区域，所述第四预设区域用于表示鼻子区域。
68.所述dlib人脸识别库对应的第三至第六特征点属于所述第一预设区域，所述dlib人脸识别库对应的第七到第十一特征点属于所述第二预设区域，所述dlib人脸识别库对应
的所述第十二至第十五特征点属于所述第三预设区域，所述dlib人脸识别库对应的第三十二至第三十六特征点属于所述第四预设区域；
69.所述预设特征点包括所述dlib人脸识别库对应的第六至第十五特征点，以及所述dlib人脸识别库对应的第三十二至第三十六特征点。
70.所述预设条件为：属于所述第一预设区域、所述第二预设区域、所述第三预设区域以及所述第四预设区域的预设特征点的数量均大于等于2。
71.在本实施例中，18个特征点作为预设特征点，一般设置第一阈值为10以上。而要求每个区域至少要识别到两个以上的预设特征点才可以认为是有效的。通过这样的方式，可以避免生成不满足要求的第二人脸图像。
72.本实施例公开了一种人脸识别方法，包括以下步骤：
73.采用上述的训练方法对人脸识别模型进行训练；
74.利用训练好的人脸识别模型对第三人脸图像进行人脸识别。
75.注意，上述仅为本技术的较佳实施例及所运用技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由所附的权利要求范围决定。