具有提高的识别精度的人脸识别方法及无人机与流程

本发明大致涉及无人机技术领域，尤其涉及一种具有提高的识别精度的人脸识别方法及一种无人机。

背景技术：

在人脸识别任务中，由于人脸存在多种可能的状态，人脸识别的准确性在某些场景下难以得到有效保障。而在非受限人脸识别场景，比如无人机上的人脸识别场景，人脸表现出比受限场景更多的状态，如较大的旋转角度，极端光线条件,人脸范围过小,人脸受发型饰物遮挡，因相对运动造成的模糊,由于雨滴、尘土和其他因素的影响，因相机镜头不清楚导致的模糊等,这些问题很难通过训练人脸识别算法予以解决。

同样地，提高旋转人脸的识别精度也是现有人脸识别算法的重要课题.在多种场景下人脸在很多时候都无法做到正向,甚至绝大多数时候都无法做到,例如在无人机的飞行过程中。

背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域的现有技术。

技术实现要素：

针对现有技术存在问题中的一个或多个，本发明提供一种具有提高的识别精度的人脸识别方法，通过多种算法的组合提升人脸识别系统的准确率。

本发明提供一种具有提高的识别精度的人脸识别方法，所述人脸识别方法包括：

s11：通过人脸检测算法检测图像中的人脸；

s12：当所述人脸的像素不超过第一阈值时，利用超分辨率重构方法，提高所述人脸的分辨率；

s13：当所述人脸的模糊度超出第二阈值或人脸处于极端光照条件下时，对所述人脸执行人脸清晰化处理；

s14：当所述人脸的转角超过第三阈值时，对所述人脸执行旋转正向化以减小所述人脸的转角；和

s15：对所述人脸进行人脸识别。

根据本发明的一个方面，所述步骤s11还包括采集或获取包含人脸的图像。

根据本发明的一个方面，所述第一阈值为75*75，所述模糊度为所述人脸的方差。

根据本发明的一个方面，所述第二阈值为700。

根据本发明的一个方面，其中所述极端光照条件包括所述人脸的光照值超出预设范围，所述步骤s13还包括：当所述人脸的光照值超出预设范围时，对所述人脸执行人脸清晰化处理。

根据本发明的一个方面，所述预设范围为40-200。

根据本发明的一个方面，其中所述人脸的转角包括三维偏转角度，所述步骤s14还包括：检测所述人脸的三维偏转角度，当所述三维偏转角度超过所述第三阈值时，对所述人脸执行旋转正向化以减小所述人脸的转角。

根据本发明的一个方面，所述第三阈值为35度。

根据本发明的一个方面，还包括：通过faceidgan网络对真实人脸图像进行训练以获得正向人脸三维信息向量和随机向量的平均向量，其中在所述步骤s14中，使用所述正向人脸三维信息向量和随机向量的平均向量对所述人脸执行旋转正向化。

根据本发明的一个方面，所述faceidgan网络包括人脸识别模型、人脸三维信息提取模型、人脸图像生成器和人脸图像判别器，训练方法包括：

s101：对真实人脸图像提取人脸身份信息向量和人脸三维信息向量；

s102：将人脸身份信息向量、人脸三维信息向量和随机向量输入所述人脸图像生成器以生成人脸图像；

s103：将所述真实人脸图像和所述生成人脸图像输入到所述人脸图像判别器得到损失函数；

s104：对所述生成人脸图像提取人脸身份信息向量和人脸三维信息向量，重复步骤s102和s103直到损失函数达到平衡点；

其中所述随机向量用于控制生成不同场景的人脸图像。

根据本发明的一个方面，所述步骤s14还包括：将所述人脸输入人脸识别模型提取人脸身份信息向量，将所述人脸身份信息向量、所述正向人脸三维信息向量和所述随机向量的平均向量输入到人脸图像生成器，以减小所述人脸的转角。

根据本发明的一个方面，其中所述步骤s11、s12、s13和s14按照先后顺序执行。

本发明还提供一种无人机，包括摄像头、处理器和存储器，所述摄像头用于采集包含人脸的图像，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，执行如上所述任一项所述的方法。

本发明通过多种算法的组合对人脸识别系统的准确率进行提升，能够有效应对多种环境变化，并且减少了算法的耗时、内存占用和能耗。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1示出了本发明一种人脸识别方法的流程图；

图2示出了faceidgan网络的模型图；

图3示出了faceidgan网络的训练流程图；

图4示出了本发明的一个实施例的总体流程图；和

图5示出了本发明一种无人机的模块图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1示出了根据本发明一个实施例的具有提高的识别精度的人脸识别方法10，下面参考图1详细描述。

在步骤s11：通过人脸检测算法检测图像中的人脸。

在一幅图像中，可以通过各种人脸检测算法来检测图像中的人脸。步骤s11的输出例如可以是图像中人脸的轮廓，或者是图像中包括人脸的矩形框。

在步骤s12：当所述人脸的像素不超过第一阈值时，利用超分辨率重构方法，提高所述人脸的分辨率。

在步骤s12中，对图像中人脸的尺寸大小进行判断。例如可以根据步骤s11输出的人脸轮廓的最左侧的点与最右侧的点之间的像素数作为人脸的水平尺寸，人脸轮廓的最上方的点与最下方的点之间的像素数作为人脸的竖直尺寸。或者可替换的，直接将步骤s11输出的包括的人脸的矩形框的水平尺寸和竖直尺寸作为人脸的尺寸。或者可替换的，将人脸轮廓或者矩形框中总的像素数作为人脸的尺寸。

以人脸的像素数为例，当所述人脸图像中人脸的像素超过第一阈值时，即人脸的分辨率比较高，可以直接进行下一步骤；当所述人脸图像中的人脸的像素不超过第一阈值时，则利用超分辨率重构方法，提高所述人脸图像的分辨率。所述第一阈值可以为预设分辨率或者为75*75像素值。

本领域技术人员容易理解，在步骤s12中，在将人脸的像素与第一阈值进行比较时，可以设置不同的比较方式或者逻辑。例如，根据本发明的一个实施例，可以首先获得人脸图像中人脸的总的像素数，与第一阈值进行比较。根据本发明的另一个实施例，所述第一阈值包括第一水平阈值和第一竖直阈值，分别对应图像中人脸的水平像素数和竖直像素数。当人脸的水平尺寸和竖直尺寸分别超过所述第一水平阈值和第一竖直阈值时，判断像素超过第一阈值；当人脸的水平尺寸和竖直尺寸中的至少一个小于所述第一水平阈值和第一竖直阈值时，判断像素不超过第一阈值，需要利用超分辨率重构方法，提高所述人脸的分辨率。或者可替换的，只有当人脸的水平尺寸和竖直尺寸均小于第一阈值时，才需要利用超分辨率重构方法，提高所述人脸的分辨率，在此情况下，第一阈值可包括适用于水平尺寸的阈值和适用于竖直尺寸的阈值，当然也可以采用统一的阈值，这些都在本发明的保护范围内。

分辨率过小的人脸无法保存足够的信息,而直接进行常用的插值方法放大分辨率过小的人脸的话会不可避免地产生各种不希望出现的结果,比如模糊和锯齿现象等,直接将这种人脸输入人脸识别模型必然严重损害识别精度,而抛弃这种图像则会影响人脸识别功能的敏感度,造成用户体验的下降。使用超分辨率重构方法则可以在很大程度上缓解该问题。超分辨率重构算法以分辨率较小的人脸为输入,输出为分辨率较高的人脸。使用卷积神经网络学习从分辨率较小的人脸上采样为分辨率较大的人脸时的具体规则,将分辨率较小的人脸缺失的信息进行补充,得到细节丰富的人脸。无需人为显式指定,可以处理更加复杂的情况。

运用超分辨率重构算法，可以将分辨率较小的人脸放大为分辨率较大的人脸，与常用的上采样方法不同的是，超分辨率重构方法会补充分辨率较小的人脸放大时产生的信息缺失，并可以在一定程度上减轻发型和饰品遮挡的影响,从而提升精度。

在步骤s13：当所述人脸的模糊度超出第二阈值或人脸处于极端光照条件下时，对所述人脸执行人脸清晰化处理。

在步骤s13中，对人脸图像中人脸的模糊度和光照条件进行判断，具体地，当所述人脸图像中人脸的模糊度未超出第二阈值，表示人脸较为清晰，可以直接进行下一步骤；当所述人脸图像中人脸的模糊度超出第二阈值，则对所述人脸执行人脸清晰化处理。本发明中，“模糊度超出第二阈值”可包括大于第二阈值的情形或小于第二阈值的情形，根据模糊度的计算方式而有所不同。例如当模糊度越高代表清晰度越高时，“模糊度超出第二阈值”是指模糊度小于第二阈值；反之亦然。

根据本发明的一个优选实施例，模糊度的计算可以根据如下步骤进行:1.对人脸图像进行灰度化；2.使用拉普拉斯算子对该人脸进行卷积；3.计算人脸的方差，即标准差的平方。人脸的方差越小则人脸越模糊,该方差阈值一般选择为700。当人脸方差超出700(小于700时)，对人脸执行人脸清晰化处理。

另外的或者可替换的，还可以判断是否为极端光照条件，如果光照极端强烈或极端昏暗，对人脸执行人脸清晰化处理，可以有效减轻极端光照的影响。具体地，所述极端光照条件包括所述人脸的光照值超出预设范围，将人脸转换为yuv格式时，其y分量即为人脸的光照值，一般光照值范围为0-255，0表示光照条件不好。可以将预设范围取值为40-200。

经过上述判断后，当所述人脸的方差低于第二阈值或人脸处于极端光照条件下时，执行人脸清晰化算法。具体地，将模糊人脸或者由分辨率较小的人脸转换得到的不够清晰的大人脸进行人脸清晰化处理,输入模糊人脸,算法经过训练之后能够为模糊人脸增加必要信息,同时尽量不引入其他干扰信息,从而得到清晰的人脸.该方法针有助于扩展人脸识别的使用场景,保证了在很多非受限场景中人脸识别功能的正常运行。

另外，在步骤s103中，可以针对整幅的包括人脸的图像进行处理，也可以仅针对图像中的人脸区域进行处理，这些都在本发明的保护范围内。优选地，对于无人机等嵌入式设备来说，仅针对人脸区域进行处理，可以缩短处理的时间。

在步骤s14：当所述人脸的转角超过第三阈值时，对所述人脸执行旋转正向化以减小所述人脸的转角。

在步骤s14在，对人脸的转角进行判断。根据本发明的一个优选实施例，检测所述人脸的三维偏转角度，当三维偏转角度不超过第三阈值时，或者说人脸是正向化的，或者人脸转角足够小，可满足后面步骤中人脸识别的要求，则直接进行下一步骤；当所述人脸转角超过第三阈值时，对所述人脸执行旋转正向化以减小所述人脸的转角。

所述三维偏转角度可以分解为三个角度：俯仰角、航向角和横滚角。一般俯仰角的范围为[-90°(上)，90°(下)]，航向角的范围为[-180°(逆时针)，180°(顺时针)]，横滚角的范围为[-90°(左)，90°(右)]。可针对三个角度分别设置三个阈值，或者针对三个角度统一设置一个阈值，比如第三阈值取值为35°。

经过上述判断后，当所述人脸的转角超过第三阈值时，可以使用faceidgan算法将旋转人脸转正,在这一过程中也可以适当减轻光照的影响。首先训练一个人脸三维信息提取模型和一个人脸识别模型,然后使用上述两个模型分别提取人脸三维信息和人脸身份信息,两种信息结合作为新信息送入生成式对抗网络(gan)中进行训练,训练完成之后就可以通过对三维信息的输出做固定处理，使其生成图像时人脸的偏转角始终在有利于人脸识别算法进行识别的范围内，从而提高人脸识别的精度。

在步骤s15：对所述人脸进行人脸识别。

在通过步骤s12、s13和s14的处理后，基本能够确保人脸具有符合需求的分辨率，人脸的方差高于第二阈值，避免或者减轻极端光照条件，同时人脸转角不会过大，因此有助于在步骤s15中以较高的精度对人脸进行人脸识别。

根据本发明的一个优选实施例，所述步骤s11还包括采集或获取包括人脸的图像。比如在非受限场景，通过无人机上的摄像头采集包括人脸的图像，或者从存储器读取包括人脸的图像，然后通过人脸检测算法标识出人脸的区域。

下面描述根据本发明一个优选实施例的faceidgan网络的模型和训练方法。

faceidgan网络模型是一种可以保持人脸身份信息不变，对人脸姿态和表情进行控制的生成式模型。区别于传统生成式对抗网络(gan)所解决的双方博弈问题，faceid-gan网络模型的主要设计思想基于“三方博弈”(3-playergame)和“信息对称”(informationsymmetry)。而且为了进一步控制生成人脸的姿态和表情，还可利用3dmm模型对人脸进行建模，并加入到faceid-gan网络的训练框架中。3dmm是一种能够将二维人脸投射到三维空间的模型，其参数主要包括形状、表情和姿态(包括放缩、平移和旋转，本发明主要考虑旋转)。同人脸身份信息一样，姿态和表情是人脸的额外信息。

如图2所示，所述faceidgan网络包括人脸识别模型c、人脸三维信息提取模型p、人脸图像生成器g和人脸图像判别器d。在训练过程中，利用人脸识别模型c、人脸三维信息提取模型p，分别对真实人脸图像提取人脸身份信息向量和人脸三维信息向量。人脸身份信息向量通常是256维或512维的一串的数字，是基于卷积神经网络提取的人脸的特征信息，该串数字组合起来就可以区分不同的人脸。人脸三维信息向量是一个三维向量，每一维向量分别表示人脸的横滚角、俯仰角和航向角。同时，提供随机向量，随机向量的作用是控制生成不同场景的人脸图像。将人脸身份信息向量、人脸三维信息向量以及随机向量输入到所述人脸图像生成器g，生成人脸图像。生成人脸图像之后，对生成的人脸图像也提取人脸身份信息和人脸三维信息，利用这些信息与之前提取的相应信息可以求取损失函数。通过人脸三维信息提取模型p对真实人脸图像进行人脸三维信息提取，同时利用人脸三维信息提取模型p对生成人脸图像进行姿态表情的监督。真实人脸图像和生成人脸图像需要在人脸身份信息上保持不变，而在姿态和表情方面可以控制，与此同时，人脸图像生成器g和人脸图像判别器d在图像真实性上进行对抗，最终生成足够以假乱真的人脸图像。该训练方法可以很好地在身份、姿态、表情方面对人脸生成过程进行控制。

根据本发明的一个优选实施例，其训练方法的流程图如图3所示，结合图2和图3对所述训练方法进一步描述：

在步骤s101：将真实人脸图像输入人脸识别模型c，对真实人脸图像提取人脸身份信息向量；同时，将真实人脸图像输入人脸三维信息提取模型p，对真实人脸图像提取人脸三维信息向量；

在步骤s102：将人脸身份信息向量、人脸三维信息向量和随机向量输入所述人脸图像生成器g以生成人脸图像；

在步骤s103：将所述真实人脸图像和所述生成人脸图像输入到所述人脸图像判别器d得到损失函数；和

在步骤s104：将所述生成的人脸图像输入上述的人脸识别模型c，对所述生成人脸图像提取人脸身份信息向量；同时，将所述生成人脸图像输入上述的人脸三维信息提取模型p，对所述生成人脸图像提取人脸三维信息向量，然后利用新的人脸身份信息向量和人脸三维信息向量，输入到所述人脸图像生成器g，重复步骤s102和s103直到损失函数达到平衡点。

其中所述随机向量用于控制生成不同场景的人脸图像，随机向量的产生可以通过调用c++中相应的接口实现,只要随机向量的取值在[0,1]之间即可,或者使用在训练过程中出现过的随机向量或者其均值。根据本发明的一个优选实施例复用所述人脸识别模型c和人脸三维信息提取模型p，减少了算法的耗时、内存占用和耗能，使得本发明的一个优选实施例可应用于无人机平台。通过faceidgan网络对真实人脸图像进行训练后，获得正向人脸三维信息向量和随机向量的平均向量，可将其应用于本发明的优选实施例的推理流程。图2中示出的虚线框部分为本发明一个优选实施例的推理流程模块图，推理部分使用虚线框出，在本发明的优选实施例中只包括人脸识别模型c和人脸图像生成器g，因为本优选实施例要生成的人脸图像是正向的，所以可以通过训练过程中获得的正向人脸三维信息对生成人脸图像进行控制，推理流程不再需要人脸三维信息提取模型p和人脸图像判别器d。具体地，人脸三维信息是维度为3的向量，分别控制人脸的横滚角、俯仰角和航向角，在训练过程中随着损失函数的逐渐平衡,保证了生成人脸的姿态与输入的人脸三维信息之间是对应的,因此在生成人脸的过程中可以通过控制输入的人脸三维信息控制想要得到的人脸图像,例如正向的人脸图像，将输入的人脸三维信息固定后，推理流程就不再需要人脸三维信息提取模型p和人脸图像判别器d。

具体地，人脸图像判别器d的输入是真实人脸图像和生成的人脸图像,其作用是判断真实人脸图像和生成人脸图像的真伪:在训练初期,人脸图像生成器g无法生成逼真的人脸图像,因此人脸图像判别器d可以轻易判别出人脸图像的真伪,随着训练的进行,人脸图像生成器g生成的图像越来越接近真实场景,同时人脸图像判别器d也通过学习增强自己的判别能力,最终,人脸图像判别器d再也无法分辨出真实人脸图像和生成的人脸图像的真伪,这时就能保证生成的人脸图像足够真实了。

具体应用时的推理过程包括：将真实人脸图像输入到人脸识别模型c，对真实人脸图像提取人脸身份信息向量，将提取的人脸身份信息向量、训练过程中获得的正向人脸三维信息向量和随机向量的平均向量，输入人脸图像生成器g以生成人脸图像，再将所述生成人脸图像输入上述的人脸识别模型c，对所述生成人脸图像提取人脸身份信息向量后再次输入到人脸图像生成器g以生成人脸图像，当真实人脸图像与生成人脸图像的损失函数达到平衡点时，所述人脸图像就实现了旋转正向化。

在执行本发明的人脸识别方法10之前或者执行步骤s14之前，先通过faceidgan网络对人脸图像进行训练，训练后获得的正向人脸三维信息向量和随机向量的平均向量可以直接应用于推理过程，无需再次执行训练过程。

综上所述，在步骤s14通过执行推理过程以减小所述人脸的转角。

在步骤s15，将经过以上算法处理的人脸图像中的人脸送入人脸识别算法中进行特征提取,能够得到比原始图像更具代表性的特征,从而有效提升人脸识别的精度。

根据本发明的一个优选实施例，所述步骤s11、s12、s13和s14按照先后顺序执行。如图4所示的算法整体流程，在使用人脸检测算法得到检测结果之后,首先判断人脸的分辨率,当人脸的分辨率足够大时进行之后的步骤,当人脸的分辨率较小时使用超分辨率重构算法,将分辨率较小的人脸放大为分辨率较大的人脸，将缺失的信息进行补充,得到细节丰富的人脸。然后判断人脸是否处于模糊或者极端光照条件下,若如此,则对其实施人脸清晰化算法,人脸清晰化算法同时可以有效减轻极端光照的影响,无论是极端强烈的光照还是极端昏暗的光照。之后检测人脸的三维偏转角度,从而判断人脸是否有较大的旋转角度,如存在较大的旋转角度,则需要使用faceidgan推理算法将人脸转正,在这一过程中也可以适当减轻光照的影响。如果先执行人脸清晰化算法后再执行超分辨率重构算法，可能在分辨率较小的人脸放大为分辨率较大的人脸时，又变得模糊了，需要再次执行人脸清晰化算法，会降低算法的效率。如果人脸分辨率过低或不够清晰的话，先执行faceidgan推理算法的效果也会比较差。

根据本发明的一个实施例，所述步骤s11、s12、s13和s14可以按照任意顺序执行，不限于图1中所示的顺序。

综合上述，本发明的一个优选实施例的有益效果在于：

1.复用人脸三维信息提取模型p和人脸识别模型c，这样就减少了算法的耗时、内存占用和能耗，使该方案得以应用于无人机平台上。

2.组合应用人脸超分辨率重构、人脸清晰化和人脸正向化算法，能够有效应对多种环境变化，并且可以有效提高人脸识别的准确率，减轻了人脸识别算法对于特定应用场景的需求。

本发明还提供一种无人机20，如图5所示，包括摄像头21、处理器22和存储器23，所述摄像头21用于采集包括人脸的图像，所述存储器23存储有计算机可读取指令，当所述计算机可读取指令由所述处理器22执行时，执行如上所述的方法。

基于本发明的一个优选实施例提供的一种具有提高的识别精度的人脸识别方法10，在所述无人机20上执行时，通过多种算法的组合对人脸识别系统的准确率进行提升。本领域技术人员可以理解，本发明的保护范围不限于此，还可以适用于为其他非受限人脸识别场景。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。